[Perf -8%] System.Collections.CreateAddAndClear<Int32>.Array

[DrewScoggins]

Run Information

Architecture	x64
OS	Windows 10.0.18362
Changes	diff

Regressions in System.Collections.CreateAddAndClear

Benchmark	Baseline	Test	Test/Base	Modality	Baseline Outlier
Array	497.68 ns	536.45 ns	1.08		True

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
py .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.CreateAddAndClear<Int32>*';

Histogram

System.Collections.CreateAddAndClear.Array(Size: 512)

[488.926 ; 501.636) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[501.636 ; 519.528) | @
[519.528 ; 536.146) | @
[536.146 ; 553.380) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[ghost]

Tagging subscribers to this area: @eiriktsarpalis
Notify danmosemsft if you want to be subscribed.

[stephentoub]

I just tried this one locally

dotnet run -c Release -f netcoreapp3.1 --runtimes netcoreapp3.1 netcoreapp5.0 --filter="System.Collections.CreateAddAndClear<Int32>.Array"

and while every once in a while I see .NET 5.0 being 20% faster, most of the time it shows up as being 50% slower:

Method	Job	Runtime	Toolchain	Size	Mean	Error	StdDev	Median	Min	Max	Ratio	RatioSD	Gen 0	Gen 1	Gen 2	Allocated
Array	Job-GFVCHZ	.NET Core 3.1	netcoreapp3.1	512	376.6 ns	4.20 ns	3.93 ns	378.3 ns	368.0 ns	380.1 ns	1.00	0.00	0.3301	0.0016	-	2.02 KB
Array	Job-FYSNIF	.NET Core 5.0	netcoreapp5.0	512	570.2 ns	5.31 ns	4.96 ns	568.4 ns	564.2 ns	578.0 ns	1.51	0.02	0.3285	0.0023	-	2.02 KB

[DrewScoggins]

Also seeing this in SortedList on Ubuntu x64

[DrewScoggins]

Run Information

Architecture	x64
OS	ubuntu 18.04
Changes	diff

Regressions in System.Collections.CreateAddAndClear

Benchmark	Baseline	Test	Test/Base	Modality	Baseline Outlier
SortedList	36.77 μs	43.26 μs	1.18		False

Related Issue on x64 Windows

[Perf -8%] System.Collections.CreateAddAndClear.Array

Related Issue on x86 Windows

[Perf -15%] System.Collections.CreateAddAndClear.SortedList

Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
py .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Collections.CreateAddAndClear<Int32>*';

Histogram

System.Collections.CreateAddAndClear.SortedList(Size: 512)

[34760.459 ; 36121.900) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[36121.900 ; 37544.379) | @@@@@@@@@@@@@@
[37544.379 ; 39605.576) | @
[39605.576 ; 41022.034) | @@@@@@@@@@@@@@@@@
[41022.034 ; 42334.713) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[42334.713 ; 43696.154) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[43696.154 ; 45801.957) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

[danmoseley]

Duplicate of #39112