Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

[Perf] Changes at 12/2/2020 1:02:04 AM #3582

Closed
performanceautofiler bot opened this issue Dec 8, 2020 · 0 comments
Closed

[Perf] Changes at 12/2/2020 1:02:04 AM #3582

performanceautofiler bot opened this issue Dec 8, 2020 · 0 comments
Labels
refs/heads/master Regression ubuntu 18.04 x64

Comments

@performanceautofiler
Copy link

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in Span.IndexerBench

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
CoveredIndex2 624.88 ns 1.35 μs 2.16
CoveredIndex1 786.31 ns 1.13 μs 1.43
SameIndex2 674.00 ns 1.12 μs 1.67

graph
graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'Span.IndexerBench*'

.

Payloads

Baseline
Compare

Histogram

Span.IndexerBench.CoveredIndex2(length: 1024)

[ 620.367 ;  684.266) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 684.266 ;  748.165) | 
[ 748.165 ;  812.064) | 
[ 812.064 ;  875.963) | 
[ 875.963 ;  939.862) | 
[ 939.862 ; 1003.761) | 
[1003.761 ; 1067.659) | 
[1067.659 ; 1131.558) | 
[1131.558 ; 1195.457) | 
[1195.457 ; 1259.356) | 
[1259.356 ; 1320.939) | 
[1320.939 ; 1391.538) | @@@@@@@@@@@@@@@@@@@@@@@@@@

Span.IndexerBench.CoveredIndex1(length: 1024)

[ 718.515 ;  751.923) | @@@@@@@@@@@@@@@@@@@@
[ 751.923 ;  774.243) | 
[ 774.243 ;  805.432) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 805.432 ;  836.620) | 
[ 836.620 ;  867.808) | 
[ 867.808 ;  908.087) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 908.087 ;  939.275) | 
[ 939.275 ;  970.463) | 
[ 970.463 ; 1001.652) | 
[1001.652 ; 1032.840) | 
[1032.840 ; 1064.028) | 
[1064.028 ; 1110.486) | 
[1110.486 ; 1143.894) | @@@@@@@@@@@@@@@@@@@@@@@@@@

Span.IndexerBench.SameIndex2(length: 1024)

[ 604.688 ;  652.890) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 652.890 ;  709.595) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[ 709.595 ;  754.243) | 
[ 754.243 ;  798.892) | 
[ 798.892 ;  843.540) | 
[ 843.540 ;  888.189) | 
[ 888.189 ;  932.837) | 
[ 932.837 ;  977.485) | 
[ 977.485 ; 1022.134) | 
[1022.134 ; 1066.782) | 
[1066.782 ; 1099.301) | 
[1099.301 ; 1146.069) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Text.Json.Document.Tests.Perf_EnumerateObject

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
PropertyIndexer 1.65 μs 1.93 μs 1.17
PropertyIndexer 1.76 μs 1.93 μs 1.09

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Json.Document.Tests.Perf_EnumerateObject*'

.

Payloads

Baseline
Compare

Histogram

System.Text.Json.Document.Tests.Perf_EnumerateObject.PropertyIndexer(TestCase: StringProperties)

[1640.081 ; 1705.297) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1705.297 ; 1770.026) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1770.026 ; 1810.280) | @
[1810.280 ; 1856.138) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1856.138 ; 1913.253) | 
[1913.253 ; 1953.592) | @@@@@@@@@@@@@@@@@@@@@@@@@@

System.Text.Json.Document.Tests.Perf_EnumerateObject.PropertyIndexer(TestCase: NumericProperties)

[1638.785 ; 1680.555) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1680.555 ; 1735.956) | @@@
[1735.956 ; 1803.668) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1803.668 ; 1855.076) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1855.076 ; 1912.060) | 
[1912.060 ; 1951.951) | @@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Globalization.Tests.StringSearch

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
IndexOf_Word_NotFound 366.02 ns 413.35 ns 1.13
IsPrefix_FirstHalf 138.03 ns 184.13 ns 1.33
LastIndexOf_Word_NotFound 366.20 ns 413.40 ns 1.13
LastIndexOf_Word_NotFound 366.49 ns 413.38 ns 1.13
LastIndexOf_Word_NotFound 366.34 ns 414.46 ns 1.13
IndexOf_Word_NotFound 365.73 ns 418.21 ns 1.14
IndexOf_Word_NotFound 370.71 ns 417.59 ns 1.13

Related Issue on x64 Windows

[Perf 23%] System.Globalization.Tests.StringSearch (16)

Related Issue on x86 Windows

[Perf 20%] System.Globalization.Tests.StringSearch (16)

graph
graph
graph
graph
graph
graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Globalization.Tests.StringSearch*'

.

Payloads

Baseline
Compare

Histogram

System.Globalization.Tests.StringSearch.IndexOf_Word_NotFound(Options: (en-US, None, False))

[362.973 ; 370.410) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[370.410 ; 379.780) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[379.780 ; 387.976) | 
[387.976 ; 396.172) | 
[396.172 ; 418.205) | @@@@@@@@@@@@@@@@@@@@@@@@@

System.Globalization.Tests.StringSearch.IsPrefix_FirstHalf(Options: (en-US, None, False))

[135.619 ; 139.285) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[139.285 ; 142.950) | 
[142.950 ; 146.616) | 
[146.616 ; 150.281) | 
[150.281 ; 153.947) | 
[153.947 ; 157.613) | 
[157.613 ; 161.278) | 
[161.278 ; 164.944) | 
[164.944 ; 168.609) | 
[168.609 ; 172.275) | 
[172.275 ; 175.941) | 
[175.941 ; 182.163) | 
[182.163 ; 186.252) | @@@@@@@@@@@@@@@@@@@@@

System.Globalization.Tests.StringSearch.LastIndexOf_Word_NotFound(Options: (, None, False))

[363.335 ; 375.517) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[375.517 ; 383.840) | 
[383.840 ; 392.164) | 
[392.164 ; 400.487) | 
[400.487 ; 417.384) | @@@@@@@@@@@@@@@@@@@@@@@@@@

System.Globalization.Tests.StringSearch.LastIndexOf_Word_NotFound(Options: (en-US, None, False))

[363.406 ; 375.143) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[375.143 ; 383.372) | 
[383.372 ; 391.601) | 
[391.601 ; 399.830) | 
[399.830 ; 416.975) | @@@@@@@@@@@@@@@@@@@@@@@@@

System.Globalization.Tests.StringSearch.LastIndexOf_Word_NotFound(Options: (en-US, IgnoreNonSpace, False))

[363.481 ; 374.572) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[374.572 ; 383.465) | @
[383.465 ; 395.345) | @
[395.345 ; 403.611) | 
[403.611 ; 417.568) | @@@@@@@@@@@@@@@@@@@@@@@@@

System.Globalization.Tests.StringSearch.IndexOf_Word_NotFound(Options: (en-US, IgnoreNonSpace, False))

[363.350 ; 376.211) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[376.211 ; 386.271) | @
[386.271 ; 394.824) | 
[394.824 ; 403.376) | 
[403.376 ; 421.791) | @@@@@@@@@@@@@@@@@@@@@@@@@@

System.Globalization.Tests.StringSearch.IndexOf_Word_NotFound(Options: (, None, False))

[362.945 ; 370.588) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[370.588 ; 382.904) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[382.904 ; 391.278) | 
[391.278 ; 399.652) | 
[399.652 ; 409.922) | 
[409.922 ; 421.502) | @@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Text.Json.Tests.Perf_Booleans

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
WriteBooleans 1.53 ms 1.69 ms 1.10
WriteBooleans 1.41 ms 1.55 ms 1.10

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Text.Json.Tests.Perf_Booleans*'

.

Payloads

Baseline
Compare

Histogram

System.Text.Json.Tests.Perf_Booleans.WriteBooleans(Formatted: False, SkipValidation: False)

[1493502.851 ; 1526242.018) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1526242.018 ; 1589085.914) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1589085.914 ; 1639887.680) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1639887.680 ; 1724352.688) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

System.Text.Json.Tests.Perf_Booleans.WriteBooleans(Formatted: False, SkipValidation: True)

[1383494.948 ; 1441195.086) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1441195.086 ; 1478084.245) | @@@@@
[1478084.245 ; 1531508.382) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1531508.382 ; 1575537.020) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[1575537.020 ; 1617551.100) | @@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Numerics.Tests.Perf_BigInteger

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Ctor_ByteArray 100.26 ns 130.58 ns 1.30

Related Issue on x64 Windows

[Perf -14%] System.Numerics.Tests.Perf_BigInteger (3)

Related Issue on x86 Windows

[Perf -11%] System.Numerics.Tests.Perf_BigInteger.ToStringD

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Numerics.Tests.Perf_BigInteger*'

.

Payloads

Baseline
Compare

Histogram

System.Numerics.Tests.Perf_BigInteger.Ctor_ByteArray(numberString: 12345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890123456789012345678901234567890)

[ 94.157 ;  97.352) | @@@@@@@@@@@@@@
[ 97.352 ; 100.098) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[100.098 ; 102.311) | @@@@@@@@@@@@@@@@@@@@@
[102.311 ; 104.606) | @
[104.606 ; 108.566) | 
[108.566 ; 111.745) | @@@@@@@@
[111.745 ; 114.491) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[114.491 ; 117.081) | 
[117.081 ; 119.827) | @
[119.827 ; 122.572) | 
[122.572 ; 125.318) | 
[125.318 ; 128.063) | 
[128.063 ; 131.396) | @@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in SIMD.RayTracerBench

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Bench 222.08 ms 238.06 ms 1.07

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'SIMD.RayTracerBench*'

.

Payloads

Baseline
Compare

Histogram

SIMD.RayTracerBench.Bench

[220340245.422 ; 228208470.852) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[228208470.852 ; 233107515.824) | 
[233107515.824 ; 242728087.886) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Net.Primitives.Tests.IPAddressPerformanceTests

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryWriteBytes 10.93 ns 14.67 ns 1.34

Related Issue on x86 Windows

[Perf 13%] System.Net.Primitives.Tests.IPAddressPerformanceTests (2)

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Net.Primitives.Tests.IPAddressPerformanceTests*'

.

Payloads

Baseline
Compare

Histogram

System.Net.Primitives.Tests.IPAddressPerformanceTests.TryWriteBytes(address: 1020:3040:5060:7080:9010:1112:1314:1516)

[10.741 ; 11.084) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[11.084 ; 11.574) | @@@@
[11.574 ; 11.968) | @
[11.968 ; 12.311) | @@
[12.311 ; 12.655) | 
[12.655 ; 12.998) | 
[12.998 ; 13.341) | 
[13.341 ; 13.685) | 
[13.685 ; 14.028) | 
[14.028 ; 14.404) | 
[14.404 ; 14.971) | @@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Buffers.Text.Tests.Base64EncodeDecodeInPlaceTests

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
Base64EncodeInPlace 149.08 ms 191.91 ms 1.29

graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Buffers.Text.Tests.Base64EncodeDecodeInPlaceTests*'

.

Payloads

Baseline
Compare

Histogram

System.Buffers.Text.Tests.Base64EncodeDecodeInPlaceTests.Base64EncodeInPlace(NumberOfBytes: 200000000)

[131265358.861 ; 138580922.903) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[138580922.903 ; 145473556.530) | 
[145473556.530 ; 152789120.572) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[152789120.572 ; 160104684.614) | 
[160104684.614 ; 167420248.656) | 
[167420248.656 ; 174094642.779) | 
[174094642.779 ; 181410206.821) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[181410206.821 ; 188366671.372) | 
[188366671.372 ; 196017476.307) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository

Run Information

Architecture x64
OS ubuntu 18.04
Baseline 49f7896598642bbf0cc7947b95b7c96d31b2fb46
Compare 68261b50e7c9e19c06ade1b06558da876981c366

Regressions in System.Buffers.Text.Tests.Utf8ParserTests

Benchmark Baseline Test Test/Base Baseline IR Compare IR IR Ratio Baseline ETL Compare ETL
TryParseInt64 17.24 ns 24.36 ns 1.41
TryParseInt64 17.62 ns 23.86 ns 1.35

Related Issue on x64 Windows

[Perf 6%] System.Buffers.Text.Tests.Utf8ParserTests.TryParseUInt64

Related Issue on x86 Windows

[Perf 16%] System.Buffers.Text.Tests.Utf8ParserTests.TryParseDateTimeOffset

graph
graph
Historical Data in Reporting System

Repro

git clone https://github.com/dotnet/performance.git
python3 .\performance\scripts\benchmarks_ci.py -f netcoreapp5.0 --filter 'System.Buffers.Text.Tests.Utf8ParserTests*'

.

Payloads

Baseline
Compare

Histogram

System.Buffers.Text.Tests.Utf8ParserTests.TryParseInt64(value: -9223372036854775808)

[16.915 ; 17.920) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[17.920 ; 18.807) | @@@@@@
[18.807 ; 19.812) | 
[19.812 ; 20.817) | 
[20.817 ; 21.822) | 
[21.822 ; 22.894) | 
[22.894 ; 23.559) | @
[23.559 ; 24.564) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[24.564 ; 25.257) | @@@@@@

System.Buffers.Text.Tests.Utf8ParserTests.TryParseInt64(value: 9223372036854775807)

[16.948 ; 17.980) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[17.980 ; 19.020) | @@
[19.020 ; 20.053) | 
[20.053 ; 21.085) | 
[21.085 ; 22.117) | 
[22.117 ; 23.319) | 
[23.319 ; 23.974) | @@@@@@@@
[23.974 ; 25.007) | @@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@@
[25.007 ; 25.553) | @

Docs

Profiling workflow for dotnet/runtime repository
Benchmarking workflow for dotnet/runtime repository
DrewScoggins pushed a commit that referenced this issue Jan 22, 2024
@dotnet-maestro
Update dependencies from https://github.com/dotnet/arcade build 20231…
548ba1c 
…207.2 (#3582)

Microsoft.DotNet.Arcade.Sdk , Microsoft.DotNet.Helix.Sdk
 From Version 9.0.0-beta.23606.1 -> To Version 9.0.0-beta.23607.2

Co-authored-by: dotnet-maestro[bot] <dotnet-maestro[bot]@users.noreply.github.com>
Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
refs/heads/master Regression ubuntu 18.04 x64
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
1 participant
@DrewScoggins