branch-3.1: [fix](test) Modify regression test to make stable and change expectedlog level #55169

[seawinde]

picked from #55169

[hello-stephen]

Thank you for your contribution to Apache Doris.
Don't know what should be done next? See How to process your PR.

Please clearly describe your PR:

1. What problem was fixed (it's best to include specific error reporting information). How it was fixed.
2. Which behaviors were modified. What was the previous behavior, what is it now, why was it modified, and what possible impacts might there be.
3. What features were added. Why was this function added?
4. Which code was refactored and why was this part of the code refactored?
5. Which functions were optimized and what is the difference before and after the optimization?

[seawinde]

run buildall

[doris-robot]

TPC-H: Total hot run time: 32601 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit d32595bafa8fbbc13404e6bc61d41bc4a5efe82a, data reload: false

------ Round 1 ----------------------------------
q1	17596	5405	5459	5405
q2	2042	409	282	282
q3	12861	1245	736	736
q4	10562	870	449	449
q5	9729	2373	2153	2153
q6	194	163	131	131
q7	901	734	601	601
q8	9319	1425	1150	1150
q9	5235	4951	4965	4951
q10	6778	2292	1842	1842
q11	481	282	253	253
q12	335	365	210	210
q13	17790	3573	3004	3004
q14	227	227	205	205
q15	529	464	464	464
q16	431	428	368	368
q17	599	862	344	344
q18	6768	6354	6485	6354
q19	1211	943	551	551
q20	330	339	198	198
q21	2716	2168	1968	1968
q22	1065	982	999	982
Total cold run time: 107699 ms
Total hot run time: 32601 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5437	5454	5514	5454
q2	236	331	232	232
q3	2233	2639	2335	2335
q4	1345	1764	1397	1397
q5	4404	4996	5005	4996
q6	177	161	125	125
q7	2054	1964	1822	1822
q8	2627	2844	2690	2690
q9	7282	7241	7216	7216
q10	2997	3248	2724	2724
q11	563	514	490	490
q12	667	804	606	606
q13	3408	3803	3177	3177
q14	289	314	289	289
q15	532	486	456	456
q16	439	478	432	432
q17	1232	1731	1280	1280
q18	7589	7394	7373	7373
q19	767	1150	1061	1061
q20	2021	2058	1925	1925
q21	5329	4862	4514	4514
q22	1072	1130	1077	1077
Total cold run time: 52700 ms
Total hot run time: 51671 ms

[doris-robot]

TPC-DS: Total hot run time: 192947 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit d32595bafa8fbbc13404e6bc61d41bc4a5efe82a, data reload: false

query1	969	404	402	402
query2	6238	1951	1866	1866
query3	8692	226	204	204
query4	33654	24094	23373	23373
query5	3658	609	451	451
query6	281	195	173	173
query7	4201	491	312	312
query8	304	240	244	240
query9	9470	2636	2610	2610
query10	476	328	257	257
query11	18027	15879	15448	15448
query12	163	111	105	105
query13	1570	542	418	418
query14	9764	7206	6852	6852
query15	218	203	182	182
query16	7829	676	529	529
query17	1576	754	600	600
query18	2110	420	354	354
query19	215	196	171	171
query20	129	121	122	121
query21	209	132	113	113
query22	4588	4517	4374	4374
query23	34760	34265	34249	34249
query24	7591	2768	2741	2741
query25	555	501	433	433
query26	1335	303	177	177
query27	2238	497	371	371
query28	5479	2235	2223	2223
query29	807	631	487	487
query30	243	187	168	168
query31	1030	956	842	842
query32	97	66	57	57
query33	550	372	367	367
query34	753	870	519	519
query35	818	817	760	760
query36	1017	1062	973	973
query37	110	97	71	71
query38	4041	4057	3918	3918
query39	1518	1466	1489	1466
query40	207	118	108	108
query41	50	47	45	45
query42	121	114	107	107
query43	523	524	479	479
query44	1369	852	856	852
query45	190	179	172	172
query46	887	1062	676	676
query47	1955	1990	1938	1938
query48	414	429	354	354
query49	786	495	425	425
query50	681	696	439	439
query51	7312	7317	7284	7284
query52	108	102	96	96
query53	235	253	199	199
query54	548	559	478	478
query55	83	82	83	82
query56	276	282	252	252
query57	1286	1244	1220	1220
query58	243	226	216	216
query59	3048	3063	2962	2962
query60	305	300	276	276
query61	118	129	113	113
query62	799	774	702	702
query63	228	204	200	200
query64	4536	990	639	639
query65	3380	3309	3313	3309
query66	1108	417	314	314
query67	16561	15790	15631	15631
query68	7946	828	531	531
query69	502	318	277	277
query70	1242	1168	1107	1107
query71	429	305	267	267
query72	5143	3927	3794	3794
query73	637	737	353	353
query74	10045	9402	9227	9227
query75	3728	3173	2696	2696
query76	3580	1185	765	765
query77	772	383	274	274
query78	10258	10300	9542	9542
query79	5558	819	592	592
query80	692	534	433	433
query81	495	266	222	222
query82	229	122	90	90
query83	172	157	148	148
query84	294	105	82	82
query85	748	356	310	310
query86	353	311	304	304
query87	4357	4309	4223	4223
query88	4364	2432	2393	2393
query89	438	330	307	307
query90	2078	197	197	197
query91	138	142	108	108
query92	69	58	51	51
query93	3687	887	529	529
query94	653	413	323	323
query95	343	280	277	277
query96	491	606	296	296
query97	3186	3274	3163	3163
query98	214	210	196	196
query99	1535	1419	1325	1325
Total cold run time: 299016 ms
Total hot run time: 192947 ms

[doris-robot]

ClickBench: Total hot run time: 29.36 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit d32595bafa8fbbc13404e6bc61d41bc4a5efe82a, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.04
query3	0.23	0.07	0.07
query4	1.62	0.10	0.10
query5	0.52	0.53	0.49
query6	1.13	0.72	0.71
query7	0.02	0.02	0.02
query8	0.04	0.03	0.04
query9	0.57	0.51	0.50
query10	0.57	0.55	0.55
query11	0.14	0.10	0.11
query12	0.14	0.11	0.11
query13	0.60	0.60	0.60
query14	0.79	0.78	0.80
query15	0.84	0.83	0.86
query16	0.39	0.38	0.38
query17	1.00	1.04	1.04
query18	0.24	0.22	0.22
query19	1.98	1.89	1.87
query20	0.01	0.01	0.01
query21	15.37	0.97	0.60
query22	0.74	0.85	0.68
query23	15.01	1.43	0.56
query24	3.06	1.39	1.29
query25	0.12	0.06	0.26
query26	0.33	0.15	0.13
query27	0.05	0.05	0.04
query28	14.30	1.02	0.45
query29	12.56	4.02	3.29
query30	0.25	0.10	0.07
query31	2.82	0.62	0.38
query32	3.23	0.55	0.47
query33	3.04	3.01	3.10
query34	16.74	5.24	4.50
query35	4.55	4.57	4.60
query36	0.65	0.49	0.48
query37	0.09	0.07	0.06
query38	0.05	0.04	0.04
query39	0.05	0.02	0.02
query40	0.17	0.13	0.12
query41	0.08	0.03	0.02
query42	0.04	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 104.27 s
Total hot run time: 29.36 s

[hello-stephen]

FE UT Coverage Report

Increment line coverage 50.00% (1/2) 🎉
Increment coverage report
Complete coverage report

[seawinde]

run buildall

[doris-robot]

TPC-H: Total hot run time: 32675 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b637eea0f90ce14e758c821ecb6e42f8c1181341, data reload: false

------ Round 1 ----------------------------------
q1	17601	5422	5431	5422
q2	2015	394	281	281
q3	12089	1241	795	795
q4	10273	861	449	449
q5	9193	2379	2135	2135
q6	184	166	130	130
q7	897	740	618	618
q8	9342	1438	1123	1123
q9	5424	4959	4870	4870
q10	6753	2261	1844	1844
q11	491	277	266	266
q12	336	360	218	218
q13	17762	3587	3004	3004
q14	234	224	212	212
q15	540	482	478	478
q16	430	430	375	375
q17	580	866	347	347
q18	6944	6467	6291	6291
q19	1217	959	558	558
q20	325	338	208	208
q21	2857	2203	2055	2055
q22	1043	1058	996	996
Total cold run time: 106530 ms
Total hot run time: 32675 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5532	5448	5486	5448
q2	233	329	237	237
q3	2274	2581	2265	2265
q4	1341	1785	1385	1385
q5	4455	4932	5035	4932
q6	173	160	146	146
q7	2089	1990	1807	1807
q8	2610	2853	2732	2732
q9	7300	7298	7281	7281
q10	3045	3272	2715	2715
q11	586	520	500	500
q12	678	792	606	606
q13	3447	3772	3166	3166
q14	286	289	275	275
q15	513	479	483	479
q16	452	483	441	441
q17	1212	1732	1283	1283
q18	7483	7329	7305	7305
q19	775	1040	1146	1040
q20	2018	2047	1903	1903
q21	5413	5034	4510	4510
q22	1086	1107	1082	1082
Total cold run time: 53001 ms
Total hot run time: 51538 ms

[doris-robot]

TPC-DS: Total hot run time: 192464 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b637eea0f90ce14e758c821ecb6e42f8c1181341, data reload: false

query1	979	390	436	390
query2	6120	1933	1823	1823
query3	8681	211	202	202
query4	33459	23906	23920	23906
query5	3702	616	456	456
query6	288	193	199	193
query7	4203	480	315	315
query8	309	258	255	255
query9	9561	2641	2616	2616
query10	479	324	265	265
query11	18139	15453	15109	15109
query12	160	110	105	105
query13	1568	543	423	423
query14	10325	6699	7039	6699
query15	236	189	187	187
query16	8079	673	530	530
query17	1513	766	607	607
query18	2178	414	358	358
query19	232	189	165	165
query20	125	116	122	116
query21	209	132	110	110
query22	4494	4600	4300	4300
query23	35370	34699	34142	34142
query24	7253	2708	2702	2702
query25	513	481	389	389
query26	869	280	166	166
query27	2129	462	360	360
query28	5601	2226	2198	2198
query29	705	568	451	451
query30	239	197	166	166
query31	1013	954	845	845
query32	95	58	59	58
query33	501	365	312	312
query34	745	863	501	501
query35	847	809	721	721
query36	1022	1067	944	944
query37	105	93	65	65
query38	3997	4107	3947	3947
query39	1547	1464	1515	1464
query40	216	123	106	106
query41	49	48	47	47
query42	127	112	110	110
query43	509	519	479	479
query44	1339	846	828	828
query45	183	174	173	173
query46	872	1041	670	670
query47	1916	1947	1913	1913
query48	409	441	365	365
query49	738	494	413	413
query50	662	713	424	424
query51	7307	7383	7163	7163
query52	110	106	96	96
query53	230	256	198	198
query54	540	559	473	473
query55	79	81	80	80
query56	266	270	251	251
query57	1251	1277	1205	1205
query58	238	227	235	227
query59	3021	3026	3070	3026
query60	301	281	304	281
query61	115	113	110	110
query62	777	765	699	699
query63	233	200	197	197
query64	3767	1003	782	782
query65	3461	3331	3332	3331
query66	776	441	336	336
query67	16265	15629	15551	15551
query68	5334	828	543	543
query69	520	317	291	291
query70	1202	1145	1151	1145
query71	388	290	266	266
query72	5906	3795	3869	3795
query73	614	743	360	360
query74	10343	9108	8999	8999
query75	3205	3192	2668	2668
query76	3000	1188	755	755
query77	480	366	290	290
query78	10328	10530	9715	9715
query79	2915	927	611	611
query80	712	541	446	446
query81	484	261	220	220
query82	431	120	97	97
query83	166	162	145	145
query84	244	100	79	79
query85	772	354	305	305
query86	398	288	302	288
query87	4290	4360	4241	4241
query88	5115	2404	2394	2394
query89	403	340	300	300
query90	1744	193	192	192
query91	140	150	110	110
query92	69	55	53	53
query93	2323	921	539	539
query94	696	424	304	304
query95	339	276	271	271
query96	485	607	279	279
query97	3158	3290	3154	3154
query98	244	213	194	194
query99	1351	1391	1320	1320
Total cold run time: 291146 ms
Total hot run time: 192464 ms

[doris-robot]

ClickBench: Total hot run time: 29.03 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b637eea0f90ce14e758c821ecb6e42f8c1181341, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.03
query3	0.24	0.07	0.07
query4	1.62	0.10	0.11
query5	0.52	0.52	0.52
query6	1.13	0.74	0.74
query7	0.02	0.02	0.02
query8	0.04	0.03	0.03
query9	0.57	0.51	0.49
query10	0.54	0.54	0.56
query11	0.16	0.10	0.11
query12	0.14	0.11	0.12
query13	0.63	0.60	0.59
query14	0.76	0.82	0.82
query15	0.86	0.84	0.82
query16	0.40	0.40	0.41
query17	1.02	1.06	1.04
query18	0.25	0.23	0.22
query19	1.97	1.87	1.85
query20	0.01	0.01	0.01
query21	15.84	1.00	0.59
query22	0.75	0.78	0.59
query23	15.21	1.46	0.58
query24	3.32	0.87	1.23
query25	0.18	0.22	0.07
query26	0.34	0.15	0.13
query27	0.04	0.04	0.04
query28	13.69	1.03	0.45
query29	12.57	3.95	3.29
query30	0.25	0.10	0.07
query31	2.83	0.61	0.39
query32	3.22	0.55	0.48
query33	2.96	3.02	3.04
query34	16.60	5.18	4.53
query35	4.53	4.57	4.62
query36	0.64	0.52	0.51
query37	0.08	0.06	0.06
query38	0.04	0.04	0.04
query39	0.03	0.02	0.03
query40	0.16	0.13	0.13
query41	0.08	0.02	0.03
query42	0.03	0.02	0.03
query43	0.04	0.03	0.03
Total cold run time: 104.41 s
Total hot run time: 29.03 s

[hello-stephen]

FE UT Coverage Report

Increment line coverage 50.00% (1/2) 🎉
Increment coverage report
Complete coverage report

[seawinde]

run buildall

[doris-robot]

TPC-H: Total hot run time: 32705 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 884e339d676fb52761e7c57bad183fb0a0012e94, data reload: false

------ Round 1 ----------------------------------
q1	17594	5466	5461	5461
q2	2016	410	287	287
q3	12200	1247	730	730
q4	10254	874	451	451
q5	8308	2436	2136	2136
q6	184	168	132	132
q7	882	750	616	616
q8	9332	1446	1152	1152
q9	5221	5005	4906	4906
q10	6773	2279	1823	1823
q11	503	282	271	271
q12	348	356	212	212
q13	17779	3666	3019	3019
q14	225	227	216	216
q15	531	476	459	459
q16	432	434	389	389
q17	580	851	353	353
q18	7077	6503	6327	6327
q19	1194	950	530	530
q20	320	336	198	198
q21	2976	2243	2045	2045
q22	1050	1045	992	992
Total cold run time: 105779 ms
Total hot run time: 32705 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5500	5486	5483	5483
q2	233	320	230	230
q3	2284	2656	2324	2324
q4	1384	1849	1434	1434
q5	4426	4939	5014	4939
q6	174	170	131	131
q7	2124	2005	1785	1785
q8	2652	2890	2738	2738
q9	7273	7177	7234	7177
q10	3054	3313	2741	2741
q11	571	509	509	509
q12	733	755	637	637
q13	3464	3813	3169	3169
q14	288	304	274	274
q15	524	492	474	474
q16	437	484	435	435
q17	1261	1722	1265	1265
q18	7638	7500	7239	7239
q19	811	1141	1091	1091
q20	2033	2053	1932	1932
q21	5410	5014	4618	4618
q22	1095	1071	1012	1012
Total cold run time: 53369 ms
Total hot run time: 51637 ms

[doris-robot]

TPC-DS: Total hot run time: 192735 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 884e339d676fb52761e7c57bad183fb0a0012e94, data reload: false

query1	952	403	403	403
query2	6221	1967	1895	1895
query3	8688	212	208	208
query4	33575	23865	23442	23442
query5	3541	593	445	445
query6	290	209	209	209
query7	4206	484	315	315
query8	297	243	227	227
query9	9379	2622	2627	2622
query10	449	326	255	255
query11	18140	15451	15607	15451
query12	169	107	108	107
query13	1561	534	438	438
query14	10159	7069	7228	7069
query15	270	194	174	174
query16	7991	608	460	460
query17	1488	788	610	610
query18	2219	424	347	347
query19	240	196	175	175
query20	131	125	118	118
query21	210	127	111	111
query22	4697	4579	4534	4534
query23	35467	34375	34117	34117
query24	7684	2709	2709	2709
query25	547	490	436	436
query26	1169	295	174	174
query27	2318	463	373	373
query28	5551	2272	2256	2256
query29	790	624	483	483
query30	259	179	160	160
query31	1020	924	811	811
query32	86	60	57	57
query33	483	371	301	301
query34	737	833	523	523
query35	788	825	746	746
query36	1023	1059	977	977
query37	101	94	70	70
query38	4041	4037	3973	3973
query39	1557	1453	1512	1453
query40	216	120	101	101
query41	49	51	50	50
query42	126	110	103	103
query43	515	529	487	487
query44	1358	841	831	831
query45	197	176	171	171
query46	879	1050	684	684
query47	1998	2015	1955	1955
query48	433	419	351	351
query49	777	506	418	418
query50	673	691	429	429
query51	7381	7330	7146	7146
query52	101	102	90	90
query53	230	262	198	198
query54	547	565	480	480
query55	81	81	84	81
query56	281	272	270	270
query57	1278	1289	1253	1253
query58	250	227	222	222
query59	3156	3176	3018	3018
query60	299	286	281	281
query61	134	123	112	112
query62	808	752	690	690
query63	237	197	196	196
query64	4589	1016	641	641
query65	3306	3253	3201	3201
query66	957	400	304	304
query67	15994	15775	15524	15524
query68	7433	826	543	543
query69	497	304	267	267
query70	1185	1155	1149	1149
query71	375	292	260	260
query72	5705	3702	3858	3702
query73	623	746	349	349
query74	10478	9437	8937	8937
query75	3202	3132	2672	2672
query76	3053	1179	768	768
query77	463	369	284	284
query78	10446	10565	9666	9666
query79	3189	903	586	586
query80	660	517	435	435
query81	490	261	222	222
query82	625	121	91	91
query83	169	158	143	143
query84	238	103	85	85
query85	795	363	299	299
query86	390	303	299	299
query87	4301	4355	4297	4297
query88	5264	2400	2400	2400
query89	409	337	299	299
query90	1802	187	191	187
query91	141	139	110	110
query92	64	55	52	52
query93	2592	862	542	542
query94	689	408	306	306
query95	340	277	270	270
query96	492	611	289	289
query97	3214	3256	3187	3187
query98	233	212	204	204
query99	1358	1412	1314	1314
Total cold run time: 296259 ms
Total hot run time: 192735 ms

[doris-robot]

ClickBench: Total hot run time: 29.13 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 884e339d676fb52761e7c57bad183fb0a0012e94, data reload: false

query1	0.03	0.03	0.03
query2	0.07	0.03	0.03
query3	0.24	0.07	0.06
query4	1.63	0.11	0.11
query5	0.52	0.52	0.50
query6	1.15	0.75	0.72
query7	0.02	0.02	0.01
query8	0.04	0.04	0.04
query9	0.61	0.51	0.50
query10	0.55	0.55	0.56
query11	0.14	0.11	0.10
query12	0.14	0.10	0.10
query13	0.60	0.60	0.58
query14	0.78	0.80	0.79
query15	0.84	0.82	0.83
query16	0.41	0.38	0.39
query17	1.00	1.08	1.04
query18	0.23	0.22	0.22
query19	1.95	1.87	1.82
query20	0.02	0.02	0.01
query21	15.38	0.90	0.58
query22	0.74	0.76	0.53
query23	15.28	1.48	0.51
query24	3.36	1.42	1.36
query25	0.14	0.11	0.12
query26	0.19	0.16	0.14
query27	0.07	0.06	0.04
query28	13.98	0.96	0.44
query29	12.57	3.90	3.23
query30	0.25	0.08	0.06
query31	2.83	0.58	0.40
query32	3.22	0.54	0.45
query33	3.03	3.00	3.09
query34	16.88	5.25	4.54
query35	4.61	4.57	4.55
query36	0.63	0.49	0.47
query37	0.09	0.06	0.06
query38	0.04	0.04	0.04
query39	0.04	0.03	0.02
query40	0.16	0.13	0.12
query41	0.08	0.03	0.02
query42	0.03	0.02	0.02
query43	0.04	0.03	0.03
Total cold run time: 104.61 s
Total hot run time: 29.13 s

[hello-stephen]

FE UT Coverage Report

Increment line coverage 50.00% (1/2) 🎉
Increment coverage report
Complete coverage report