[Bug](routine load) Fix routine load task failed with MEM_LIMIT_EXCEED never be scheduled again

[xy720]

What problem does this PR solve?

Related PR: #53853

Problem Summary:

A routine load task which submit failed with following msg will never be scheduled again, causing the corresponding kafka partition to no longer be consumed.

2025-08-29 03:42:24:errCode = 2, detailMessage = failed to send task: errCode = 2, 
detailMessage = failed to submit task. error code: MEM_LIMIT_EXCEEDED, 
msg: (10.0.72.47)[MEM_LIMIT_EXCEEDED]
is_exceed_soft_mem_limit: 0 
current_load_mem_value: 114837740081 
_load_mem_limit: 112722727424

Release note

None

Check List (For Author)

• Test

  • Regression test
  • Unit Test
  • Manual test (add detailed scripts or steps below)
  • No need to test or manual test. Explain why:
    • This is a refactor/code format and no logic has been changed.
    • Previous test can cover this change.
    • No code files have been changed.
    • Other reason

• Behavior changed:

  • No.
  • Yes.

• Does this need documentation?

  • No.
  • Yes.

Check List (For Reviewer who merge this PR)

• Confirm the release note
• Confirm test cases
• Confirm document
• Add branch pick label

[xy720]

run buildall

[doris-robot]

TPC-H: Total hot run time: 34172 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 7409b61050c0517d87012f25e99e88fc0813a20f, data reload: false

------ Round 1 ----------------------------------
q1	17612	5340	5087	5087
q2	2017	325	216	216
q3	10272	1322	723	723
q4	10309	1022	518	518
q5	8472	2522	2325	2325
q6	209	178	142	142
q7	942	783	634	634
q8	9372	1378	1113	1113
q9	7156	5130	5198	5130
q10	6998	2432	1978	1978
q11	496	305	279	279
q12	378	359	226	226
q13	17791	3664	3058	3058
q14	250	248	252	248
q15	574	524	488	488
q16	440	428	393	393
q17	612	872	367	367
q18	7976	7097	7017	7017
q19	1527	975	564	564
q20	348	336	238	238
q21	3783	3276	2474	2474
q22	1083	1050	954	954
Total cold run time: 108617 ms
Total hot run time: 34172 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5281	5111	5162	5111
q2	264	329	233	233
q3	2196	2756	2345	2345
q4	1366	1799	1363	1363
q5	4357	4592	4613	4592
q6	205	167	128	128
q7	2090	1989	1882	1882
q8	2707	2756	2520	2520
q9	7517	7414	7332	7332
q10	3157	3360	2848	2848
q11	596	512	491	491
q12	723	808	744	744
q13	3563	4102	3225	3225
q14	293	303	272	272
q15	520	473	496	473
q16	469	503	474	474
q17	1157	1549	1451	1451
q18	7878	7852	7433	7433
q19	811	852	1206	852
q20	2022	2034	1896	1896
q21	4816	4349	4358	4349
q22	1119	1062	987	987
Total cold run time: 53107 ms
Total hot run time: 51001 ms

[doris-robot]

TPC-DS: Total hot run time: 186311 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 7409b61050c0517d87012f25e99e88fc0813a20f, data reload: false

query1	1074	449	413	413
query2	6602	1825	1798	1798
query3	6780	226	224	224
query4	26598	23671	22921	22921
query5	4394	650	524	524
query6	334	243	218	218
query7	4654	513	300	300
query8	295	249	269	249
query9	8649	2938	2918	2918
query10	515	355	309	309
query11	15835	15002	14825	14825
query12	181	121	126	121
query13	1685	575	454	454
query14	9440	5893	5803	5803
query15	225	199	183	183
query16	7518	670	470	470
query17	1244	770	656	656
query18	2041	456	365	365
query19	213	244	186	186
query20	146	127	128	127
query21	223	137	113	113
query22	4157	4118	4002	4002
query23	34001	32954	33169	32954
query24	8216	2381	2400	2381
query25	580	553	453	453
query26	1248	283	168	168
query27	2713	516	350	350
query28	4355	2292	2267	2267
query29	805	605	502	502
query30	304	246	208	208
query31	938	826	733	733
query32	88	84	80	80
query33	575	390	368	368
query34	792	857	517	517
query35	812	844	759	759
query36	960	1027	928	928
query37	130	111	94	94
query38	4105	4134	3977	3977
query39	1649	1410	1420	1410
query40	224	133	126	126
query41	63	61	66	61
query42	132	115	130	115
query43	562	512	465	465
query44	1339	888	859	859
query45	185	175	209	175
query46	864	1037	657	657
query47	1786	1814	1739	1739
query48	420	428	328	328
query49	749	502	410	410
query50	652	697	402	402
query51	4132	4112	4082	4082
query52	124	113	108	108
query53	255	271	209	209
query54	607	606	550	550
query55	105	100	90	90
query56	361	354	315	315
query57	1214	1210	1156	1156
query58	292	288	279	279
query59	2652	2724	2686	2686
query60	365	363	343	343
query61	168	162	165	162
query62	804	750	662	662
query63	228	196	193	193
query64	4442	1169	841	841
query65	4334	4253	4233	4233
query66	1166	454	359	359
query67	15525	15406	15089	15089
query68	8685	931	589	589
query69	485	334	299	299
query70	1257	1135	1192	1135
query71	497	356	325	325
query72	5471	4815	4827	4815
query73	716	556	358	358
query74	8923	9029	8692	8692
query75	4084	3074	2647	2647
query76	3634	1146	769	769
query77	802	406	347	347
query78	9736	9617	8875	8875
query79	4776	819	573	573
query80	720	587	545	545
query81	477	257	233	233
query82	669	142	112	112
query83	294	275	257	257
query84	303	120	96	96
query85	892	582	435	435
query86	343	333	314	314
query87	4364	4317	4201	4201
query88	3197	2260	2223	2223
query89	491	351	295	295
query90	1952	237	238	237
query91	164	179	137	137
query92	99	75	74	74
query93	2684	1012	665	665
query94	713	417	324	324
query95	420	338	326	326
query96	497	582	276	276
query97	2673	2676	2583	2583
query98	254	217	215	215
query99	1448	1453	1317	1317
Total cold run time: 280544 ms
Total hot run time: 186311 ms

[doris-robot]

ClickBench: Total hot run time: 32.61 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 7409b61050c0517d87012f25e99e88fc0813a20f, data reload: false

query1	0.05	0.04	0.04
query2	0.09	0.05	0.05
query3	0.25	0.08	0.08
query4	1.60	0.12	0.12
query5	0.45	0.41	0.43
query6	1.17	0.63	0.66
query7	0.04	0.03	0.02
query8	0.05	0.04	0.04
query9	0.60	0.54	0.52
query10	0.59	0.57	0.57
query11	0.18	0.11	0.11
query12	0.16	0.12	0.12
query13	0.63	0.63	0.62
query14	0.80	0.84	0.85
query15	0.90	0.86	0.87
query16	0.39	0.44	0.40
query17	1.03	1.07	1.05
query18	0.22	0.20	0.21
query19	1.99	1.89	1.87
query20	0.02	0.01	0.01
query21	15.44	0.97	0.58
query22	0.77	1.13	0.81
query23	14.80	1.37	0.64
query24	6.89	0.98	0.50
query25	0.47	0.33	0.12
query26	0.59	0.15	0.13
query27	0.06	0.05	0.06
query28	9.73	0.95	0.44
query29	12.64	3.89	3.25
query30	3.11	3.07	3.01
query31	2.84	0.58	0.38
query32	3.24	0.57	0.48
query33	3.07	3.09	3.17
query34	16.17	5.51	4.80
query35	4.95	4.92	4.93
query36	0.71	0.52	0.49
query37	0.11	0.07	0.07
query38	0.06	0.05	0.04
query39	0.03	0.03	0.03
query40	0.18	0.15	0.14
query41	0.08	0.03	0.02
query42	0.04	0.03	0.03
query43	0.05	0.03	0.04
Total cold run time: 107.24 s
Total hot run time: 32.61 s

[xy720]

run buildall

[doris-robot]

TPC-H: Total hot run time: 34131 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b7d83dbb67b7b10e145b89b2389d15de855c1841, data reload: false

------ Round 1 ----------------------------------
q1	17645	5262	5106	5106
q2	1970	342	207	207
q3	10248	1271	698	698
q4	10238	995	548	548
q5	7521	2401	2331	2331
q6	188	174	141	141
q7	912	755	640	640
q8	9341	1322	1087	1087
q9	6873	5097	5136	5097
q10	6973	2381	1981	1981
q11	496	307	289	289
q12	349	351	221	221
q13	17808	3739	3019	3019
q14	235	248	221	221
q15	579	514	499	499
q16	440	437	378	378
q17	602	841	377	377
q18	7343	7131	7208	7131
q19	1416	959	572	572
q20	330	335	235	235
q21	3696	2561	2340	2340
q22	1099	1050	1013	1013
Total cold run time: 106302 ms
Total hot run time: 34131 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5216	5163	5132	5132
q2	254	340	226	226
q3	2169	2701	2337	2337
q4	1325	1767	1330	1330
q5	4252	4262	4541	4262
q6	217	175	133	133
q7	2032	2041	1875	1875
q8	2757	2514	2749	2514
q9	7520	7366	7377	7366
q10	3115	3371	2866	2866
q11	582	511	503	503
q12	667	793	667	667
q13	3448	3901	3339	3339
q14	294	296	280	280
q15	532	483	477	477
q16	465	507	470	470
q17	1216	1618	1399	1399
q18	8045	7795	7760	7760
q19	816	797	911	797
q20	1987	2000	1915	1915
q21	5089	4412	4314	4314
q22	1076	1044	1023	1023
Total cold run time: 53074 ms
Total hot run time: 50985 ms

[doris-robot]

TPC-DS: Total hot run time: 187202 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b7d83dbb67b7b10e145b89b2389d15de855c1841, data reload: false

query1	1061	441	415	415
query2	6550	1757	1771	1757
query3	6757	236	228	228
query4	26090	23366	23696	23366
query5	4488	704	548	548
query6	369	276	254	254
query7	4668	533	313	313
query8	318	255	275	255
query9	8658	2873	2869	2869
query10	505	364	281	281
query11	15837	15080	14808	14808
query12	175	124	122	122
query13	1682	569	429	429
query14	9207	5897	5903	5897
query15	215	196	180	180
query16	7267	635	476	476
query17	1250	765	656	656
query18	2050	434	342	342
query19	200	193	174	174
query20	133	130	123	123
query21	224	127	117	117
query22	4007	4205	3919	3919
query23	34373	32977	32920	32920
query24	8136	2360	2468	2360
query25	606	516	449	449
query26	1246	288	168	168
query27	2726	513	367	367
query28	4361	2279	2261	2261
query29	830	600	511	511
query30	298	227	195	195
query31	902	826	726	726
query32	93	84	78	78
query33	576	390	364	364
query34	808	866	538	538
query35	819	858	748	748
query36	996	1002	922	922
query37	124	113	101	101
query38	4061	4011	3981	3981
query39	1480	1437	1452	1437
query40	221	133	130	130
query41	66	67	63	63
query42	130	117	123	117
query43	554	513	478	478
query44	1341	863	858	858
query45	184	179	174	174
query46	880	1016	659	659
query47	1760	1815	1755	1755
query48	397	437	322	322
query49	738	519	416	416
query50	659	698	405	405
query51	4128	4162	4010	4010
query52	118	118	110	110
query53	258	258	206	206
query54	620	600	539	539
query55	96	88	95	88
query56	347	349	337	337
query57	1212	1196	1136	1136
query58	291	301	282	282
query59	2666	2660	2658	2658
query60	390	375	360	360
query61	199	154	178	154
query62	803	742	702	702
query63	229	201	206	201
query64	4548	1143	811	811
query65	4302	4236	4226	4226
query66	1182	445	351	351
query67	15444	15410	15347	15347
query68	7940	937	589	589
query69	495	336	297	297
query70	1235	1119	1132	1119
query71	506	348	332	332
query72	5764	5002	4929	4929
query73	646	589	362	362
query74	9223	8912	9092	8912
query75	3424	3100	2639	2639
query76	3371	1147	736	736
query77	794	426	343	343
query78	9539	9718	8930	8930
query79	2120	826	602	602
query80	643	646	515	515
query81	497	268	237	237
query82	231	147	120	120
query83	258	258	258	258
query84	252	107	88	88
query85	844	457	422	422
query86	343	321	328	321
query87	4325	4322	4252	4252
query88	3506	2264	2251	2251
query89	385	330	299	299
query90	2021	250	229	229
query91	164	169	131	131
query92	99	78	72	72
query93	1312	967	659	659
query94	688	436	332	332
query95	412	341	327	327
query96	499	577	285	285
query97	2636	2734	2545	2545
query98	251	221	215	215
query99	1345	1416	1304	1304
Total cold run time: 273677 ms
Total hot run time: 187202 ms

[doris-robot]

ClickBench: Total hot run time: 32.7 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b7d83dbb67b7b10e145b89b2389d15de855c1841, data reload: false

query1	0.06	0.05	0.05
query2	0.09	0.05	0.06
query3	0.25	0.08	0.08
query4	1.60	0.11	0.12
query5	0.47	0.44	0.42
query6	1.19	0.64	0.67
query7	0.03	0.02	0.02
query8	0.06	0.05	0.05
query9	0.60	0.51	0.52
query10	0.59	0.59	0.57
query11	0.16	0.11	0.11
query12	0.16	0.13	0.12
query13	0.63	0.64	0.62
query14	0.83	0.83	0.84
query15	0.88	0.85	0.87
query16	0.41	0.42	0.40
query17	1.09	1.05	1.08
query18	0.22	0.20	0.20
query19	1.90	1.80	1.79
query20	0.01	0.02	0.01
query21	15.39	0.99	0.58
query22	0.75	1.13	0.74
query23	14.92	1.44	0.64
query24	6.77	0.69	0.93
query25	0.46	0.26	0.09
query26	0.52	0.17	0.15
query27	0.06	0.06	0.06
query28	9.37	0.98	0.44
query29	12.57	3.95	3.22
query30	3.11	2.99	3.02
query31	2.82	0.60	0.39
query32	3.24	0.55	0.50
query33	3.07	3.05	3.07
query34	15.87	5.45	4.86
query35	4.89	4.97	4.94
query36	0.71	0.53	0.51
query37	0.10	0.07	0.08
query38	0.06	0.04	0.04
query39	0.04	0.02	0.03
query40	0.18	0.15	0.15
query41	0.08	0.03	0.03
query42	0.04	0.04	0.03
query43	0.04	0.04	0.03
Total cold run time: 106.29 s
Total hot run time: 32.7 s

[hello-stephen]

FE UT Coverage Report

Increment line coverage 0.00% (0/4) 🎉
Increment coverage report
Complete coverage report

[hello-stephen]

FE Regression Coverage Report

Increment line coverage 0.00% (0/4) 🎉
Increment coverage report
Complete coverage report

[xy720]

run buildall

[xy720]

run buildall

[doris-robot]

TPC-H: Total hot run time: 34152 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit b47f9a3d936e656b2799b89c668210e01b2ebb93, data reload: false

------ Round 1 ----------------------------------
q1	17636	5180	5052	5052
q2	2000	327	211	211
q3	10249	1305	724	724
q4	10229	1031	518	518
q5	7538	2425	2298	2298
q6	190	167	143	143
q7	943	762	638	638
q8	9361	1337	1147	1147
q9	6917	5175	5130	5130
q10	6994	2388	1969	1969
q11	514	313	284	284
q12	357	369	240	240
q13	17772	3636	3041	3041
q14	242	242	229	229
q15	576	507	485	485
q16	429	435	388	388
q17	601	849	383	383
q18	7408	7170	7143	7143
q19	1355	969	582	582
q20	345	338	235	235
q21	3710	3235	2334	2334
q22	1065	1068	978	978
Total cold run time: 106431 ms
Total hot run time: 34152 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5457	5099	5145	5099
q2	263	365	241	241
q3	2167	2694	2348	2348
q4	1360	1769	1339	1339
q5	4228	4466	4498	4466
q6	224	175	137	137
q7	2107	2008	1840	1840
q8	2732	2692	2530	2530
q9	7467	7304	7325	7304
q10	3214	3258	2908	2908
q11	583	534	517	517
q12	717	806	637	637
q13	3595	3825	3437	3437
q14	312	332	305	305
q15	532	483	472	472
q16	484	491	445	445
q17	1180	1554	1398	1398
q18	7844	7620	7730	7620
q19	839	860	885	860
q20	1999	2031	1945	1945
q21	4813	4385	4347	4347
q22	1075	1030	966	966
Total cold run time: 53192 ms
Total hot run time: 51161 ms

[doris-robot]

TPC-DS: Total hot run time: 187542 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit b47f9a3d936e656b2799b89c668210e01b2ebb93, data reload: false

query1	1052	451	410	410
query2	6564	1746	1761	1746
query3	6754	235	220	220
query4	26356	23449	23372	23372
query5	4416	668	518	518
query6	354	251	229	229
query7	4662	518	306	306
query8	321	276	253	253
query9	8630	2966	2878	2878
query10	498	368	316	316
query11	16234	15245	15016	15016
query12	197	132	124	124
query13	1695	602	462	462
query14	9438	5904	5894	5894
query15	220	195	176	176
query16	7622	666	503	503
query17	1301	748	622	622
query18	2027	448	341	341
query19	259	198	172	172
query20	135	129	118	118
query21	216	136	119	119
query22	4046	4098	4159	4098
query23	33735	32972	32960	32960
query24	8130	2389	2432	2389
query25	582	511	445	445
query26	740	288	167	167
query27	2669	511	363	363
query28	4311	2299	2254	2254
query29	730	613	501	501
query30	300	223	198	198
query31	880	841	757	757
query32	91	89	81	81
query33	574	439	377	377
query34	800	868	515	515
query35	822	822	770	770
query36	975	1004	914	914
query37	134	114	92	92
query38	4053	4133	3997	3997
query39	1493	1444	1438	1438
query40	231	133	131	131
query41	65	63	62	62
query42	136	119	118	118
query43	534	475	480	475
query44	1405	917	872	872
query45	186	179	177	177
query46	896	1016	644	644
query47	1759	1852	1754	1754
query48	414	456	324	324
query49	731	515	436	436
query50	665	697	409	409
query51	4109	4169	4124	4124
query52	116	114	107	107
query53	266	266	211	211
query54	632	628	546	546
query55	98	92	93	92
query56	347	335	343	335
query57	1208	1208	1151	1151
query58	296	298	288	288
query59	2578	2733	2560	2560
query60	365	360	359	359
query61	169	163	164	163
query62	840	727	661	661
query63	233	200	211	200
query64	3447	1236	938	938
query65	4293	4231	4258	4231
query66	1037	531	363	363
query67	15437	15413	15095	15095
query68	8724	928	591	591
query69	492	320	298	298
query70	1287	1145	1121	1121
query71	495	348	335	335
query72	5874	4929	5104	4929
query73	727	601	356	356
query74	9208	9224	8807	8807
query75	4089	3079	2657	2657
query76	3624	1146	794	794
query77	844	422	350	350
query78	9621	9666	8932	8932
query79	2357	860	589	589
query80	632	586	536	536
query81	480	262	222	222
query82	493	140	113	113
query83	274	266	252	252
query84	257	114	94	94
query85	921	479	470	470
query86	402	324	281	281
query87	4347	4378	4177	4177
query88	3416	2260	2241	2241
query89	419	358	293	293
query90	1826	234	225	225
query91	172	167	136	136
query92	92	82	74	74
query93	1704	1002	654	654
query94	693	444	324	324
query95	417	347	349	347
query96	489	581	280	280
query97	2662	2670	2573	2573
query98	260	226	222	222
query99	1663	1451	1332	1332
Total cold run time: 275470 ms
Total hot run time: 187542 ms

[doris-robot]

ClickBench: Total hot run time: 32.35 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit b47f9a3d936e656b2799b89c668210e01b2ebb93, data reload: false

query1	0.06	0.05	0.05
query2	0.09	0.05	0.06
query3	0.25	0.08	0.08
query4	1.61	0.12	0.12
query5	0.43	0.44	0.42
query6	1.16	0.64	0.65
query7	0.03	0.02	0.02
query8	0.06	0.05	0.04
query9	0.61	0.53	0.52
query10	0.59	0.58	0.58
query11	0.17	0.12	0.12
query12	0.16	0.12	0.12
query13	0.62	0.64	0.61
query14	0.81	0.88	0.83
query15	0.87	0.85	0.86
query16	0.39	0.41	0.38
query17	1.08	1.04	1.04
query18	0.21	0.21	0.20
query19	1.96	1.86	1.79
query20	0.01	0.02	0.01
query21	15.42	0.93	0.58
query22	0.78	1.05	0.68
query23	15.06	1.39	0.59
query24	6.73	1.09	0.58
query25	0.53	0.27	0.19
query26	0.52	0.16	0.13
query27	0.06	0.06	0.06
query28	10.60	0.90	0.42
query29	12.61	3.94	3.23
query30	3.12	3.00	3.02
query31	2.83	0.59	0.38
query32	3.23	0.56	0.47
query33	3.08	3.04	3.07
query34	15.97	5.42	4.78
query35	4.93	4.91	4.92
query36	0.71	0.51	0.49
query37	0.10	0.07	0.07
query38	0.07	0.05	0.04
query39	0.04	0.03	0.03
query40	0.18	0.15	0.14
query41	0.09	0.02	0.03
query42	0.04	0.03	0.02
query43	0.05	0.03	0.03
Total cold run time: 107.92 s
Total hot run time: 32.35 s

[hello-stephen]

FE Regression Coverage Report

Increment line coverage 25.00% (1/4) 🎉
Increment coverage report
Complete coverage report

[xy720]

run p0

[hello-stephen]

FE Regression Coverage Report

Increment line coverage 25.00% (1/4) 🎉
Increment coverage report
Complete coverage report

[lide-reed]

LGTM

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.