[feat](refactor-param)Integrate New Storage System Support for BACKUP/RESTORE/LOAD/TVF

[CalvinKirs]

Issue Number: #50238

Key Changes

Enhanced core functionalities (BACKUP, RESTORE, LOAD, TVF) to support new storage parameters

Unified storage path and parameter parsing logic across modules to enable compatibility with multiple storage backends (S3, OSS, COS, etc.).

Details

Refactored the storage parameter handling logic to automatically detect the schema and route to the corresponding storage system implementation.

Each operation (BACKUP/RESTORE/LOAD/TVF) now uses a unified file system interface to ensure consistent behavior and extensibility.

Maintains full backward compatibility with existing storage formats such as HDFS and local file systems.

Tests

Added comprehensive unit and integration tests covering:

Storage parameter parsing across different systems

Execution flow for each operation under new storage systems

Edge cases including invalid parameters, permission errors, and non-existent paths

What problem does this PR solve?

Issue Number: close #xxx

Related PR: #xxx

Problem Summary:

Release note

None

Check List (For Author)

• Test

  • Regression test
  • Unit Test
  • Manual test (add detailed scripts or steps below)
  • No need to test or manual test. Explain why:
    • This is a refactor/code format and no logic has been changed.
    • Previous test can cover this change.
    • No code files have been changed.
    • Other reason

• Behavior changed:

  • No.
  • Yes.

• Does this need documentation?

  • No.
  • Yes.

Check List (For Reviewer who merge this PR)

• Confirm the release note
• Confirm test cases
• Confirm document
• Add branch pick label

[CalvinKirs]

run buildall

[doris-robot]

TPC-H: Total hot run time: 33822 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 5ec515c4920cf6fe0e17cbd347b6cf23d79f5e6c, data reload: false

------ Round 1 ----------------------------------
q1	26107	5052	4998	4998
q2	2071	287	185	185
q3	10385	1249	714	714
q4	10234	988	540	540
q5	7569	2394	2307	2307
q6	178	168	131	131
q7	910	740	600	600
q8	9313	1230	1082	1082
q9	6812	5147	5064	5064
q10	6860	2295	1903	1903
q11	515	295	274	274
q12	353	352	212	212
q13	17788	3670	3079	3079
q14	231	228	213	213
q15	550	508	509	508
q16	436	429	373	373
q17	595	844	366	366
q18	7668	7211	7158	7158
q19	1887	974	567	567
q20	335	333	230	230
q21	3823	3160	2356	2356
q22	1046	1016	962	962
Total cold run time: 115666 ms
Total hot run time: 33822 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5161	5093	5044	5044
q2	248	324	228	228
q3	2151	2621	2307	2307
q4	1366	1752	1341	1341
q5	4561	4387	4402	4387
q6	217	166	126	126
q7	1936	1914	1808	1808
q8	2535	2628	2498	2498
q9	7229	7093	7235	7093
q10	2955	3207	2787	2787
q11	589	509	482	482
q12	669	742	600	600
q13	3511	3852	3286	3286
q14	311	285	286	285
q15	554	487	513	487
q16	444	473	446	446
q17	1143	1596	1404	1404
q18	7631	7451	7381	7381
q19	803	808	864	808
q20	2020	2042	1903	1903
q21	4815	4275	4359	4275
q22	1060	1006	997	997
Total cold run time: 51909 ms
Total hot run time: 49973 ms

[doris-robot]

TPC-DS: Total hot run time: 186177 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 5ec515c4920cf6fe0e17cbd347b6cf23d79f5e6c, data reload: false

query1	995	499	522	499
query2	6560	1859	1819	1819
query3	6754	241	217	217
query4	26193	23189	22993	22993
query5	4343	637	469	469
query6	308	215	194	194
query7	4621	500	288	288
query8	298	249	250	249
query9	8643	2655	2649	2649
query10	474	331	278	278
query11	15763	15066	14853	14853
query12	157	115	109	109
query13	1667	542	430	430
query14	9349	6129	6178	6129
query15	210	196	185	185
query16	7222	633	428	428
query17	1175	698	548	548
query18	1958	388	298	298
query19	188	183	161	161
query20	119	121	115	115
query21	253	122	105	105
query22	4073	4377	4077	4077
query23	34092	32923	33116	32923
query24	8445	2393	2359	2359
query25	548	443	396	396
query26	1241	266	149	149
query27	2760	501	343	343
query28	4259	2143	2123	2123
query29	771	562	437	437
query30	281	217	190	190
query31	922	835	738	738
query32	74	72	63	63
query33	543	367	311	311
query34	785	841	541	541
query35	775	814	721	721
query36	974	991	882	882
query37	107	97	73	73
query38	4179	4259	4043	4043
query39	1486	1399	1408	1399
query40	216	138	105	105
query41	57	53	54	53
query42	123	110	107	107
query43	513	503	480	480
query44	1313	819	815	815
query45	181	177	168	168
query46	851	1012	640	640
query47	1765	1798	1729	1729
query48	399	423	321	321
query49	811	559	435	435
query50	647	683	426	426
query51	4184	4191	4035	4035
query52	108	112	105	105
query53	229	251	189	189
query54	579	557	504	504
query55	88	87	85	85
query56	318	292	276	276
query57	1150	1156	1091	1091
query58	266	293	250	250
query59	2616	2750	2610	2610
query60	344	321	310	310
query61	126	126	142	126
query62	773	716	676	676
query63	219	197	182	182
query64	4353	994	691	691
query65	4299	4246	4226	4226
query66	1126	414	319	319
query67	16174	15714	15614	15614
query68	7838	893	524	524
query69	477	311	261	261
query70	1188	1160	1033	1033
query71	469	342	310	310
query72	5548	4804	4967	4804
query73	695	612	355	355
query74	8958	9083	9041	9041
query75	3914	3258	2691	2691
query76	3684	1186	762	762
query77	784	381	291	291
query78	9996	10143	9468	9468
query79	2868	804	585	585
query80	679	511	467	467
query81	489	254	217	217
query82	452	128	97	97
query83	287	255	248	248
query84	293	106	87	87
query85	807	359	307	307
query86	391	285	277	277
query87	4387	4481	4384	4384
query88	3909	2340	2303	2303
query89	386	326	291	291
query90	1862	213	212	212
query91	144	143	115	115
query92	80	65	58	58
query93	2108	978	577	577
query94	662	419	322	322
query95	384	297	288	288
query96	507	577	288	288
query97	2760	2768	2672	2672
query98	239	219	202	202
query99	1438	1407	1288	1288
Total cold run time: 276076 ms
Total hot run time: 186177 ms

[doris-robot]

ClickBench: Total hot run time: 29.18 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 5ec515c4920cf6fe0e17cbd347b6cf23d79f5e6c, data reload: false

query1	0.04	0.04	0.04
query2	0.12	0.11	0.10
query3	0.26	0.19	0.20
query4	1.59	0.20	0.11
query5	0.43	0.41	0.42
query6	1.15	0.68	0.67
query7	0.03	0.02	0.02
query8	0.04	0.03	0.04
query9	0.59	0.52	0.51
query10	0.55	0.58	0.56
query11	0.15	0.12	0.11
query12	0.14	0.12	0.13
query13	0.62	0.60	0.61
query14	0.79	0.83	0.81
query15	0.88	0.87	0.87
query16	0.41	0.37	0.38
query17	1.06	1.02	1.04
query18	0.22	0.22	0.21
query19	1.94	1.88	1.78
query20	0.01	0.01	0.02
query21	15.43	0.91	0.54
query22	0.76	1.34	0.70
query23	14.76	1.39	0.66
query24	7.03	1.09	0.88
query25	0.49	0.08	0.16
query26	0.55	0.18	0.14
query27	0.05	0.05	0.06
query28	10.53	0.97	0.46
query29	12.59	4.01	3.36
query30	0.25	0.09	0.07
query31	2.82	0.61	0.40
query32	3.24	0.56	0.47
query33	3.05	3.07	3.18
query34	15.91	5.08	4.49
query35	4.46	4.53	4.48
query36	0.70	0.50	0.49
query37	0.08	0.06	0.07
query38	0.05	0.04	0.04
query39	0.03	0.02	0.02
query40	0.17	0.14	0.12
query41	0.09	0.02	0.02
query42	0.03	0.02	0.02
query43	0.04	0.03	0.02
Total cold run time: 104.13 s
Total hot run time: 29.18 s

[CalvinKirs]

run buildall

[doris-robot]

TPC-H: Total hot run time: 33581 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 71ff1e0a20623de06f08a0b8319b2296ba3fbe10, data reload: false

------ Round 1 ----------------------------------
q1	25771	5105	5012	5012
q2	2068	282	197	197
q3	10375	1250	691	691
q4	10224	1021	528	528
q5	7546	2348	2312	2312
q6	174	160	137	137
q7	899	766	605	605
q8	9312	1281	1021	1021
q9	6764	5086	5098	5086
q10	6799	2313	1891	1891
q11	482	295	278	278
q12	349	347	215	215
q13	17763	3674	3072	3072
q14	230	236	206	206
q15	522	476	493	476
q16	414	425	376	376
q17	591	854	356	356
q18	7568	7198	7052	7052
q19	1240	949	554	554
q20	338	349	229	229
q21	3722	2596	2361	2361
q22	1009	983	926	926
Total cold run time: 114160 ms
Total hot run time: 33581 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5116	5060	5057	5057
q2	233	342	225	225
q3	2115	2681	2342	2342
q4	1377	1772	1336	1336
q5	4401	4470	4539	4470
q6	223	169	126	126
q7	2073	1995	1859	1859
q8	2718	2614	2560	2560
q9	7301	7234	7030	7030
q10	3006	3184	2761	2761
q11	587	521	501	501
q12	688	776	628	628
q13	3514	3854	3333	3333
q14	302	303	266	266
q15	516	482	472	472
q16	461	490	439	439
q17	1151	1501	1403	1403
q18	7645	7477	7504	7477
q19	827	798	924	798
q20	1961	1947	1847	1847
q21	4844	4411	4532	4411
q22	1074	1049	997	997
Total cold run time: 52133 ms
Total hot run time: 50338 ms

[doris-robot]

TPC-DS: Total hot run time: 192826 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 71ff1e0a20623de06f08a0b8319b2296ba3fbe10, data reload: false

query1	1403	1082	1036	1036
query2	6307	1815	1833	1815
query3	11004	4396	4633	4396
query4	54281	25704	23440	23440
query5	5082	548	473	473
query6	366	224	208	208
query7	4990	512	294	294
query8	342	267	245	245
query9	6122	2638	2643	2638
query10	429	316	276	276
query11	15071	14994	14814	14814
query12	159	109	110	109
query13	1077	505	400	400
query14	10220	6458	6418	6418
query15	206	205	183	183
query16	7053	667	495	495
query17	1088	779	608	608
query18	1567	411	330	330
query19	209	209	183	183
query20	128	131	130	130
query21	214	131	114	114
query22	4279	4386	4382	4382
query23	34295	33667	33561	33561
query24	6598	2426	2441	2426
query25	461	478	414	414
query26	728	285	154	154
query27	2448	513	342	342
query28	3398	2206	2151	2151
query29	588	586	436	436
query30	271	224	199	199
query31	846	876	773	773
query32	76	65	66	65
query33	453	367	312	312
query34	802	861	544	544
query35	799	864	732	732
query36	939	990	916	916
query37	115	104	80	80
query38	4349	4283	4155	4155
query39	1524	1487	1494	1487
query40	220	124	115	115
query41	67	55	52	52
query42	133	114	107	107
query43	497	507	502	502
query44	1342	838	870	838
query45	184	187	169	169
query46	870	1038	645	645
query47	1821	1862	1774	1774
query48	406	432	321	321
query49	741	501	453	453
query50	683	698	419	419
query51	4247	4259	4205	4205
query52	117	113	103	103
query53	241	253	195	195
query54	598	583	532	532
query55	82	87	88	87
query56	314	329	300	300
query57	1215	1176	1174	1174
query58	272	251	266	251
query59	2662	2741	2680	2680
query60	351	326	300	300
query61	135	132	135	132
query62	802	767	679	679
query63	227	195	189	189
query64	1902	1029	687	687
query65	4279	4257	4237	4237
query66	785	406	306	306
query67	15934	15481	15511	15481
query68	6915	888	523	523
query69	532	322	264	264
query70	1209	1111	1130	1111
query71	523	329	298	298
query72	5982	4774	4848	4774
query73	1320	620	353	353
query74	8934	9244	8907	8907
query75	3838	3172	2680	2680
query76	4336	1187	770	770
query77	631	446	280	280
query78	10078	10118	9309	9309
query79	2212	795	569	569
query80	607	520	446	446
query81	504	257	215	215
query82	437	123	95	95
query83	405	247	233	233
query84	298	106	85	85
query85	826	364	324	324
query86	410	298	287	287
query87	4404	4435	4212	4212
query88	3379	2287	2279	2279
query89	410	328	288	288
query90	1850	208	207	207
query91	144	156	109	109
query92	77	66	55	55
query93	1829	939	582	582
query94	674	414	291	291
query95	383	297	279	279
query96	500	576	279	279
query97	2747	2738	2597	2597
query98	223	200	205	200
query99	1404	1402	1258	1258
Total cold run time: 299435 ms
Total hot run time: 192826 ms

[doris-robot]

ClickBench: Total hot run time: 29.23 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 71ff1e0a20623de06f08a0b8319b2296ba3fbe10, data reload: false

query1	0.04	0.04	0.02
query2	0.11	0.11	0.11
query3	0.25	0.19	0.19
query4	1.59	0.18	0.11
query5	0.42	0.41	0.43
query6	1.17	0.65	0.66
query7	0.02	0.01	0.01
query8	0.04	0.04	0.03
query9	0.56	0.53	0.51
query10	0.56	0.58	0.56
query11	0.16	0.11	0.12
query12	0.15	0.11	0.12
query13	0.62	0.59	0.60
query14	0.77	0.82	0.82
query15	0.87	0.85	0.86
query16	0.37	0.37	0.38
query17	1.05	1.07	1.02
query18	0.22	0.21	0.21
query19	1.88	1.78	1.83
query20	0.02	0.01	0.01
query21	15.41	0.93	0.56
query22	0.76	1.31	0.63
query23	14.86	1.40	0.65
query24	7.14	1.34	1.20
query25	0.47	0.25	0.06
query26	0.53	0.17	0.14
query27	0.06	0.06	0.04
query28	9.91	0.88	0.47
query29	12.56	4.00	3.31
query30	0.26	0.10	0.07
query31	2.81	0.61	0.38
query32	3.22	0.54	0.46
query33	3.06	3.05	3.05
query34	15.75	5.09	4.49
query35	4.51	4.48	4.50
query36	0.65	0.49	0.47
query37	0.09	0.06	0.07
query38	0.05	0.04	0.03
query39	0.03	0.03	0.02
query40	0.17	0.13	0.13
query41	0.08	0.03	0.02
query42	0.04	0.03	0.02
query43	0.04	0.02	0.03
Total cold run time: 103.33 s
Total hot run time: 29.23 s

[CalvinKirs]

run feut

[morningman]

run buildall

[doris-robot]

TPC-H: Total hot run time: 34636 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpch-tools
Tpch sf100 test result on commit 838623a089ef3e59ea1cbfb46b512efac182e63d, data reload: false

------ Round 1 ----------------------------------
q1	26496	5363	5020	5020
q2	2090	295	186	186
q3	10683	1213	691	691
q4	10806	990	526	526
q5	7527	2365	2317	2317
q6	185	167	132	132
q7	912	773	601	601
q8	9571	1262	1045	1045
q9	6936	5096	5065	5065
q10	6882	2348	1935	1935
q11	491	288	275	275
q12	349	359	205	205
q13	18074	3693	3215	3215
q14	236	233	225	225
q15	535	496	500	496
q16	418	424	378	378
q17	606	854	362	362
q18	7620	7802	7755	7755
q19	4373	1140	578	578
q20	384	344	231	231
q21	3920	3438	2399	2399
q22	1096	1028	999	999
Total cold run time: 120190 ms
Total hot run time: 34636 ms

----- Round 2, with runtime_filter_mode=off -----
q1	5322	5091	5149	5091
q2	249	326	228	228
q3	2202	2603	2439	2439
q4	1453	1873	1430	1430
q5	4479	4351	4366	4351
q6	213	169	134	134
q7	2005	1926	1748	1748
q8	2559	2515	2511	2511
q9	7144	7104	7112	7104
q10	3034	3218	2765	2765
q11	565	509	487	487
q12	683	771	611	611
q13	3472	3966	3242	3242
q14	288	336	279	279
q15	525	472	483	472
q16	455	482	444	444
q17	1144	1528	1382	1382
q18	7676	7473	7268	7268
q19	784	804	937	804
q20	1973	2078	1895	1895
q21	4943	4498	4406	4406
q22	1117	1044	1004	1004
Total cold run time: 52285 ms
Total hot run time: 50095 ms

[doris-robot]

TPC-DS: Total hot run time: 192184 ms

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/tpcds-tools
TPC-DS sf100 test result on commit 838623a089ef3e59ea1cbfb46b512efac182e63d, data reload: false

query1	1397	1061	1067	1061
query2	6298	1835	1847	1835
query3	11021	4502	4490	4490
query4	55123	25350	22982	22982
query5	4953	541	464	464
query6	327	205	191	191
query7	4865	488	291	291
query8	315	254	250	250
query9	5549	2630	2630	2630
query10	432	323	258	258
query11	15055	15121	14805	14805
query12	160	105	108	105
query13	1025	521	413	413
query14	10162	6282	6498	6282
query15	209	210	187	187
query16	7090	634	485	485
query17	1096	774	617	617
query18	1611	421	327	327
query19	207	204	175	175
query20	138	133	132	132
query21	224	125	112	112
query22	4578	4497	4339	4339
query23	34246	33443	33744	33443
query24	6522	2402	2406	2402
query25	481	464	408	408
query26	695	279	153	153
query27	2282	502	344	344
query28	2902	2149	2139	2139
query29	582	609	427	427
query30	267	223	194	194
query31	863	849	787	787
query32	71	65	65	65
query33	462	358	301	301
query34	768	894	522	522
query35	802	866	770	770
query36	957	1019	913	913
query37	112	100	74	74
query38	4204	4286	4212	4212
query39	1534	1454	1461	1454
query40	210	130	108	108
query41	54	56	50	50
query42	129	116	110	110
query43	520	522	497	497
query44	1337	815	824	815
query45	179	175	171	171
query46	881	1047	650	650
query47	1868	1887	1785	1785
query48	399	427	326	326
query49	696	499	447	447
query50	656	693	411	411
query51	4316	4283	4171	4171
query52	114	105	102	102
query53	239	259	192	192
query54	588	575	512	512
query55	85	89	90	89
query56	295	295	296	295
query57	1185	1225	1157	1157
query58	273	263	269	263
query59	2750	2881	2725	2725
query60	346	312	324	312
query61	126	120	122	120
query62	694	737	694	694
query63	234	191	193	191
query64	1724	1077	691	691
query65	4413	4246	4265	4246
query66	692	409	300	300
query67	15932	15560	15386	15386
query68	7454	889	553	553
query69	551	326	269	269
query70	1165	1080	1116	1080
query71	461	316	310	310
query72	5938	4819	4874	4819
query73	1247	694	352	352
query74	9076	9063	8770	8770
query75	3302	3201	2689	2689
query76	3830	1192	763	763
query77	562	444	297	297
query78	10245	10175	9236	9236
query79	2192	822	579	579
query80	645	525	452	452
query81	489	259	218	218
query82	291	127	98	98
query83	259	253	241	241
query84	305	111	98	98
query85	756	373	382	373
query86	346	302	283	283
query87	4361	4495	4330	4330
query88	3303	2296	2280	2280
query89	397	314	288	288
query90	1740	210	214	210
query91	141	147	112	112
query92	74	57	59	57
query93	2539	952	571	571
query94	676	403	308	308
query95	364	291	288	288
query96	501	567	287	287
query97	2670	2776	2638	2638
query98	267	201	198	198
query99	1307	1375	1282	1282
Total cold run time: 297974 ms
Total hot run time: 192184 ms

[doris-robot]

ClickBench: Total hot run time: 29.27 s

machine: 'aliyun_ecs.c7a.8xlarge_32C64G'
scripts: https://github.com/apache/doris/tree/master/tools/clickbench-tools
ClickBench test result on commit 838623a089ef3e59ea1cbfb46b512efac182e63d, data reload: false

query1	0.04	0.04	0.03
query2	0.12	0.10	0.13
query3	0.25	0.20	0.19
query4	1.58	0.20	0.20
query5	0.46	0.45	0.48
query6	1.14	0.67	0.66
query7	0.03	0.02	0.02
query8	0.04	0.04	0.03
query9	0.58	0.51	0.53
query10	0.56	0.57	0.57
query11	0.15	0.10	0.10
query12	0.14	0.12	0.11
query13	0.61	0.61	0.61
query14	0.79	0.81	0.81
query15	0.89	0.87	0.87
query16	0.38	0.38	0.38
query17	1.04	1.01	1.07
query18	0.22	0.20	0.20
query19	1.92	1.77	1.87
query20	0.02	0.01	0.01
query21	15.39	0.91	0.56
query22	0.76	1.13	0.73
query23	14.92	1.41	0.66
query24	7.34	0.81	1.14
query25	0.46	0.17	0.11
query26	0.72	0.15	0.14
query27	0.04	0.05	0.05
query28	9.59	0.87	0.45
query29	12.58	4.10	3.38
query30	0.25	0.09	0.07
query31	2.82	0.58	0.39
query32	3.24	0.55	0.47
query33	3.09	3.04	3.10
query34	15.78	5.08	4.48
query35	4.57	4.52	4.50
query36	0.66	0.49	0.48
query37	0.08	0.06	0.06
query38	0.05	0.03	0.03
query39	0.03	0.03	0.03
query40	0.18	0.14	0.13
query41	0.08	0.03	0.02
query42	0.03	0.02	0.02
query43	0.03	0.04	0.03
Total cold run time: 103.65 s
Total hot run time: 29.27 s

[github-actions]

PR approved by at least one committer and no changes requested.

[github-actions]

PR approved by anyone and no changes requested.