CS: Tpch1 fail in q1,5,6,10,12,14,15,20 : kqp_olap_compiler.cpp:464 GetOrCreateColumnId(): requirement false failed, message: Unknown node in OLAP comparison compiler:

[naspirato]

Версия : main от 23-04, так же есть в stable 25-1-analytics и stable-25-1
тест ./ya make -ttt -rP --build "relwithdebinfo" -F 'test_compatibility.py::TestCompatibility::test_tpch1[current_to_current-column]' ydb/tests/functional/compatibility (делается тут #17565)

1. поднимаем на main кластер
2. запускаем tpch (init, generate, run) с Date and Timestamp types стообцами https://github.com/ydb-platform/ydb/pull/17565/files#diff-d68da6ce5c17427590a35ec571f7b02fa28cb00b475cd918e2ee31239db8c4e0R268-R318
3. получаем 8 упавших запросов и ошибку

<main>: Fatal: Execution, code: 1060
    <main>:62:12: Warning: Cost Based Optimizer could not be applied to this query: couldn't load statistics, code: 8001
    <main>: Fatal: ydb/core/kqp/query_compiler/kqp_olap_compiler.cpp:464  GetOrCreateColumnId(): requirement false failed, message: Unknown node in OLAP comparison compiler: , code: 1

• failed 8 queries

Results for 1 iterations
┌─────────┬──────────┬─────────┬─────────┬─────────┬─────────┬───────────┬─────────┬─────────┬─────────┬─────────┬──────────────┬────────────┬────────────┐
│ Query # │ ColdTime │ Min     │ Max     │ Mean    │ Median  │ UnixBench │ Std     │ RttMin  │ RttMax  │ RttAvg  │ SuccessCount │ FailsCount │ DiffsCount │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query01 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query02 │   0.949  │   0.949 │   0.949 │   0.949 │   0.949 │   0.949   │   0.000 │   0.032 │   0.032 │   0.031 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query03 │   1.071  │   1.071 │   1.071 │   1.071 │   1.071 │   1.071   │   0.000 │   0.013 │   0.013 │   0.013 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query04 │   3.588  │   3.588 │   3.588 │   3.588 │   3.588 │   3.588   │   0.000 │   0.011 │   0.011 │   0.010 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query05 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query06 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query07 │   1.748  │   1.748 │   1.748 │   1.747 │   1.747 │   1.748   │   0.000 │   0.026 │   0.026 │   0.025 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query08 │  20.185  │  20.185 │  20.185 │  20.184 │  20.184 │  20.185   │   0.000 │   0.031 │   0.031 │   0.030 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query09 │   5.820  │   5.820 │   5.820 │   5.819 │   5.819 │   5.820   │   0.000 │   0.040 │   0.040 │   0.040 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query10 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query11 │   0.422  │   0.422 │   0.422 │   0.422 │   0.422 │   0.422   │   0.000 │   0.025 │   0.025 │   0.024 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query12 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query13 │   1.467  │   1.467 │   1.467 │   1.466 │   1.466 │   1.467   │   0.000 │   0.012 │   0.012 │   0.012 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query14 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query15 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query16 │   1.431  │   1.431 │   1.431 │   1.430 │   1.430 │   1.431   │   0.000 │   0.024 │   0.024 │   0.024 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query18 │   2.051  │   2.051 │   2.051 │   2.050 │   2.050 │   2.051   │   0.000 │   0.018 │   0.018 │   0.018 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query19 │   0.627  │   0.627 │   0.627 │   0.626 │   0.626 │   0.627   │   0.000 │   0.008 │   0.008 │   0.008 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query20 │   0.000  │   0.000 │   0.000 │   0.000 │   0.000 │   0.000   │   0.000 │   0.000 │   0.000 │   0.000 │              │ 1          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query21 │  30.415  │  30.415 │  30.415 │  30.415 │  30.415 │  30.415   │   0.000 │   0.035 │   0.035 │   0.035 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Query22 │   1.150  │   1.150 │   1.150 │   1.149 │   1.149 │   1.150   │   0.000 │   0.013 │   0.013 │   0.012 │ 1            │            │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Sum     │  70.924  │  70.924 │  70.924 │  70.916 │  70.916 │  70.924   │   0.000 │   0.288 │   0.288 │   0.282 │ 13           │ 8          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ Avg     │   5.456  │   5.456 │   5.456 │   5.455 │   5.455 │   5.456   │   0.000 │   0.022 │   0.022 │   0.022 │ 13           │ 8          │            │
├─────────┼──────────┼─────────┼─────────┼─────────┼─────────┼───────────┼─────────┼─────────┼─────────┼─────────┼──────────────┼────────────┼────────────┤
│ GAvg    │   2.209  │   2.209 │   2.209 │   2.208 │   2.208 │   2.209   │   0.000 │   0.020 │   0.020 │   0.001 │ 13           │ 8          │            │
└─────────┴──────────┴─────────┴─────────┴─────────┴─────────┴───────────┴─────────┴─────────┴─────────┴─────────┴──────────────┴────────────┴────────────┘

[pavelvelikhov]

@naspirato Как запускаете запросы, через Query Service или через Stream Query?
Пока не воспроизводится в ut через Query Service

[iddqdex]

@naspirato Как запускаете запросы, через Query Service или через Stream Query? Пока не воспроизводится в ut через Query Service

Я так понимаю, что Stream Query. Вот тут запрос вызывается:

ydb/ydb/public/lib/ydb_cli/commands/benchmark_utils.cpp

Line 339 in 43ba9c4

auto it = qc.StreamExecuteQuery(

[pavelvelikhov]

Да, я все воспроизвел в итоге в ut, в обоих сценариях - Query Service и Stream Query