Releases: yandex-cloud/yc-delta
Сборка 1.3
Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Processing, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.
Представлено четыре варианта сборки:
- для образов Yandex Data Processing 2.1 до 2.1.3 включительно, основанный на DeltaLake 2.0.2 и Spark 3.2;
- для образов Yandex Data Processing 2.1 начиная с 2.1.6, основанный на DeltaLake 2.3.0 и Spark 3.3;
- для образов Yandex Data Processing 2.2, основанный на DeltaLake 2.4.0;
- для образов Yandex Data Processing 2.2, основанный на DeltaLake 3.2.0.
Для образов Yandex Data Processing 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.
По сравнению с предыдущей сборкой были добавлены дополнительные проверки возвращаемых значений из вызовов YDB DocAPI, которые в некоторых случаях требуются для исключения ошибок NullPointerException при обращении к таблицам.
Full Changelog: v1.2...v1.3
Сборка 1.2
Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Processing, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.
Представлено четыре варианта сборки:
- для образов Yandex Data Processing 2.1 до 2.1.3 включительно, основанный на DeltaLake 2.0.2 и Spark 3.2;
- для образов Yandex Data Processing 2.1 начиная с 2.1.6, основанный на DeltaLake 2.3.0 и Spark 3.3;
- для образов Yandex Data Processing 2.2, основанный на DeltaLake 2.4.0;
- для образов Yandex Data Processing 2.2, основанный на DeltaLake 3.2.0.
Для образов Yandex Data Processing 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.
Сборка 1.1
Сборка включает в себя необходимые кастомизации Delta Lake для поддержки мультикластерного режима в среде Yandex Data Proc, включая использование YDB для хранения хранения метаданных и автоматическую очистку метаданных в YDB при удалении таблиц Delta Lake.
Представлено два варианта сборки:
- для образов Data Proc 2.1 до 2.1.3 включительно, основанных на DeltaLake 2.0.2 и Spark 3.2;
- для образов Data Proc 2.1 начиная с 2.1.6, основанных на DeltaLake 2.3.0 и Spark 3.3.
Для образов Data Proc 2.0 могут использоваться штатные сборки Delta Lake 0.8.0, которые не поддерживают мультикластерный режим и (поэтому) не требуют кастомизаций.