Data Sapience выпустила обновление Lakehouse-платформы Data Ocean Nova

Lakehouse-платформа данных Data Ocean Nova получила большое обновление. Релиз 2025.1.0 включил в себя изменения основных компонент для устранения уязвимостей, повышение производительности, интеграцию внутренних сервисов платформы и ролевой модели с compute-движком StarRocks, поддержку функционала Data Ocean Cluster Manager 2.0.

Детальный список изменений релиза 2025.1.0:

Trino.2025.1.1

• Добавлено создание сервиса Trino для Ranger;
• Добавлены в поставку дашборды мониторинга;
• Добавлена возможность создания каталога Data Ocean Nova по умолчанию при интеграции с HMS;
• Реализована возможность при интеграции с LDAP указывать несколько Base DN;
• Исправлена ошибка при использовании динамических каталогов с хранением в файловой системе;
• Добавлены поля для указания dns и ip при генерации сертификатов;
• Исправлены ошибки и устранены уязвимости ИБ.

Spark

• Обновлён Spark до версии 3.5.4;
• Реализован patch для правильной работы с identifier fields при merge;
• Интегрирован оптимизированный механизм чтения Iceberg EQ-delete;
• Устранены ошибки и повышена стабильность работы;
• Добавлены новые задания регламентной работы с форматом Iceberg для Data Ocean Cluster Manager;
• Добавлен Magic committer для parquet;
• Добавлен новый сервис Data Ocean Nova Iceberg Maintenance;
• Исправлена проблема с Decimal при векторном чтении;
• Устранены уязвимости ИБ;
• SCAPI: реализована возможность проброса параметров Spark;
• Оптимизированы размеры образов.

Airflow

• Устранены уязвимости;
• Реализованы задания очистки пространства имен.

Impala.2025.1.0

• Обновлена базовая версия ядра до Impala 4.5;
• Улучшена работа с метаданными Iceberg;
• Добавлена возможность работы с S3-хранилищем через C++ AWS SDK вместо java hadoop legacy;
• Добавлена возможность автоматического изменения выделяемой памяти для исключения ошибки ООМ;
• Добавлена поддержка COMPUTE INCREMENTAL STATS для Iceberg таблиц;
• Исправлена ошибка работы с комментариями представлений Impala;
• Добавлены новые метрики работы каталога;
• Для функции TRANSLATE добавлена поддержка UTF8_MODE;
• Исправлена ошибка оператора DROP TABLE PURGE для Iceberg-таблиц;
• Добавлена возможность переопределения параллелизма по умолчанию для COMPUTE STATS – опция сессии DEFAULT_STATS_MT_DOP.

Ranger

• Добавлена фильтрация доступных разрешений на странице редактирования политики доступа;
• Реализована интеграция со StarRocks;
• Добавлено отображение статуса плагина Ranger для сервисов маппинга политик;
• Доработан Service Definition S3;
• Добавлено разделение типов ресурса на 'path' и 'system';
• Улучшена автоподстановка значения пути при lookup-поиске ресурса;
• Проработан UI-интерфейс для разделения разрешений S3 – совместимых хранилищ;
• Добавлена возможность обновления группового и пользовательского DN через UI;
• Обновлены Spring security и Hadoop до версий 5.7.13 и 3.4.1.

Hue

• Исправлена ошибка применения lowercase к имени пользователя ldap;
• Исправлена ошибка при выполнении upload в s3 при включенном sts;
• Добавлены параметры подключения для работы StarRocks.

Nova-iquery

• Исправлена неправильная фильтрация некоторых SQL-запросов;
• Добавлено описание API и исправлена ошибка с заполнением поля avgTimeVal;
• Добавлена поддержка новых версий compute-движков;
• Реализована генерация timestamp в индексе OpenSearch;
• Отключена установка мапинга индекса OpenSearch;
• Добавлено поле "Tables Queried" в индекс iquery.

Profile-parser

• Исправлена ошибка получения пустых профилей;
• Добавлена liveness probe через actuator;
• Добавлена поддержка новых версий compute-движков;
• Улучшено логирование ошибок JWT;
• Добавлены Swagger и Opendoc в Data Ocean Nova Java SDK.

Meta-aggregator

• Добавлен параметр sync.mode для инкрементального режима;
• Исправлена ошибка агрегации данных по таблице.

Ranger-hive-s3-policy-mapper

• Добавлены параметры для исключения ресурсов HMS из обработки;
• Добавлен фильтр политик Impala по меткам.

Ranger-hive-trino-policy-mapper

• Создан новый компонент для маппинга политик Hive на политики Trino.

Ranger-policy-s3-mapper

• Добавлена обработка списка бакетов через новый параметр;
• Реализовано управление состоянием политик через флаг isEnabled;
• Добавлен параметр для исключения пользователей minIO;
• Добавлена поддержка проводника S3-каталогов;
• Оптимизирована обработка разрешений для листинга.

Nova-s3-security-token-service

• Добавлено имя бакета как параметр выдачи токена;
• Исправлена обработка ошибок при получении токена;
• Добавлен UI-интерфейс для STS-сервиса;
• Исправлена ошибка перезапуска сервиса при проверке LDAP.