Пакетная репликация данных в аналитическом ландшафте ХД

Наполнение данными хранилища или озера, как правило, является первым большим шагом к доступности аналитической среды для основного функционала и работы конечных пользователей. От эффективной реализации этой задачи зависят стоимость и длительность всего проекта по созданию хранилища данных и сроки предоставления отдельных data-сервисов.

В публикации технический руководитель Lakehouse-платформы данных Data Ocean Nova и решения для репликации данных Data Ocean Flex Loader Евгений Вилков делится опытом реализации пакетной загрузки больших данных в аналитические хранилища и рассказывает, когда следует выбрать именно пакетную загрузку, а когда — онлайн-подход. Отдельно автор раскрывает, как многолетний опыт решения подобных задач был воплощен в промышленном инструменте репликации данных Data Ocean Flex Loader.