Наполнение данными хранилища или озера, как правило, является первым большим шагом к доступности аналитической среды для основного функционала и работы конечных пользователей. От эффективной реализации этой задачи зависят стоимость и длительность всего проекта по созданию хранилища данных и сроки предоставления отдельных data-сервисов.
В
публикации технический руководитель Lakehouse-платформы данных
Data Ocean Nova и решения для репликации данных
Data Ocean Flex Loader Евгений Вилков делится опытом реализации пакетной загрузки больших данных в аналитические хранилища и рассказывает, когда следует выбрать именно пакетную загрузку, а когда — онлайн-подход. Отдельно автор раскрывает, как многолетний опыт решения подобных задач был воплощен в промышленном инструменте репликации данных
Data Ocean Flex Loader.