Data Sapience: только полезное и ничего лишнего
Раз в две недели — только ценная аналитика.
Самые важные и интересные новости в одном письме.
Самые важные и интересные новости в одном письме.
Нажмите «принять», если вы соглашаетесь с условиями обработки куки‑файлов/cookie-файлов и данных о поведении на сайте, нужных нам для аналитики. Запретить обработку куки‑файлов/cookie-файлов можно через браузер
Spark SQL Scripting. Новые возможности для инженеров данных
09.04.2026
В блоге Data Sapience на Habr вышла новая статья.
До недавнего времени для реализации сложной многошаговой логики в экосистеме Apache Spark разработчикам приходилось выходить за рамки декларативного SQL. Оркестрация последовательных вызовов, вычисление промежуточных переменных и ветвление логики требовали привлечения внешних языков программирования, таких как Python (PySpark) или Scala и дополнительных инструментов.
Spark SQL Scripting, который стал доступен, начиная с 4-й версии, кардинально меняет этот подход, представляя собой процедурное расширение классического Spark SQL. Теперь разработчики могут писать полноценные многошаговые сценарии непосредственно на уровне SQL-артефактов, внедряя в них управляющую логику.
В новой публикации команда Data Sapience разбирает возможности Spark scripting на практике.
Spark SQL Scripting, который стал доступен, начиная с 4-й версии, кардинально меняет этот подход, представляя собой процедурное расширение классического Spark SQL. Теперь разработчики могут писать полноценные многошаговые сценарии непосредственно на уровне SQL-артефактов, внедряя в них управляющую логику.
В новой публикации команда Data Sapience разбирает возможности Spark scripting на практике.
Вам может быть интересно
Новости