Вышел релиз Arenadata Streaming

Arenadata обновила продукт для потоковой передачи и обработки данных Arenadata Streaming (ADS). Версия 3.7.2.1 включает обновления сервисов и новые функции, улучшающие пользовательский опыт и расширяющие возможности платформы.

В релизе Arenadata Streaming обновлены версии Kafka, Kafka Connect, Schema Registry, Kafka REST Proxy и ksqlDB. Апгрейд позволяет привнести в систему новую функциональность, улучшить производительность, оптимизировать работу с большими объемами данных и расширить поддержку Kafka Raft (KRaft).

В релиз включен Iceberg Sink Connector — компонент, обеспечивающий надежную и эффективную запись потоковых данных из Kafka в таблицы Apache Iceberg. В связке с коннектором Debezium, который также входит в ADS, Iceberg Sink Connector позволяет реализовать полноценный технологический процесс CDC (Change Data Capture), обеспечивая непрерывную и согласованную интеграцию данных из оперативных баз данных, например PostgreSQL и MS SQL, в табличный формат Iceberg, который может использоваться в lakehouse-платформе на базе Arenadata Hadoop (ADH). Такой подход избавляет от необходимости проектировать и поддерживать сложные ETL-процессы, ускоряя внедрение аналитических решений на основе актуальных данных.

Новая версия Arenadata Streaming поддерживает миграцию из ZooKeeper в KRaft с помощью интерфейса Arenadata Cluster Manager (ADCM). Функция предназначена для кластеров, в которых сервис Kafka уже используется вместе с ZooKeeper. Нововведение упрощает процесс перехода на новую архитектуру управления кластером, обеспечивает более удобное администрирование и управление ресурсами.

Кроме того, в новой версии предусмотрена возможность автоматической установки Java из репозитория Arenadata, что упрощает процесс установки или обновления Arenadata Streaming.

«В ближайшем релизе мы выполним все необходимые работы для предоставления стабильной и готовой к использованию в продуктивной среде версии Kafka, работающей с KRaft. Кроме того, расширим функциональность продукта с помощью новых open source компонентов, таких как Kafka Cruise Control, и собственных разработок, например NiFi ADB Connector», — отмечает Александр Анисимов, технический руководитель продукта Arenadata Streaming».