Основная идея дистрибутива заключается в обеспечении возможности работы с любыми типами и форматами данных путём комбинированного использования различных технологических решений и архитектур обработки данных.
В релизе Arenadata Hadoop 2.1.4. добавлен функционал релиза Spark 3.1. Он будет доступен в Arenadata Hadoop параллельно со Spark 2. Обе версии фреймворка будут работать независимо друг от друга.
Александр Ермаков
Технический директор Arenadata
«В настоящий момент мы закончили тестирование инструментария Spark 3 и обеспечили нативную интеграцию с другими компонентами платформы. Теперь у наших клиентов будет возможность спокойно протестировать функционал Spark 3 и постепенно перейти на новую версию фреймворка».