Отчёт
Специалистами компании GAGAR>N и Arenadata при участии представителей «T1 Консалтинг» были проведены успешные нагрузочные испытания ПО Arenadata DB и Arenadata Hadoop на серверной платформе х86 и дисковых массивах GAGAR>N.Тестирование проводилось с целью проверить возможность использования вычислительного оборудования GAGAR>N с программными решениями Arenadata и создания совместного программно-аппаратного комплекса (ПАК).
Для тестирования использовалось:
- ПО Arenadata DB Enterprise Edition 6.18.0 (PostgreSQL 9.4.24 (Greenplum Database 6.18.0 build 6.18.0_arenadata29-750.git8955a8f.el7));
- ПО Arenadata Hadoop Enterprise Edition 2.1.4b8 (сборка v2.1.4_b8-1_enterprise);
- серверы GAGAR>N, дисковые массивы — как с механическими дисками, так и с высокопроизводительными твердотельными накопителями с NVMe-интерфейсом.
ПО Arenadata DB (ADB)
В ходе функциональных проверок использовались следующие виды тестов:- «быстрый» нагрузочный тест ADB, включающий тестирование подсистем кластера встроенной утилитой gpcheckperf (оценка производительности сети, памяти и дисковых устройств сегментных узлов), а также получение результата слияния (JOIN) массивных таблиц с синтетическими данными с разными уровнями компрессии данных и без неё;
- промышленный нагрузочный тест TPC-DS, имитирующий реальную работу с разнообразными вариантами нагрузки и выполнение набора тестов с созданием таблиц с синтетическими данными;
- тесты резервного копирования и восстановления базы данных в один и несколько потоков с целью оценки временных затрат на указанные операции.
Таблица 1. Результаты тестирования Arenadata DB
| Метрика | Серверы GAGAR>N 2 сегментных узла, 40 физ. ядер, 256 Гб памяти | Облачный кластер 4 сегментных узла, 128 ядер, 1004 Гб памяти | Кластер классических серверов х86 4 сегментных узла, 88 физ. ядер, 1200 Гб памяти |
| Приведённая производительность на ядро с компрессией 1 | 78 | 33 | 101 |
| TPC-DS | 23 | 21 | Не выполнялся |
ПО Arenadata Hadoop (ADH)
Нагрузочные тесты ПО ADH включали серию нагрузочных утилит, входящих в стандартную поставку Hadoop:- Teragen — генерация наборов данных с помощью map / reduce задач;
- Terasort — сортировка наборов данных с помощью map / reduce задач;
- Teravalidate — проверка операций сортировки с помощью map / reduce задач;
- TestDFSIO — испытание производительности записи/чтения в файловой системе HDFS.
В качестве образцов для сравнения были выбран «Образец 1» и «Образец 2», для которых ранее были выполнены подобные тесты.
ПО Arenadata Hadoop на оборудовании GAGAR>N отработало все тестовые задачи без ошибок, что подтвердило полную совместимость с аппаратной платформой.
Таблица 2. Результаты тестирования Arenadata Hadoop
| № | Тест | GAGAR>N 45 ядер ЦПУ, 300 Гб ОП, жёсткий диск 12 x 16 Тб, 7 200 об/мин, SATA | Образец 1 224 ядра ЦПУ, 3430 Гб ОП, жёсткий диск 84 x 14 Тб, 7 200 об/мин, SATA | Образец 2 66 ядер ЦПУ, 540 Гб ОП, жёсткий диск 18 x 5 Тб, виртуальные диски. |
| Время выполнения, с | ||||
| 100 Гб | ||||
| HDFSIO write | 129,4 | − | 133,2 | |
| HDFSIO read | 31 | − | 35,2 | |
| 1 Тб | ||||
| HDFSIO write | 1175,1 | 427,2 | − | |
| HDFSIO read | 850,4 | 232 | − | |
| Teragen | 1 179 | 373,2 | − | |
| Terasort | 12133 | 775,1 | − | |
| Teravalidate | 1016 | 65,6 | − | |