Отчёт о тестировании оборудования GAGAR>N

25.07.2022
Производитель серверного оборудования GAGAR>N совместно с Arenadata и ИТ-компанией Т1 Консалтинг провели тестирование оборудования для работы с Big Data. В результате была подтверждена эффективность его использования для создания отечественных комплексов хранения и обработки больших данных. Предлагаем вашему вниманию отчёт о проведённом тестировании.

Отчёт

Специалистами компании GAGAR>N и Arenadata при участии представителей «T1 Консалтинг» были проведены успешные нагрузочные испытания ПО Arenadata DB и Arenadata Hadoop на серверной платформе х86 и дисковых массивах GAGAR>N.

Тестирование проводилось с целью проверить возможность использования вычислительного оборудования GAGAR>N с программными решениями Arenadata и создания совместного программно-аппаратного комплекса (ПАК).

Для тестирования использовалось:
  • ПО Arenadata DB Enterprise Edition 6.18.0 (PostgreSQL 9.4.24 (Greenplum Database 6.18.0 build 6.18.0_arenadata29-750.git8955a8f.el7));
  • ПО Arenadata Hadoop Enterprise Edition 2.1.4b8 (сборка v2.1.4_b8-1_enterprise);
  • серверы GAGAR>N, дисковые массивы — как с механическими дисками, так и с высокопроизводительными твердотельными накопителями с NVMe-интерфейсом.

ПО Arenadata DB (ADB)

В ходе функциональных проверок использовались следующие виды тестов:
  • «быстрый» нагрузочный тест ADB, включающий тестирование подсистем кластера встроенной утилитой gpcheckperf (оценка производительности сети, памяти и дисковых устройств сегментных узлов), а также получение результата слияния (JOIN) массивных таблиц с синтетическими данными с разными уровнями компрессии данных и без неё;
  • промышленный нагрузочный тест TPC-DS, имитирующий реальную работу с разнообразными вариантами нагрузки и выполнение набора тестов с созданием таблиц с синтетическими данными;
  • тесты резервного копирования и восстановления базы данных в один и несколько потоков с целью оценки временных затрат на указанные операции.
Основной метрикой измерений определена удельная производительность на ядро и приведённая производительность в тесте TPC-DS. В качестве референсных систем выступали облачный кластер из четырёх сегментных узлов с высокопроизводительными SSD-дисками и кластер классических серверов с механическими дисками.

Таблица 1. Результаты тестирования Arenadata DB

Метрика Серверы GAGAR>N 2 сегментных узла, 40 физ. ядер, 256 Гб памяти Облачный кластер 4 сегментных узла, 128 ядер, 1004 Гб памяти Кластер классических серверов х86 4 сегментных узла, 88 физ. ядер, 1200 Гб памяти
Приведённая производительность на ядро с компрессией 1 78 33 101
TPC-DS 23 21 Не выполнялся
 

ПО Arenadata Hadoop (ADH)

Нагрузочные тесты ПО ADH включали серию нагрузочных утилит, входящих в стандартную поставку Hadoop:
  • Teragen — генерация наборов данных с помощью map / reduce задач;
  • Terasort — сортировка наборов данных с помощью map / reduce задач;
  • Teravalidate — проверка операций сортировки с помощью map / reduce задач;
  • TestDFSIO — испытание производительности записи/чтения в файловой системе HDFS.
Нагрузочные испытания выполнялись на объёме 100 Гб и 1 Тб синтетических данных. В качестве метрики сравнения выбрано время выполнения каждого теста.

В качестве образцов для сравнения были выбран «Образец 1» и «Образец 2», для которых ранее были выполнены подобные тесты.

ПО Arenadata Hadoop на оборудовании GAGAR>N отработало все тестовые задачи без ошибок, что подтвердило полную совместимость с аппаратной платформой.



Таблица 2. Результаты тестирования Arenadata Hadoop

№   Тест     GAGAR>N 45 ядер ЦПУ, 300 Гб ОП, жёсткий диск 12 x 16 Тб,  7 200 об/мин, SATA Образец 1 224 ядра ЦПУ, 3430 Гб ОП, жёсткий диск 84 x 14 Тб, 7 200 об/мин, SATA Образец 2 66 ядер ЦПУ, 540 Гб ОП, жёсткий диск 18 x 5 Тб, виртуальные диски.
Время выполнения, с
100 Гб
  HDFSIO write 129,4 133,2
  HDFSIO read 31 35,2
1 Тб
  HDFSIO write 1175,1 427,2
  HDFSIO read 850,4 232
  Teragen 1 179 373,2
  Terasort 12133 775,1
  Teravalidate 1016 65,6
 

Выводы

Результаты, полученные в ходе тестирования на стенде GAGAR>N, сопоставимы с теми, что были получены на стендах других производителей с эталонной архитектурой размещения компонентов аппаратного обеспечения. Для всех выполненных тестов разброс полученных результатов находился в пределах допустимых значений. Тесты на производительность дисковых массивов (JBOF/JBOD) показали значения, сопоставимые с размещёнными на серверах дисками. Тестирование показало, что ПО Arenadata Hadoop и Arenadata DB на оборудовании GAGAR>N показывает производительность, сопоставимую с эталонными референсными конфигурациями. Это позволяет использовать вычислительное оборудование GAGAR>N в составе ПАК Arenadata DB / Arenadata Hadoop.

Спасибо, что написали нам!

Мы обработаем заявку и свяжемся с вами в ближайшее время.

Будем рады помочь!

Отправьте ваш вопрос через форму ниже, и наши специалисты свяжутся с вами в ближайшее время.

Фамилия *
Имя *
Эл. почта *
Телефон *
Наименование компании *
Опишите ваш вопрос
ошибка! проверьте правильно ли вы заполнили поля

Этот сайт использует cookie-файлы и другие технологии, чтобы помочь вам в навигации, а также предоставить лучший пользовательский опыт, анализировать использование наших продуктов и услуг, повысить качество рекламных и маркетинговых активностей.