Arenadata - Корпоративная платформа хранения и обработки больших данных с открытым исходным кодом

Что нужно делать:

Проектировать профили нагрузки и тест-планы для платформы на базе MPP-систем и BigData;
Выбирать ключевые метрии (Latency, Throughput, IOPS) и релевантные бенчмарки (TPC-DS/TPC-H для аналитики, TPC-C/pgbench для OLTP);
Проводить сравнительный бенчмаркинг: проведение объективных A/B-тестов для сопоставления производительности продуктов экосистемы Arenadata с альтернативными рыночными решениями;
Разрабатывать нагрузочные скрипты и сценарии на Python/Bash;
Подготавливать тестовые данные: писать пайплайны генерации данных, приближенных к production-объемам (в том числе с использованием Apache Airflow для оркестрации сложных ETL-процессов наполнения стендов);
Проводить интеграцию в CI/CD: встраивать ночные и триггерные прогоны в процесс сборки (GitLab CI) для предотвращения регресса производительности на ранних этапах;
Искать узкие места в коде, базе данных и сетевых взаимодействиях (метрики Grafana/Prometheus). Предоставлять разработчикам конкретные данные для оптимизации (планы запросов, дампы потоков);
Проводить глубокий анализ результатов и формировать понятные отчеты с конкретными рекомендациями для разработки.

Мы ждём, что вы:

Облаете опытом в нагрузочном тестировании 3+ лет;
Обладаете опытом работы со стеком мониторинга: продвинутая работа с Prometheus (PromQL) и Grafana;
Обладаете опытом работы с языками и скриптами: Python или Java, Shell-скриптинг;
Обладаете опытом работы с инструментарием: JMeter/Locust и специализированными бенчмарками (TPC-DS, pgbench и др.), умеете выбирать инструмент под задачу;
Обладаете уверенными навыками администрирования Linux, понимаете принципы работы СУБД и сетевых стеков;
Умеете переводить данные метрик в понятные бизнес-рекомендации и отстаивать их перед командой, обладаете опытом проведения презентаций по полученным результатам.

Будет плюсом:

Опыт с OLAP/MPP базами данных (Greengage, ClickHouse, Trino, Impala);
Опыт работы в экосистеме Hadoop;
Опыт тестирования стримингового пайплайна (Kafka > MPP).

Присоединяйтесь к нашей команде!

отправить резюме

Мы создаем готовые и тиражируемые data-сервисы для различных инфраструктурных решений

Компания Arenadata создаёт системы сбора, хранения и обработки больших данных на базе open source технологий. Мы разрабатываем коннекторы между этими системами, а также развиваем собственный оркестратор, позволяющий быстро устанавливать и настраивать все дата-сервисы на различных типах инфраструктур.

Продукты Arenadata входят в единую платформу данных, которая является фундаментом для реализации различных задач в области работы с данными. Эксперты Arenadata вносят существенный вклад в развитие международных open source проектов.

Arenadata входит в одноименную Группу вместе с компаниями Picodata, Clean Data, DataCatalog и Tera Integro.

Компания аккредитована Минцифры РФ.

Почему стоит выбрать Arenadata

О рабочей среде

Ты выбираешь сам:

Работать на своем оборудовании или на оборудовании компании
Какую ОС, среду разработки и инструменты использовать

О твоём хорошем настроении

Мы радуемся нашим общим победам, а также:

Дарим сотрудникам и их детям подарки в значимые праздники (День защиты детей, День знаний, Новый год)
Отмечаем круглые даты работы сотрудников в компании

О балансе между работой и личной жизнью

Ты сможешь:

Иметь один день в неделю (четверг) только для написания кода No Meeting Day - минимум встреч, максимум кода (для команды разработки продукта)
Выбрать формат работы: дистанционно или в офисе

О развитии компетенций сотрудников

Мы даем возможность:

Выбрать какую профессиональную экспертизу продолжить развивать за счет очного и онлайн обучения
Посещать профильные конференции и митапы
Пройти техническое обучение нашим продуктам в собственном Центре Обучения

О здоровье

Мы компенсируем:

100% стоимости ДМС со стоматологией для всех сотрудников, включая страхование жизни
Больничный лист до уровня месячного дохода, независимо от стажа и срока работы в компании
50% стоимости ДМС для детей
50% стоимости ДМС по программе онкострахования