Дата инженер
Description
Группа Rubytech — лидирующий производитель программно-аппаратных комплексов и разработчик технологий для высоконагруженных ИТ-инфраструктур. Мы выпускаем собственную линейку ПАК Скала^р, а также строим и защищаем от киберугроз инфраструктуру, обеспечивая бесперебойную работу крупного бизнеса и государственных организаций.
Вам предстоит:
• Разработка, построение, тестирование и поддержка архитектур данных: Дата-инженер отвечает за создание и поддержку оптимальных архитектур данных, которые обеспечивают эффективное хранение, обработку и доступ к большим объемам данных.
• Сбор и интеграция данных из различных источников: Дата-инженер должен уметь собирать данные из разнообразных источников, таких как базы данных, файловые системы, внешние сервисы и API, и интегрировать их в централизованное хранилище данных.
• Очистка и подготовка данных: Очистка неструктурированных и разрозненных данных, их преобразование в структурированный и читаемый формат для последующего анализа.
• Автоматизация процессов сбора, обработки и анализа данных: Разработка и поддержка автоматических процедур для регулярного обновления данных и обработки потоков данных в реальном времени.
• Мониторинг, тестирование и обеспечение производительности обработки данных: Постоянный мониторинг систем и архитектур данных на предмет ошибок и узких мест, а также выполнение необходимых оптимизаций.
• Сотрудничество с аналитиками данных и другими заинтересованными сторонами: Взаимодействие с командами аналитиков, бизнес-аналитиков и разработчиков для обеспечения доступа к данным, их понимания и использования.
• Соблюдение политик и нормативов в области обработки данных: Все процессы и системы должны соответствовать требованиям в отношении безопасности данных, конфиденциальности и правовых норм.
Требования к нашему кандидату:
• Опыт работы дата-инженером от 3 лет: Участие в проектировании, построении, оптимизации и поддержке хранилищ данных. Опыт работы с базами данных и большими объемами данных.
• Знание систем управления базами данных: Глубокие знания SQL и NoSQL баз данных, включая Greenplum, ClickHouse, MongoDB, Cassandra, PostgreSQL, MySQL и другие.
• Опыт с большими данными и распределенными системами: Опыт работы с Hadoop, Spark, Trino, StarRocks, Kafka и другими технологиями обработки больших данных.
• Знание облачных платформ: Опыт работы с облачными платформами AWS, Yandex Cloud или VK Cloud, включая сервисы хранения, обработки данных и управления базами данных.
• Навыки работы с данными: Знание основных принципов и методик построения DWH, DataLake, Lakehouse. Понимание методов очистки и предобработки данных, знание инструментов для визуализации данных.
• Опыт разработки ETL: Уверенное владение ETL-инструментами для извлечения, трансформации и загрузки данных из различных источников.
• Знание языков программирования: Владение SQL и одним или несколькими языками программирования: Python, Scala, Java.
• Опыт работы с Git и инструментами CI/CD: GitLab, Jenkins или аналогичными.
Тестирование: Опыт формирования сценариев и проведения функционального и нагрузочного тестирования.
• Умение работать с документацией: Анализ и подготовка архитектурной документации, описаний разработанных решений и результатов тестирования.
• Осознанное использование ИИ: Понимание и опыт использования ИИ-инструментов для повышения продуктивности работы.
• Навыки командной работы: Способность эффективно общаться как с техническими, так и с не техническими коллегами, умение работать в команде.
Желательно:
• Опыт работы с DevOps-задачами, самостоятельное развёртывание демонстрационных и тестовых стендов, проведение тестов и документирование результатов.
• Понимание принципов контейнеризации и опыт работы с Docker, Kubernetes.
Что мы предлагаем:
- Уютный, комфортный и современный офис в пешей доступности от м. Алексеевская, где есть все необходимое для работы и даже больше: дежурный врач, кафе и столовая, кофе и фрукты, фитнес-центр, коворкинг и многое другое.
- Стабильный и «белый» конкурентный доход, который мы обсудим при встрече;
- Удобный график — гибрид или офис (в зависимости от подразделения);
- Работа в аккредитованной ИТ-компании из реестра Минцифры (отсрочка от мобилизации);
- Профессиональный рост, обучение и развитие, участие в проекте «Лекторий Rubytech»;
- Развитые спортивные комьюнити: футбол, волейбол, баскетбол и шахматы;
- ДМС для вас и вашей семьи на особых условиях;
- Тимбилдинги, митапы и другие корпоративные мероприятия;
- Скидки у 500+ партнеров (платформы BestBenefits и Lerna).
Ждем вас в нашей команде!
Skills
Sign in to read and join the discussion.