Разработчик инфраструктуры больших данных в Автономный транспорт
Для развития технологии автономного вождения необходимо обрабатывать большие массивы данных от автопилотов. Вам предстоит проектировать архитектуру хранения и обработки данных, обеспечивать их быстрый поиск и доступ к ним. Если вы разрабатывали нагруженный бэкенд и знаете SQL — присылайте резюме.Проектирование архитектуры хранения и обработки больших данных
Автономный транспорт в результате своей работы создаёт большое количество данных, которые нужно эффективно обрабатывать, хранить и доставлять пользователям в удобном для них формате. Ежемесячно наше хранилище прирастает более чем на 3 ПБ только за счёт новых логов. Одна из ключевых задач команды — проектирование архитектуры для хранения сырых данных, а также реализация отказоустойчивой системы без потери данных, обеспечивающей высокий уровень доступности для наших пользователей. Развитие инфраструктуры метаданных
Для навигации в большом объёме сырых данных необходимо использовать метаинформацию, которую мы получаем как через настройку автоматических постпроцессингов, так и в результате ручной разметки данных, которую выполняют аналитики и асессоры. Вам предстоит анализировать потребности пользователей и на основе результатов анализа планировать и реализовывать инфраструктуру метаинформации, которая обеспечит быстрый поиск и доступ к данным. Разработка бэкенд-сервисов
Для взаимодействия с пользователями данных мы используем бэкенд-API-сервисы на языке Golang с использованием gRPC и Swagger. Вам предстоит дорабатывать существующие сервисы и создавать новые с нуля: от сбора требований до запуска в эксплуатацию, с дальнейшим сопровождением и обеспечением высокой доступности. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Разрабатывали нагруженный бэкенд не меньше трёх лет * Работали с SQL и реляционными базами данных * Разбираетесь в распределённых системах * Разрабатывали для Linux
Автономный транспорт в результате своей работы создаёт большое количество данных, которые нужно эффективно обрабатывать, хранить и доставлять пользователям в удобном для них формате. Ежемесячно наше хранилище прирастает более чем на 3 ПБ только за счёт новых логов. Одна из ключевых задач команды — проектирование архитектуры для хранения сырых данных, а также реализация отказоустойчивой системы без потери данных, обеспечивающей высокий уровень доступности для наших пользователей. Развитие инфраструктуры метаданных
Для навигации в большом объёме сырых данных необходимо использовать метаинформацию, которую мы получаем как через настройку автоматических постпроцессингов, так и в результате ручной разметки данных, которую выполняют аналитики и асессоры. Вам предстоит анализировать потребности пользователей и на основе результатов анализа планировать и реализовывать инфраструктуру метаинформации, которая обеспечит быстрый поиск и доступ к данным. Разработка бэкенд-сервисов
Для взаимодействия с пользователями данных мы используем бэкенд-API-сервисы на языке Golang с использованием gRPC и Swagger. Вам предстоит дорабатывать существующие сервисы и создавать новые с нуля: от сбора требований до запуска в эксплуатацию, с дальнейшим сопровождением и обеспечением высокой доступности. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Разрабатывали нагруженный бэкенд не меньше трёх лет * Работали с SQL и реляционными базами данных * Разбираетесь в распределённых системах * Разрабатывали для Linux