TechLead-python разработчик (GigaData)

Команда занимается сбором качественных данных, которые принципиально важны для обучения передовых моделей ИИ.* определять техническую стратегию и целевую архитектуру системы * проектировать системы, готовые к масштабированию от миллионов до миллиардов сущностей: горизонтальное масштабирование, шардирование, геораспределение * принимать ключевые технологические решения: выбор стека, стратегии хранения, архитектурные паттерны (event-driven, CQRS, и др.) * проектировать end-to-end пайплайны: URL discovery → fetch → parse → deduplicate → store → deliver * писать код самых сложных и критичных компонентов: планировщик обхода, URL-фронтир, дедупликация, проводить performance engineering: профилирование, нагрузочное тестирование, устранение bottleneck-ов * оптимизировать прокси-инфраструктуру и маршрутизацию трафика на глобальном уровне, исследовать и внедрять новые технологии: HTTP/3, QUIC, eBPF, io\_uring для максимизации throughput, разрабатывать стратегии оптимизации стоимости инфраструктуры (FinOps) * руководить командой из 3–6 инженеров: планирование, декомпозиция, приоритизация формировать и поддерживать технические стандарты: Code Review, coding guidelines, архитектурные ADR, менторить разработчиков, проводить 1-1, помогать в профессиональном развитии, взаимодействовать с потребителями данных и смежными командами для планирования roadmap.* коммерческий опыт разработки на Python от 7 лет, из них не менее 2 лет в роли техлида/тимлида * экспертиза в проектировании распределённых высоконагруженных систем (миллионы RPS, петабайты данных) * глубокое понимание сетевого стека: TCP/UDP, HTTP/1.1/2/3, TLS, DNS, QUIC * практический опыт построения масштабных систем краулинга или аналогичных data acquisition систем * экспертиза в асинхронном и параллельном программировании * опыт проектирования микросервисной и event-driven архитектуры * опыт работы с Kafka, Redis, PostgreSQL, ClickHouse (или аналогами) * уверенное владение Kubernetes, Docker, Terraform, CI/CD * опыт работы с облачными платформами * навыки глубокого troubleshooting: tcpdump, strace, perf, ebpf-инструменты * опыт управления командой: планирование, Code Review, менторинг, 1-1, найм **Будет плюсом:** * знание Go, Rust или C++ для написания высокопроизводительных компонентов * лпыт работы в компаниях с масштабным краулингом (поисковые системы, data aggregators) * опыт работы с io\_uring, eBPF, zero-copy networking * опыт построения геораспределённых систем * опыт применения ML для оптимизации crawl-стратегий (приоритизация, фильтрация, классификация), публичные выступления, статьи.* Крупнейшее DS&AI community — более 600 DS-специалистов банка * Дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира * Возможность быть соавтором НИРов и статей для международных конференций * Возможность выбрать удобный формат работы: гибрид или офис * Ежегодный пересмотр зарплаты, годовая премия * Корпоративный спортзал и зоны отдыха * более 400 образовательных программ СберУниверситета для профессионального и карьерного развития * Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа * Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров * Вознаграждение за рекомендацию друзей в команду Сбера.