Python Developer — Web Scraping & Data Extraction (Junior)

Estamos em busca de um Desenvolvedor Python Júnior interessado em automação, coleta de dados e web scraping. A pessoa atuará no desenvolvimento e manutenção de robôs responsáveis pela coleta,tratamento e integração de dados provenientes de diferentes sistemas e portais. O profissional trabalhará junto com um time de engenharia, aprendendo boas práticas de desenvolvimento, arquitetura de sistemas e manipulação de dados em larga escala.

Principais responsabilidades

• Desenvolver e manter scripts e crawlers para coleta automatizada de dados.
• Criar spiders utilizando Scrapy, Requests e BeautifulSoup (bs4).
• Automatizar navegação em páginas dinâmicas usando Selenium.
• Auxiliar na configuração e utilização de proxies e VPNs para coleta de dados.
• Trabalhar com filas e processamento assíncrono utilizando Celery, Redis e RabbitMQ.
• Integrar dados coletados com sistemas internos desenvolvidos em Django.
• Armazenar e manipular dados utilizando PostgreSQL.
• Monitorar execuções de crawlers e identificar falhas ou inconsistências na coleta.
• Identificar e lidar com bloqueios básicos de scraping, como rate limiting, headers incorretos ou problemas de sessão.

Requisitos

• Conhecimento em Python.
• Noções de HTTP, HTML e APIs REST.
• Conhecimento básico em web scraping.
• Conhecimento em Git e fluxo de versionamento.
• Noções de trabalho em equipe utilizando metodologias ágeis.
• Noções de SQL.

Diferenciais

• Experiência com Scrapy, Selenium ou Requests.
• Experiência com BeautifulSoup (bs4).
• Experiência com Django.
• Conhecimento básico em proxy rotation.
• Experiência com solucionadores de CAPTCHA (ex: 2Captcha, AntiCaptcha).
• Conhecimento em programação assíncrona (async/await).
• Noções de Redis, RabbitMQ ou Celery.
• Experiência com Docker.
• Conhecimento em metodologias ágeis (Scrum ou Kanban).
• Experiência com pipelines de CI/CD.
• Experiência com GitHub Actions.