Senior QA Python
Posted 9
views
Summary
Senior QA engineer owning the test strategy for the AURA system: designing risk-based QA plans and building Python/pytest automation for backend, API and data-pipeline tests, PDF regression checks and Playwright frontend tests, plus performance/volume testing and quality metrics with Grafana on AWS EKS.
- stworzenie i utrzymywanie test concept oraz strategii QA dla systemu AURA,
- określenie poziomów testów oraz podziału odpowiedzialności pomiędzy development i QA,
- definiowanie podejścia risk-based do priorytetyzacji testów,
- określenie strategii środowisk i danych testowych,
- zdefiniowanie klasyfikacji błędów, severity levels, blockerów oraz kryteriów akceptacji i release,
- przygotowanie dokumentacji umożliwiającej sprawne wdrożenie kolejnych osób do obszaru testów,
- przygotowanie i wdrożenie koncepcji automatyzacji testów,
- automatyzacja testów backendowych, integracyjnych i API w Pythonie z wykorzystaniem pytest,
- testowanie pipeline’ów danych oraz procesów batchowych,
- integracja testów automatycznych z CI,
- przygotowanie testów regresyjnych dla plików PDF, w tym visual comparison, preflight oraz walidacji PDF/X-3,
- automatyzacja testów frontendu, np. z wykorzystaniem Playwright,
- generowanie syntetycznych i rule-based danych testowych,
- testowanie niekompletnych danych, błędnych formatów, duplikatów oraz edge case’ów,
- budowanie i utrzymywanie referencyjnych datasetów na podstawie rzeczywistych wydań,
- wykorzystywanie property-based testing, np. Hypothesis,
- definiowanie i automatyczne zbieranie metryk jakościowych,
- monitorowanie trendów i regresji jakości,
- analiza jakości działania solverów, m.in. fill rate, white space, stosunku reklam do treści, naruszeń reguł oraz runtime względem search budget,
- weryfikacja jakości pipeline’ów AI, m.in. zgodności długości treści z limitami oraz regresji po zmianach promptów lub modeli,
- prowadzenie runtime, performance oraz volume testing,
- testowanie dużych wydań, równoległego przetwarzania oraz wielu tytułów produkowanych jednocześnie,
- analiza bottlenecków, profiling oraz analiza metryk w Grafanie,
- testowanie skalowania rozwiązania w AWS EKS,
- exploratory testing oraz release testing w obszarach niewymagających automatyzacji,
- planowanie i dokumentowanie testów manualnych.