Search Quality Operations Team Leader
Summary
Leads a new team to design and operate Toss Shopping’s search relevance systems, building data pipelines, evaluation frameworks, and processes to improve product search quality.
# 합류하게 될 팀에 대해 알려드려요
- 토스 쇼핑은 금융 슈퍼앱 위에서 고객이 원하는 상품을 정확하게 발견할 수 있는 검색 경험을 만들어요.
- 현재 쇼핑 검색은 쿼리 이해, 리트리벌, 랭킹의 각 레이어를 독립적으로 실험하고 측정할 수 있는 아키텍처로 진화하고 있어요.
- 엔지니어와 함께 검색 시스템을 근본부터 설계해 검색 품질을 개선할 수 있는 기술을 만들어요.
# 합류하면 함께 할 업무예요
- 검색 Product Owner, ML Engineer 와 협업하여 검색 품질 운영, 관리 조직을 0부터 만들어요. 방법론, 평가 지표, 팀 구성 및 운영 프로세스까지 직접 정의해야 해요.
- 검색 Relevance 정답셋을 대규모로 생산하는 체계를 설계하고 운영해요.
- 토스 쇼핑의 검색 품질을 개선하여 비즈니스 임팩트를 만드는 것이 목표에요.
# 이런 분과 함께하고 싶어요
- 검색 품질 관리, 정보검색(IR), 추천, 데이터 분야에서 경력을 쌓아오신 분
- 검색 품질 평가 및 relevance 판정 기준을 수립하고, 평가자 간 편차를 통제하여 데이터의 품질을 관리해보신 분
- 검수 인력을 채용, 교육, 관리하며 조직을 키우고, 프로세스를 표준화 및 확장해보신 분
- 운영 프로세스를 지표 기반으로 평가하고, 지속적으로 개선한 경험이 있으신 분
- LLM을 데이터 생산 및 평가에 활용하거나, LLM이 만든 결과를 사람이 검증하는 구조를 설계해본 경험이 있으신 분
# 이런 경험이 있다면 더 좋아요
- 검색 품질, relevance 정답셋을 다루는 팀을 직접 세팅했거나, 유사한 업무를 하는 팀을 리딩한 경험이 있으면 좋아요.
커머스 도메인에서 상품 속성, 패싯(Facet) 데이터를 구축, 검수하거나 검색에 활용해본 경험이 있으면 좋아요.
커머스 검색 Knowledge Management - 사전, 온톨로지, 지식그래프 등 검색 지식 등을 관리, 구축해본 경험이 있으면 좋아요.
# 토스로의 합류여정
- 서류접수 > 직무 인터뷰 > 문화적합성 인터뷰 > 처우 협의 > 레퍼런스 체크> 최종 합격 및 입사