Data Engineer (AI) (판교)
Summary
Builds and maintains data pipelines to feed AI models, including LLM-based preprocessing, vector databases, and streaming/ETL workflows for a mobile app marketplace.
About
원스토어는 게임, 앱, 스토리콘텐츠까지 다양한 모바일콘텐츠를 서비스하는 대한민국 대표 앱마켓 기업입니다.
국내 통신사 앱마켓 ‘T스토어’로 첫 발을 내딛은 이후, 외국 기업의 영향력이 큰 앱마켓 시장에서 새로운 상생의 길을 도모하고자
2016년 6월 국내 통신3사(SKT, KT, LGU+) 앱스토어와 네이버스토어가 함께 손잡고 ‘원스토어’를 출범시켰습니다.
국내·외 통신사 및 글로벌 IT·게임, 모바일 광고 기업까지 참여한 전세계에서 가장 경쟁력 있는 제3자 앱마켓으로 입지를 다져나가고 있습니다.
Responsibilities
• 사내 데이터 소스 통합 수집 및 AI 활용을 위한 데이터 파이프라인 구축·운영
• LLM 활용 기반 데이터 전처리 문서 파싱, 청킹, 임베딩, 벡터 DB 적재
• 데이터 레이크/웨어하우스 설계 및 배치·스트리밍
• ETL/ELT 파이프라인 개발
• AI 서비스 사용 로그·추론 요청 데이터의 수집·적재 및 분석 기반 마련
• 데이터 품질 관리, 개인정보 비식별화 등 데이터 거버넌스 체계 수립
Requirements
• Python 및 SQL 기반 데이터 처리 실무 3년 이상
• Airflow 등 워크플로우 도구를 활용한 ETL/ELT 파이프라인 구축·운영 경험
• 대용량 데이터 처리 프레임워크(Spark 등) 또는 분산 처리 환경 경험
• RDB/NoSQL 데이터 모델링 및 데이터 웨어하우스 운영 경험
Preferred
• RAG 파이프라인 구축 경험- 벡터 DB(Milvus, Qdrant, pgvector 등)
• Kafka 등 스트리밍 데이터 파이프라인 운영 경험
• 데이터 카탈로그, 데이터 품질 검증 도구 활용 경험
• LLM 학습·파인튜닝용 데이터셋 구축(정제·중복제거·합성데이터) 경험
• 개인정보보호·데이터 보안 규정(ISMS 등) 대응 경험
Benefits
• IT 대기업 수준의 복리 후생 제공
(ex. 통신비 지원, 복지포인트, 외국어 학습, 학자금, 의료비 등)