데이터 엔지니어 (3년 이상)
Summary
Builds and maintains a unified data platform to collect, process, and store large-scale streaming and batch data for AI-driven entertainment features like recommendations and personalization using Python, SQL, and cloud tools.
About
크리에이터와 시청자 사이에서 발생하는 후원, 채팅, 콘텐츠 소비, 팬 참여 등 다양한 데이터를 기반으로
새로운 AI 엔터테인먼트 경험을 만들어가고 있습니다.
내부에 분산된 데이터를 안정적으로 수집·정제·저장하고, 분석과 AI 모델 학습에 활용할 수 있는
통합 데이터 플랫폼을 구축합니다.
단순히 리포트나 대시보드에 필요한 데이터를 만드는 것을 넘어, 크리에이터와 팬의 행동을 이해하고
향후 추천, 예측, 개인화, 콘텐츠 생성 등 다양한 AI 모델을 학습할 수 있는 데이터 기반을 함께 설계합니다.
Responsibilities
후원, 채팅, 방송, 위젯 사용 등 서비스 전반의 데이터를 수집·정제하는 데이터 파이프라인 구축
배치 및 실시간 데이터를 처리할 수 있는 데이터 웨어하우스·레이크하우스 기반 플랫폼 설계 및 운영
분석과 AI 모델 학습에 활용할 데이터 모델, 데이터 마트 및 학습 데이터셋 구축
데이터 품질 검증, 파이프라인 모니터링, 장애 복구 및 운영 자동화
데이터 사이언티스트 및 AI 엔지니어와 협업하여 피처와 레이블 생성 파이프라인 개발
개인정보 비식별화, 접근 권한 및 데이터 보존 정책을 포함한 데이터 거버넌스 체계 구축
데이터 규모 증가에 대응할 수 있도록 플랫폼의 성능, 안정성 및 비용 효율성 개선
Requirements
데이터 엔지니어링 또는 데이터 플랫폼 관련 실무 경험 3년 이상
Python, Java, Scala 중 하나 이상의 언어를 활용한 데이터 파이프라인 개발 경험
SQL을 활용한 복잡한 데이터 처리 및 데이터 모델링 역량
대용량 데이터를 처리하는 ETL 또는 ELT 파이프라인 구축 경험
데이터 웨어하우스, 데이터 레이크 또는 레이크하우스 구축 및 운영 경험
Airflow, Dagster, Prefect 등 워크플로 오케스트레이션 도구 활용 경험
Kafka, Kinesis, Pub/Sub 등 이벤트 스트리밍 시스템에 대한 이해
AWS, GCP 또는 Azure 환경에서 데이터 인프라를 운영한 경험
데이터 품질 관리, 장애 복구, 모니터링 및 운영 자동화에 대한 이해
제품, 백엔드, 데이터 분석 및 AI 조직과 협업하여 데이터 요구사항을 구체화할 수 있는 커뮤니케이션 역량
Preferred
AI 또는 머신러닝 모델을 위한 학습 데이터 파이프라인을 구축한 경험
추천 시스템, 광고, 커머스, 미디어 또는 사용자 행동 데이터를 처리한 경험
클릭스트림, 채팅, 로그, 실시간 이벤트 등 비정형·반정형 데이터를 처리한 경험
Spark, Flink, Beam, dbt 등 데이터 처리 도구 활용 경험
BigQuery, Snowflake, Redshift, Databricks 등 데이터 플랫폼 운영 경험
피처 스토어, MLflow, Kubeflow 등 MLOps 환경에 대한 이해
데이터 카탈로그, 데이터 계보 또는 데이터 거버넌스 시스템 구축 경험
개인정보 비식별화 및 역할 기반 접근 제어 체계를 구축하거나 운영한 경험
서비스 초기 단계에서 데이터 구조와 기술 스택을 직접 설계한 경험
데이터 플랫폼의 비용, 성능 및 안정성 사이의 균형을 고려해 설계하고 운영한 경험
Benefits
# 유연한 근무와 충분한 휴식
* 주 35시간 근무제 운영
* 오전 9시부터 12시 사이 출근이 가능한 시차출퇴근제
* 리프레시 휴가 및 조율휴가 제공
* 자유로운 연차 사용
# 가족과 함께하는 시간 존중
* 육아휴직, 배우자 출산휴가, 가족돌봄휴가 등 법정 휴가·휴직 지원
* 자녀 출산지원금 제공
* 일과 가정의 균형을 고려한 가족친화적 근무환경
# 편안한 업무환경 지원
* 사내 안마의자 및 안마베드 운영
* 구성원의 휴식과 재충전을 위한 속초 사택 운영
# 자유로운 소통과 함께하는 성장
* 직급과 관계없이 ‘님’으로 소통하는 수평적 호칭 문화
* 자율과 책임을 바탕으로 한 업무 방식 존중
* 분기별 사내행사를 통한 구성원 간 교류
* 정기적인 목표 공유 및 피드백 문화