인프라운영실 데이터 엔지니어
Summary
Designs and maintains data pipelines using Apache NiFi and Airflow, automates data collection from APIs, databases, and web sources, and performs data scraping/crawling to clean, transform, and load data for market analysis and consulting services.
About
NICE지니데이타는 국내 최대 정보회사인 NICE평가정보의 100% 자회사이며, 시장분석정보 및 컨설팅서비스를 제공하는 전문 빅데이터 컨설팅 기업입니다. 데이터의 표면적 가치가 아닌 잠재적 가치를 고려하여 데이터를 선별하며, 공공, 금융, 유통, 제조 등 다양한 기업고객에게 시장 트렌드 및 고객분석을 위한 마케팅 데이터와 컨설팅 서비스를 제공합니다. 또한, 개인(사업자)의 성공 창업을 위한 상권정보, 외식업 CEO 교육 등 다양한 솔루션도 제공합니다.
Responsibilities
- Apache NiFi 및 Airflow를 활용한 데이터 파이프라인 설계, 구축 및 운영
- 다양한 내·외부 데이터 소스(API, DB, 파일, 웹 등) 연계 및 데이터 수집 자동화
- 웹 페이지, 오픈 데이터 등을 대상으로 한 데이터 스크래핑(크롤링) 업무 수행
- 수집 데이터 정제, 변환, 적재(ETL/ELT) 프로세스 설계 및 운영
Requirements
- Apache NiFi 및 Airflow를 활용한 데이터 파이프라인 설계 및 운영 경험
- Python 기반 데이터 스크래핑(크롤링) 실무 경험
- Python, SQL 등 데이터 처리 언어 활용 가능자
Preferred
• Spark, Hadoop 등 빅데이터 처리 플랫폼 사용 경험
• AWS/GCP/Azure 등 클라우드 환경에서 데이터 파이프라인 운영 경험
• Linux 환경 운영 경험 및 Shell Script 작성 가능자
• 보훈대상자
Benefits
ㆍ4대보험, 연차수당, 야근수당, 퇴직금
ㆍ경조휴가, 자유로운 연차사용, 반차, 해피아워 4시퇴근 (연1회), 유급 체력단련휴가 7일, 매주금요일 5시 퇴근
ㆍ경조비지급, 복지카드 지급, 단체상해보험, 건강검진 지원(연1회), 교육비 지원