Junior Data Engineer (Data Management Industry)

Job Description (Tugas & Tanggung Jawab)

• Merancang & Mengembangkan Data Pipeline: Membangun alur ETL/ELT yang andal menggunakan Apache NiFi untuk penjadwalan dan pemrosesan data otomatis dari berbagai sumber.
• Pengelolaan Analytical Storage: Mengelola dan mengoptimalkan ClickHouse sebagai sistem penyimpanan data analitis berkinerja tinggi.
• Integrasi Event-Driven Messaging: Mengintegrasikan RabbitMQ untuk mendukung arsitektur pengiriman pesan berorientasi peristiwa (event-driven).
• Monitoring & Pemeliharaan Sistem: Memantau kesehatan, kinerja, dan kestabilan sistem data secara real-time menggunakan Grafana dan Zabbix.
• Menyiapkan Fondasi Data: Memastikan data mentah berhasil di-extract, di-transform menjadi bersih/terstruktur, dan siap diolah oleh Data Analyst atau Data Scientist.

Requirement (Kualifikasi & Keahlian)

• Bahasa Pemrograman: Menguasai SQL dan Python untuk manipulasi dan pengolahan data.
• ETL & Data Pipeline: Pengalaman praktis menggunakan Apache NiFi atau alat orchestration setara.
• Database & Big Data: Terbiasa mengelola basis data analitis (ClickHouse) serta memahami basis data relasional (RDBMS) dan non-relasional (NoSQL).
• Messaging & Monitoring: Memiliki pemahaman tentang message broker (RabbitMQ) serta alat pemantauan sistem (Grafana & Zabbix).
• Cloud & Platform: Familiar dengan platform basis cloud (AWS / GCP / Azure) dan ekosistem Big Data (seperti Spark / Hadoop).