Data Engineer

ภาพรวมของตำแหน่ง

รับผิดชอบดูแลและพัฒนาระบบด้านข้อมูลของบริษัท ตั้งแต่การนำข้อมูลจากหลายแหล่งเข้ามาจัดเก็บ การแปลงและจัดเตรียมข้อมูลให้อยู่ในรูปแบบที่เหมาะสม ไปจนถึงการส่งต่อข้อมูลให้ทีมต่าง ๆ สามารถนำไปใช้วิเคราะห์และทำ Dashboard หรือ Report ได้

ระบบข้อมูลของบริษัททำงานอยู่บน AWS เป็นหลัก โดยมีแหล่งข้อมูลหลายประเภท เช่น Database ภายในบริษัท, External API และระบบอื่น ๆ และมีการนำข้อมูลไปจัดเก็บที่ Google Big Query หรือ Amazon S3 เพื่อให้สามารถนำข้อมูลไปใช้งานต่อผ่าน BI Tools เช่น Looker, Apache Superset หรือเครื่องมืออื่น ๆ

ตำแหน่งนี้จึงเหมาะกับผู้ที่มีความเข้าใจทั้งด้าน Database , Cloud Infrastructure และการสร้าง Data Pipeline ที่มีความถูกต้อง เสถียร และรองรับข้อมูลปริมาณมากได้

หน้าที่ความรับผิดชอบ

• ออกแบบ พัฒนา และดูแล Data Pipeline สำหรับนำข้อมูลจากหลายแหล่งเข้าสู่ Data Platform ของบริษัท

• เชื่อมต่อและดึงข้อมูลจากแหล่งต่าง ๆ เช่น

- Relational Database เช่น MySQL, PostgreSQL หรือ Database อื่น ๆ

- External API / REST API

- Log หรือ Event Data

- Object Storage เช่น Amazon S3

• จัดเตรียมและแปลงข้อมูลในกระบวนการ ETL / ELT เพื่อให้ข้อมูลสามารถนำไปใช้งานต่อได้อย่างถูกต้อง

• นำข้อมูลเข้าสู่ Data Warehouse หรือ Data Lake เช่น Google BigQuery และ Amazon S3

• ออกแบบโครงสร้างข้อมูลให้เหมาะกับการทำ Reporting, Analytics และ Dashboard

• ดูแลประสิทธิภาพของ Database และ Data Pipeline รวมถึงวิเคราะห์ปัญหาเมื่อระบบทำงานช้า หรือข้อมูลไม่ครบถ้วน

• ตรวจสอบ Data Quality เช่น ความครบถ้วน ความถูกต้อง ข้อมูลซ้ำ หรือข้อมูลที่ผิดปกติ

• ดูแลการทำงานของ Scheduled Jobs และ Automated Data Processing

• Monitoring และแก้ไขปัญหาของ Data Pipeline เมื่อ Job ล้มเหลว หรือข้อมูลไม่ถูกส่งเข้าระบบตามเวลาที่กำหนด

• ทำงานร่วมกับ Software Engineer, Business Intelligence, Data Analyst และหน่วยงานธุรกิจ เพื่อทำความเข้าใจความต้องการด้านข้อมูล

• จัดทำ Documentation เกี่ยวกับ Data Source, Data Pipeline และโครงสร้างข้อมูล เพื่อให้ทีมสามารถดูแลระบบร่วมกันได้

• ดูแลสิทธิ์การเข้าถึงข้อมูล และปฏิบัติตามแนวทางด้าน Data Security ของบริษัท

คุณสมบัติที่ต้องการ

• วุฒิการศึกษาระดับปริญญาตรี สาขาวิทยาการคอมพิวเตอร์ , วิศวกรรมคอมพิวเตอร์ หรือสาขาอื่นๆ ที่เกี่ยวข้อง

• มีประสบการณ์ด้าน Data Engineering, Backend Engineering, Database Engineering หรือสายงานที่เกี่ยวข้อง อย่างน้อย 2 ปีขึ้นไป

• มีความเข้าใจเกี่ยวกับ Database และสามารถใช้ SQL ได้ดี

• มีประสบการณ์ทำงานกับ Relational Database เช่น MySQL หรือ PostgreSQL

• มีประสบการณ์เขียนโปรแกรมสำหรับจัดการข้อมูล เช่น Python หรือภาษาอื่นที่เหมาะสม

• เข้าใจหลักการของ ETL / ELT และ Data Pipeline

• สามารถเชื่อมต่อและดึงข้อมูลจาก REST API หรือ External Data Source ได้

• มีประสบการณ์ใช้งาน Cloud Platform โดยเฉพาะ AWS

• เข้าใจการใช้งาน Object Storage เช่น Amazon S3

• มีความเข้าใจเกี่ยวกับ Data Warehouse หรือระบบวิเคราะห์ข้อมูล เช่น Google BigQuery

• สามารถวิเคราะห์และแก้ไขปัญหาเกี่ยวกับข้อมูลและระบบ Data Pipeline ได้

• สามารถทำงานร่วมกับทีม Software Development และทีมธุรกิจได้ดี

ทักษะที่สำคัญสำหรับตำแหน่ง

• นอกจากทักษะทาง Technical แล้ว ผู้สมัครควรมีความสามารถดังต่อไปนี้

• สามารถวิเคราะห์ปัญหาเชิงระบบได้ดี, ใส่ใจเรื่องความถูกต้องของข้อมูล

• สามารถดูแลระบบที่ต้องทำงานอัตโนมัติเป็นประจำได้

• สามารถสื่อสารกับทั้งทีม Technical และผู้ใช้งานทางธุรกิจได้

• สามารถออกแบบระบบให้สามารถดูแลและขยายต่อในอนาคตได้

• มีความรับผิดชอบต่อระบบ Production (ระบบจริงที่ผู้ใช้งานใช้งานอยู่) และสามารถวิเคราะห์ปัญหาเมื่อเกิด Incident ได้