大数据开发工程师

职责描述：

1. 构建面向模型训练所使用多远数据集的存储系统；

2. 基于模型训练需求完成数据采集、数据存储、数据处理、提供服务功能；

3. 基于数据湖和数据仓库整合完成湖仓一体化存储架构。；

4. 基于数据的一致性、时效性、准确性和数据标记等不断提高数据质量；

经验要求：5年以上大数据开发经验；

技能要求：

（1）精通Sqoop/Canal、Flume、Kafka等一种以上数据采集工具；

（2）熟练并精通使用HDFS、HBase、Kudu、Hudi等一种以上存储系统和性能优化；

（3）精通MapReduce、Spark、Impala/Presto、Storm、Flink等一种以上数据处理技术；

（4）熟练使用一种以上编程语言，如Python、Java、Scala、Golang；

（5）有数据湖、数据仓库设计落地经验者优先。

（6）熟练使用一种以上大规模并行分析(MPP)数据库，如Doris、ClickHouse、Hbase；

通用能力：

（1）思路清晰，具备良好的沟通能力和快速解决问题的能力；

（2）具备良好的学习能力与抗压能力