职位描述
工作职责
1.在现有数据链路的基础上,负责设计并实施离线计算数据基础架构的建设,确保数据的高效存储与处理;
2.运用Java、Golang或Python等编程语言,对数据进行深度清洗与整合,提升数据质量,为后续分析提供可靠基础;
3.基于已构建的离线数据集,进行深入的数据分析,挖掘数据价值,为业务决策提供数据支持;
4.确保所建设的离线数据处理系统稳定运行,及时排查并解决系统故障,保障数据处理的连续性和准确性。
任职资格
1.本科以上学历,电子电力、电气自动化、计算机科学或相关专业,具备扎实的专业理论基础;
2.理解计算机基本原理和常用算法,能够灵活运用解决实际问题;
3.熟悉Hadoop、Spark等大数据处理框架,熟悉Hadoop生态系统中的HDFS、Hive、MapReduce等组件;
4.具备大数据平台开发、运维经验,能够独立完成数据仓库的设计与建设;
5.具备良好的逻辑思维能力和问题解决能力,能够独立分析问题并提出解决方案;
6.熟练使用Java、Golang或Python等至少一种编程语言进行数据处理与分析。