大数据工程师

一、岗位职责
（一）大数据平台架构搭建与维护
参与企业级大数据平台的规划、设计与实施，基于 Hadoop、Spark、Flink 等主流组件，构建高可用、可扩展的数据存储、计算与分析体系。
负责平台的日常运维、性能监控与调优，及时排查并解决系统故障，保障平台的稳定性与高可用性。
持续优化系统架构与运维流程，完善监控机制，提升平台自动化运维水平与整体可靠性。
（二）数据采集与同步开发
设计并实现多源异构数据的采集与同步方案，熟练运用 Flume、Sqoop、DataX、CDC（变更数据捕获）等工具，实现结构化、半结构化及非结构化数据的高效接入。
确保数据从业务系统、日志系统、第三方接口等源头准确、完整地汇入数据中台，保障数据链路的稳定性与实时性。
开发数据清洗、转换与加载（ETL）程序，提升数据质量与处理效率。
（三）数据处理与建模开发
负责数据仓库或数据湖的架构设计与开发，依据业务需求构建分层数据模型（ODS、DWD、DWS、ADS）。
使用 Hive、SparkSQL、FlinkSQL 等技术编写高效的数据处理任务，完成数据聚合、关联与计算；持续优化 SQL 逻辑与执行流程，提升处理性能，降低资源消耗。
参与海量数据的分析与挖掘工作，为业务决策提供深度数据洞察。
（四）数据服务与接口开发
根据业务部门的数据需求，开发高效、稳定的数据查询服务与 API 接口。
支撑数据可视化报表…