1、负责大数据平台的技术架构设计和演进,平台搭建,管理和维护,引入符合公司业务及技术场景的大数据组件,组件优化及维护;
2、参与核心组件的开发,接口规范制定,编写核心代码,推动项目落地;
3、负责关键技术的预研和攻关,提高系统稳定性,安全性,可扩展性,不断进行架构的优化简化;
4、编写相关技术文档,项目文档,对新技术,新组件引入推广提供技术支撑报告及指导意见;
5、跟踪行业动态,推广新技术,新组件的应用,培训和指导团队成员技术能力提升;
6、完成上级交办的其他工作。
1、硕士及以上学历,计算机或相关专业,5年及以上大数据平台架构经验,具有不少于2年项目管理经验或团队管理经验;
2、熟练掌握Linux下开发,熟悉shell、python等脚本编程;
3、熟悉大数据平台技术原理和内部机制,包括数仓建模、Hadoop/Hive/MapReduce等,具备hadoop体系运维的能力,对于深度故障问题有处理和运维经验,具备编译hadoop源码及性能优化的能力;
4、有PB级大数据处理经验、大型项目架构设计开发、优化、治理,有开源社区贡献者以及前沿技术传递与转化者优先考虑;
5、具有良好的英语表达能力,具有良好的团队合作能力、抗压能力以及解决问题能力。