岗位职责:
1. 负责公司内部大数据的清洗和算法编写;
2. 负责公司内部大数据平台的开发和维护;
3. 负责大数据中间件的设计,开发和维护;
4. 参与大数据相关项目的需求讨论,技术评估,方案设计;
岗位要求:
1. 三年以上Python,c++语言的项目经验,本科及以上学历,计算机科学与技术、软件工程、电子信息技术等相关专业;
2. 熟悉大数据技术包括Hadoop、Spark、Hive、ElasticSearch、HBase等主流技术,并具备实际的大数据开发经验,对分布式数据处理和数据存储设计有很强的理解和优化能力;
3. 精通postgreSQL或greenplum数据库,熟悉数据库原理和常用性能优化技术,以及NoSQL原理、使用场景以和限制,精通redis;
4. 具备实时流数据处理和离线数据分析的项目经验;
5. 熟悉数据挖掘算法、机器学习算法者优先;
岗位要求:
熟悉云计算基础平台原理,熟悉主流市场各公有云产品和性能特性,如阿里云、微软云、腾讯云AWS等,有云计算平台应用经验,
熟悉主流市场的私有云建设的软件技术产品,熟悉私有云搭建和实际建设运维经验,熟悉混合云搭建优先。
熟悉云计算所需要的网络及硬件设备选型、配置搭建经验,具有公有云和私有云的实际系统运维经验。
2年以上互联网微服务化分布式系统、分步式数据库部署安装和维护工作经验,
5,熟练掌握数据库性能优化的技巧,能够利用开源工具,从全链路上定位性能瓶颈(网络、CPU、IO、操作系统等),提升数据库使用体验,
6,精通 mycat,DBProxy 或其他分布式数据库中间件的一种,有实际的项目部署和维护经验
7,精通mysql的各种高可用配置,包括 MHA,mmm ,keepalived , 主从切换,读写分离技术,
8,熟悉mysql的热备份工具xtrabackup,能够快速实施 mysql 数据库的备份和恢复,
9,熟悉mysql innodb引擎,并了解其工作原理,
10,熟悉Linux/Unix操作系统,掌握 Python,Perl,Shell等语言中的一种,可以根据日常工作需求编写相应的自动化运维程序,
11,对redis,mongoDB熟悉为加分项,熟悉阿里 RDS, DRDS 云数据库系统的优先考虑
岗位职责: