崗位職責:
1. 負責公司內部大數據的清洗和算法編寫;
2. 負責公司內部大數據平台的開發和維護;
3. 負責大數據中間件的設計,開發和維護;
4. 參與大數據相關項目的需求討論,技術評估,方案設計;
崗位要求:
1. 三年以上Python,c++語言的項目經驗,本科及以上學歷,計算機科學與技術、軟件工程、電子信息技術等相關專業;
2. 熟悉大數據技術包括Hadoop、Spark、Hive、ElasticSearch、HBase等主流技術,並具備實際的大數據開發經驗,對分佈式數據處理和數據存儲設計有很強的理解和優化能力;
3. 精通postgreSQL或greenplum數據庫,熟悉數據庫原理和常用性能優化技術,以及NoSQL原理、使用場景以和限制,精通redis;
4. 具備實時流數據處理和離線數據分析的項目經驗;
5. 熟悉數據挖掘算法、機器學習算法者優先;
崗位要求:
熟悉雲計算基礎平台原理,熟悉主流市場各公有云產品和性能特性,如阿里雲、微軟雲、騰訊雲AWS等,有云計算平台應用經驗,
熟悉主流市場的私有云建設的軟件技術產品,熟悉私有云搭建和實際建設運維經驗,熟悉混合雲搭建優先。
熟悉雲計算所需要的網絡及硬件設備選型、配置搭建經驗,具有公有云和私有云的實際系統運維經驗。
2年以上互聯網微服務化分佈式系統、分步式數據庫部署安裝和維護工作經驗,
5,熟練掌握數據庫性能優化的技巧,能夠利用開源工具,從全鏈路上定位性能瓶頸(網絡、CPU、IO、操作系統等),提升數據庫使用體驗,
6,精通 mycat,DBProxy 或其他分佈式數據庫中間件的一種,有實際的項目部署和維護經驗
7,精通mysql的各種高可用配置,包括 MHA,mmm ,keepalived , 主從切換,讀寫分離技術,
8,熟悉mysql的熱備份工具xtrabackup,能夠快速實施 mysql 數據庫的備份和恢復,
9,熟悉mysql innodb引擎,並瞭解其工作原理,
10,熟悉Linux/Unix操作系統,掌握 Python,Perl,Shell等語言中的一種,可以根據日常工作需求編寫相應的自動化運維程序,
11,對redis,mongoDB熟悉為加分項,熟悉阿里 RDS, DRDS 雲數據庫系統的優先考慮
崗位職責: