崗位職責:
1. 負責公司內部大資料的清洗和演算法編寫;
2. 負責公司內部大資料平臺的開發和維護;
3. 負責大資料中介軟體的設計,開發和維護;
4. 參與大資料相關專案的需求討論,技術評估,方案設計;
崗位要求:
1. 三年以上Python,c++語言的專案經驗,本科及以上學歷,電腦科學與技術、軟體工程、電子資訊科技等相關專業;
2. 熟悉大資料技術包括Hadoop、Spark、Hive、ElasticSearch、HBase等主流技術,並具備實際的大資料開發經驗,對分散式資料處理和資料儲存設計有很強的理解和優化能力;
3. 精通postgreSQL或greenplum資料庫,熟悉資料庫原理和常用效能優化技術,以及NoSQL原理、使用場景以和限制,精通redis;
4. 具備實時流資料處理和離線資料分析的專案經驗;
5. 熟悉資料探勘演算法、機器學習演算法者優先;
崗位要求:
熟悉雲端計算基礎平臺原理,熟悉主流市場各公有云產品和效能特性,如阿里雲、微軟雲、騰訊雲AWS等,有云計算平臺應用經驗,
熟悉主流市場的私有云建設的軟體技術產品,熟悉私有云搭建和實際建設運維經驗,熟悉混合雲搭建優先。
熟悉雲端計算所需要的網路及硬體裝置選型、配置搭建經驗,具有公有云和私有云的實際系統運維經驗。
2年以上網際網路微服務化分散式系統、分步式資料庫部署安裝和維護工作經驗,
5,熟練掌握資料庫效能優化的技巧,能夠利用開源工具,從全鏈路上定位效能瓶頸(網路、CPU、IO、作業系統等),提升資料庫使用體驗,
6,精通 mycat,DBProxy 或其他分散式資料庫中介軟體的一種,有實際的專案部署和維護經驗
7,精通mysql的各種高可用配置,包括 MHA,mmm ,keepalived , 主從切換,讀寫分離技術,
8,熟悉mysql的熱備份工具xtrabackup,能夠快速實施 mysql 資料庫的備份和恢復,
9,熟悉mysql innodb引擎,並瞭解其工作原理,
10,熟悉Linux/Unix作業系統,掌握 Python,Perl,Shell等語言中的一種,可以根據日常工作需求編寫相應的自動化運維程式,
11,對redis,mongoDB熟悉為加分項,熟悉阿里 RDS, DRDS 雲資料庫系統的優先考慮
崗位職責: