Hadoop運維工程師崗位職責

Hadoop運維工程師是做什麼的?本文提供Hadoop運維工程師的崗位職責例子,包括詳細的工作內容及任職要求。

崗位職責：

1.負責Hadoop相關項目日常運行維護、故障排查工作；

2.負責Hadoop集羣的監控和配置調優工作；

3.負責Hadoop平台的用户管理、權限分配、資源分配；

4.負責集羣服務器軟件的安裝、維護、部署、更新；

任職要求：

1.熟悉Hadoop生態，知曉HDFS、YARN、Kafka、HBase、hive等Hadoop生態技術的體系結構和運行原理可對大數據平台進行性能調優，升級擴容、性能監控以及配置調優具備1年以上Hadoop大數據平台運維經驗；

2.熟悉linux系統，熟練使用shell/python/perl中至少一種具備1年以上linux管理工作經驗；

3.熟練使用git版本控制，jenkins持續集成工具；

4.具有良好的學習能力、溝通能力和團隊合作精神；具有強烈的進取精神和樂觀的工作態。

任職資格
1.計算機或相關專業本科以上學歷；
2.二年以上Hadoop大數據平台實際生產環境經驗；熟悉Apache spark資源管理、調度和性能調優；熟悉Spark，Kafka，HDFS，Hive，Hbase，MapReduce，Yarn，Flume，Mesos，ZooKeeper中的2個以上組件；
3.理解Spark和MapReduce的原理，能夠根據日誌分析程序運行出現錯誤的原因，並對程序運行的參數進行優化，給予業務開發人員建議和支持；
4.熟悉分佈式系統、分佈式計算系統的工作機制，熟悉Hadoop生態圈相關核心技術的工作機理；有一定源碼研究者優先；
5.熟悉Linux系統管理工作；熟悉Shell編程，能夠編寫腳本解決日常問題，包括自動化的工作流設計；
6.熟悉Scala或者Python編程者優先。

崗位職責
1.負責高併發，大存儲和實時流的Hadoop/spark大數據平台規劃，運維，監控和優化工作；
2.保證Hadoop/spark平台各核心服務運行的穩定、高效；
3.對Hadoop/spark平台運維不斷優化，提升數據產品的質量和響應速度；
4.開發各種Hadoop大數據自動化運維與監控工具；
5.平台大數據環境的部署維護和技術支持;
6.應用故障的處理跟蹤及統計彙總分析;
7.應用安全，數據的日常備份和應急恢復。崗位職責：
1、負責移動大數據中心的建設與維護；
2、負責安徽移動hadoop集羣的故障排查、解決；
3、其他省份hadoop項目建設提供技術支持。

任職資格：
1、國家統招本科，2年以上工作經驗；
2、有Java開發經驗，對hadoop源碼有研究，具備部署、實施、維護hadoop的能力。
3、有較為豐富的linux 安裝、配置、系統管理、調優經驗；
4、熟悉存儲、網絡原理、瞭解他企業級軟件如tomcat、weblogic、mysql等安裝，配置和優化；
5、參與過電信行業2年以上維護、實施、設計工作；
6、熟悉系統集成、機房管理等工作流程。崗位職責：
1. 負責Hadoop及相關組件的部署和維護，保證其穩定運行；
2. 開發和使用Hadoop大數據自動化運維與監控工具；
3. 基於大數據應用需求，不斷調整和優化Hadoop框架及組件的配置，提升性能；
4. 為數據倉庫、數據挖掘建模等數據應用項目提供運行環境支持；
任職要求：
1. 本科及以上學歷，計算機相關專業，2年以上相關工作經驗；
2. 熟悉Linux開發環境和shell腳本；
3. 熟悉Hadoop及其相關組件部署維護，有實際大數據集羣運維經驗；
4. 熟悉IT系統基礎架構及網絡原理，具備大型集羣運維經驗；
5. 熟悉數據倉庫