- 高級數據工程師的職責 推薦度:
- 相關推薦
高級數據工程師的職責
高級數據工程師的職責1
職責:
1、負責ETL開發、作業調度和數據平臺建設
2、負責數據倉庫的設計、開發和優化,建立結構層次合理、靈活可擴展的`數據倉庫
3、設計并研發BI分析相關的數據產品
4、結合對數據的理解和業務需求,對數據進行整理、分析和挖掘
任職要求
1、計算機相關專業本科及以上學歷,有2年以上數據倉庫、ETL工作經驗
2、有海量數據處理、ETL及作業調度優化、數據倉庫建模等經驗
3、熟悉Linux、SQL、Python或Java、Shell腳本,有Hadoop/Hive/Spark/HBase/Kylin/Impala等大數據技術使用經驗
4、邏輯清晰,對數據敏感,深入了解業務,具備自己獨特的想法并能提出合理的建議
高級數據工程師的職責2
職責:
1、維護數據庫穩定運行,持續發現和解決潛在的問題;
2、負責數據庫的性能優化,使用新技術和新架構滿足日益增長的業務需求;
3、負責數據庫的.監控系統設計,為開發團隊提供平臺支持;
4、負責數據庫的運維方面的相關工作,包括數據庫的安裝部署、壓力測試、備份恢復、知識庫管理等
5、負責數據庫進行容量規劃、架構設計,提高業務高可用性和容災能力;
6、負責數據庫相關工作的整體規劃,提供決策建議。
任職要求:
1、計算機相關專業本科及以上,具有3年以上DB2數據庫DBA經驗;
2、精通DB2數據庫體系結構和工作原理,有高可用架構規劃設計經驗優先;
3、熟悉MySQL數據庫體系結構和工作原理,有高可用架構規劃設計經驗優先;
4、熟悉TSM的運維管理,并熟悉基于TSM的數據備份和恢復;
5、熟悉V5000、V7000等存儲的運維管理;
6、熟悉數據庫的性能優化、SQL調優技術,對高并發數據庫的鎖和事務隔離問題有深入理解;
7、熟悉數據庫容量規劃和分表設計方法,有海量數據庫設計和支持經驗優先;
8、熟悉常用的數據庫備份方法;
9、精通腳本語言,并至少能用Shell,Perl,Python等中的一種進行快速開發。
高級數據工程師的職責3
1、負責處理產線工程、工藝問題;
2、跟進新產品開發模具及新物料進度,以確保樣品及時交付;
3、負責產品轉量產工藝制定,參與解決生產過程中的技術及工藝問題。
4、負責產品開發的'模具設計,材料選擇、工藝制定;
高級數據工程師的職責4
崗位職責:
1、參與公司數據開發平臺、bi產品等大數據產品的設計和開發;
2、負責數據開發平臺、bi產品等大數據產品的部署和維護,保證其穩定和可靠;
3、關注和參與大數據方向開源產品的技術動態與演進,推動產品與技術架構持續更新;
任職要求:
1、計算機相關專業,本科及以上學歷,5年以上軟件開發經驗,3年以上互聯網產品或分布式系統開發設計經驗;
2、精通java,python,scala等一種或幾種編程語言,并熟悉linux操作系統及bash shell編程;
3、有hadoop/spark/hive/presto/hbase/elasticsearch/kafka等使用經驗,并熟悉上述常用的分布式系統架構設計和原理;
4、熟悉微服務框架及相關技術,如dubbo,springcloud等;
5、熟悉mysql、redis,并了解或接觸過其他數據庫如oracle,sqlserver,postgresql,mongodb等;
6、了解容器技術,如docker,kubernetes;
7、具有一定的`軟件設計能力,熱愛大數據和技術,相信技術改變世界,學習能力強,認同數據價值,有面向業務的思維,較強的自主學習能力和英文技術文檔閱讀能力;
8、良好的溝通能力、團隊精神及服務意識,勇于接受挑戰,能承受較大的工作壓力;
9、有生產環境快速trouble—shooting的經驗和能力者優先;
10、有olap,多維度數據分析經驗優先,有對數據倉庫有較強的理論基礎和理解者優先;
高級數據工程師的職責5
1.高質量地完成集團內外各類數據生產集成、數據分析應用建設工作,涉及投研、市場、ERP、全球金融資訊等四個業務領域方向;
2.需求及源系統數據分析,完成數據倉庫/EDM等系統數據模型及應用模型設計、數據Mapping規則文檔撰寫、開發、自測及上線部署;
3.數據質量稽核、問題分析及處理,優化數據處理程序;
4.洞察數據、滿足業務場景需求。
高級數據工程師的職責6
1、負責每日的數據倉庫運維工作,保障數據的穩定性、一致性等;
2、參與數據倉庫的優化設計,如元數據、數據權限、調度優化;
3、負責數據質量和數據標準化的.設計與開發;
4、負責滿足業務部門的日常業務提數與報表需求的開發。
高級數據工程師的職責7
在行業擔任數據工程師或后端工程師超過4年
您將了解數據倉庫的概念(建模,調整,維護)
您非常精通SQL,并渴望指導和教其他SQL
您精通Python或任何其他腳本語言和軟件開發
您在分布式數據處理/傳統RDBMS / MPP / NoSQL系統和數據建模方面有很強的低估/經驗
您在Spark / Kafka / HBase / Redis / Kettle方面擁有豐富的經驗
您受到探索數據的好奇心和動力的驅動
您具有處理數據管道的`DevOps問題的經驗
對數據驅動業務,關鍵思想家,問題解決者和自我啟動者的熱情
獲得認可大學的相關學科的學士學位
高級數據工程師的職責8
職責:
負責數據倉庫邏輯模型和物理模型設計,對上游數據進行清洗、清理、加工、轉換、加載至目標數據庫。
負責數據ETL開發、數據平臺建設,解決各種數據庫問題。例如:調優、異常處理等。
對接相關業務團隊進行數據梳理,清洗并協助分析完成業務數據化管理的目標。
對業務團隊進行數據能力輸出,并且負責與業務平臺進行數據對接。
崗位要求:
計算機、軟件相關專業,本科及以上學歷.
3年以上主流數據上(DB2、Oracle、SQLServer、Mysql等)ETL設計、開發經驗,具備大型數據倉庫邏輯模型和物理模型設計經驗,精通SQL,有較好的.SQL性能調優經驗。
熟悉Unix/Linux常規命令與工具,至少熟練使用Shell、Python、Perl等腳本語言之一。
有分布式數據倉庫建設相關經驗者優先,具備金融行業數據倉庫建設相關經驗者優先。
高級數據工程師的職責9
識別,分析和解決計劃支持問題。
與BU利益相關者合作,確定并優先考慮數據和統計要求,包括要收集的特定數據元素。
協助開發和實施數據庫,數據收集系統/工具,數據分析以及其他優化統計效率和質量的策略(包括確定流程改進以更好地滿足業務需求)。
分析大量數據集,提出有見地的業務建議。
通過查看報告和績效指標來確定和糾正數據收集問題,從而確保數據的準確性和完整性。
識別,分析,解釋和建模數據湖中數據的趨勢或模式。
為各種受眾設計和生成準確有效的統計數據可視化產品和報告。
通過促進技術和非技術利益相關者之間的溝通,確保技術團隊了解計劃和業務工作的短期和長期目標
準時交付優質,易懂,明確的產品。
學習網參與構建機器學習策略平臺。
對數據驅動業務,關鍵思想家,問題解決者和自我啟動者的`熱情
促進技術和非技術利益相關者之間交流的能力
出色的書面和口頭交流能力。
高級數據工程師的職責10
職責:
1、編寫服務器端總體設計文檔,實現關鍵框架代碼
2、負責服務器端架構設計與通訊協議擬定、模塊劃分、團隊合作和人員分工
3、服務器端核心模塊與邏輯代碼實現
4、服務器端負載優化,網絡安全方案設計
5、分析策劃案的技術可行性,根據策劃文檔,獨立設計開發相應的'游戲模塊
6、對游戲設定功能進行服務器端系統設計、編碼、測試以及開發文檔編寫
7、使用c++開發維護服務器底層,開發游戲邏輯,開發周邊支持工具等
8、審核其他程序員的代碼,幫助程序員提高編碼能力,具有在需求明確情況下合理估算開發時間并嚴格按照文檔要求完成開發功能的能力
崗位要求:
1、5年以上網絡游戲服務器開發經驗
2、精通C++/C任一種以上程序設計,能編寫高質量代碼,具備良好的開發文檔書寫習慣
3、熟悉Linux系統機制、操作和開發,如:多線程、多進程、同步、IPC、網絡編程(Socket)等
4、熟悉大容量數據庫程序開發,熟悉mysql/mongodb/oracle/redis任一種以上的數據庫
5、熱愛游戲開發
高級數據工程師的職責11
職責:
1、負責數據庫的技術開發工作,包括數據庫相關方案,編寫數據庫相關手冊;
2、參與數據庫開發及數據庫優化方面的工作;
3、負責數據庫系統的危機事件處理和應急處理;
4、定期完成量化的工作,能獨立處理和解決所負責的`任務。
任職要求:
1、5年以上數據庫相關工作經驗,計算機相關專業,本科以上學歷;
2、熟悉Orancle數據庫系統,精通SQLserver或MYSql數據庫,有數據庫編程經驗;
3、精通基于Linux及Windows平臺數據庫的配置優化和安全運維;
4、為人誠信,工作主動,能承受較大的工作壓力,良好的溝通能力和團隊合作精神。
高級數據工程師的職責12
職責:
1.搭建業務數據模型:深入理解業務流程,搭建大數據分析平臺,對業務進行分析、挖掘、建模,參與模型的維護、部署、評估工作,并形成相應的模型標準化報告;建立相關用戶行為模型,用戶分層模型;
2.分析用戶數據:通過深度挖掘用戶的個人數據,行為數據,研究公司相關業務數據,整理和發掘數據價值,實現精準投放,生成數據產品并推動落地;
3.分析客戶的'基本屬性及行為數據,進行精細化客戶分群、客戶畫像,撰寫深入的客戶分析報告,建立與產品、客群、業務環節相適應的細分模型;
4.熟悉電信業務優先。
任職要求:
1.本科及以上學歷,統計學、數學、計算機及相關專業,3年及以上工作經歷,有大數據平臺、電信行業背景優先;
2.至少掌握一種數據分析語言(Java/R/Python/Matlab)進行數據分析工作,
3.熟悉各種數據分析算法,具有相應的數理統計、熟悉建模和數據分析相關知識,熟悉SVM數學推導,能獨立實現SVM算法。
4.能夠適應高強度、快節奏的工作氛圍,快速熟悉行業特性及業務知識。
5.熟練使用包括但不限于下列技術Hadoop、Storm、Spark、Hive、Oracle、MySQL、或者Teradata等
6.良好的邏輯思維能力,能夠從海量數據中發現有價值的規律。
7.具有良好的溝通能力和團隊合作精神。
高級數據工程師的職責13
職責:
1、負責應用平臺維護,保證其有效運行;
2、負責業務數據的挖掘、整合以及分析模型的建立、優化和評估;為業務人員日常工作提供可靠而明確的數據支撐;
3、負責報表相關功能的設計、開發工作,并負責報表優化、維護、數據采集;
4、負責系統相關文檔的制定和編寫。
5、有實際的`MY SQL或Oracle等數據庫開發相關工作經歷,具有高級工程師技術能力;
6、有良好的溝通協調能力,能與客戶及項目組同事有效的溝通;
7、能夠獨立分析客戶需求,并能針對客戶需求編寫需求分析、設計等技術方案;
8、熱愛軟件事業,具有較強的責任感,有快速掌握新技術和獨立解決技術問題的能力;
技能要求
1.計算機相關專業,大專及以上學歷,1年以上ORACLE數據庫開發經驗;
2.精通PLSQL編程,能夠熟練編寫ORACLE存儲過程、觸發器等;
3.思路清晰,邏輯明確,有較強分析與解決問題能力;
4.良好的溝通交流能力,對工作熱情、認真、負責,心態積極而平穩,能與團隊成員進行良好的合作;
5.電信行業工作經驗及經營分析系統/數據挖掘、或業務支撐系統(crm、boss)項目建設經驗者優先。
高級數據工程師的職責14
職責:
1.負責數據庫技術開發工作,包括數據庫相關方案,編寫數據庫相關手冊;
2.參與數據庫開發及數據庫性能優化工作;
3.負責數據庫系統危機事件處理及應急處置;
4.定期完成量化的工作,能獨立處理和解決所負責的任務;
任職要求:
1.5年以上數據庫相關工作經驗,計算機相關專業,本科以上學歷;
2.熟悉Orancle數據庫系統,精通SQLserver或MYSql數據庫,有數據庫編程經驗;
3.精通基于Linux和Windows平臺數據庫的配置優化和安全運維;
4.為人誠信,工作主動,能承受較大的.工作壓力,具有良好的溝通能力和團隊合作精神。
高級數據工程師的職責15
職責:
1、負責產品數據庫研發,參與系統整體架構設計;
2、根據產品目標負責相關業務的數據分析、建模、設計評審,跟進產品過程中數據庫設計;
3、負責產品模塊的數據層分析、設計、編碼、測試;
4、能夠獨立完成產品數據層開發任務,負責各類數據接口開發;
5、負責各類型數據操作處理和兼容問題;數據庫復雜SQL開發和調優。
任職要求:
1、計算機相關專業本科及以上學歷;
2、5年以上JAVA開發經驗,有Spring Boot框架開發經驗,計算機碩士以上學歷可酌情考慮;
3、系統掌握數據庫原理和知識,精通SQL語法規則和特點,有3年以上SQL編寫經驗。熟悉主流數據庫技術,良好的數據庫基礎知識,具備良好的SQL編寫與優化能力,熟練掌握Oracle、SQLServer、MySQL、PostgreSQL等數據庫語言,能熟練應用分析函數、存儲過程;
4、熟練掌握數據庫腳本的性能調優方法,有大量數據處理或開發經驗者優先;
5、熟悉數據庫建模,熟練運用建模工具進行產品的分析和設計;
6、有較強的`交流能力,能很好的理解項目需求;
7、具備良好的自學能力和獨立解決問題的能力;
8、溝通能力良好,具備團隊合作精神,能適應一定壓力開展工作。
【高級數據工程師的職責】相關文章:
高級數據工程師的職責集錦(15篇)07-09
高級軟件測試工程師的職責06-09
高級硬件測試工程師的職責06-10
數據庫工程師的基本職責03-10
高級測試工程師的基本職責07-07
Java高級開發工程師的基本職責03-15
中高級測試工程師的職責03-18
數據庫工程師的基本職責(優選)03-11
中高級測試工程師的職責(必備)03-18