1.教育背景:本科及以上學(xué)歷,專業(yè)領(lǐng)域包括軟件工程、自動化、計(jì)算機(jī)科學(xué)、數(shù)據(jù)分析等與數(shù)字化相關(guān)的專業(yè)。
2.工作經(jīng)驗(yàn):至少5年以上在大數(shù)據(jù)、數(shù)據(jù)中臺相關(guān)領(lǐng)域的工作經(jīng)驗(yàn),具有能源行業(yè)、用友大數(shù)據(jù)平臺相關(guān)經(jīng)驗(yàn)者優(yōu)先。
3.技能要求:
(1)熟練使用大數(shù)據(jù)生態(tài)組件(HDFS/YARN/MapReduce等),具備Spark/Flink等實(shí)時計(jì)算開發(fā)經(jīng)驗(yàn);
(2)熟悉至少一種關(guān)系型數(shù)據(jù)庫(MySQL/Oracle)及NoSQL(HBase/Redis)等數(shù)據(jù)庫技術(shù)(MPP架構(gòu)),具備大數(shù)據(jù)平臺/數(shù)據(jù)倉庫/BI的系統(tǒng)落地經(jīng)驗(yàn);
(3)精通數(shù)據(jù)建模及ETL設(shè)計(jì)開發(fā),對數(shù)據(jù)倉庫、數(shù)據(jù)平臺、數(shù)據(jù)分析等有深刻理解,具備豐富的海量數(shù)據(jù)加工處理和優(yōu)化經(jīng)驗(yàn);
1、負(fù)責(zé)大數(shù)據(jù)平臺設(shè)計(jì)、開發(fā)及優(yōu)化,包括但不限于Spark、Flink、Kafka、elasticsearch、flume、zookeeper等組件的搭建與調(diào)優(yōu);
2、負(fù)責(zé)數(shù)據(jù)采集、清洗、存儲(HDFS/GP/MINIO等)、計(jì)算(離線/實(shí)時)及全流程開發(fā);
3、設(shè)計(jì)高性能ETL流程,處理TB/PB級數(shù)據(jù),優(yōu)化數(shù)據(jù)計(jì)算效率與資源利用率;
4、負(fù)責(zé)數(shù)據(jù)平臺的技術(shù)路線規(guī)劃、設(shè)計(jì)和實(shí)施,確保平臺能有效支持業(yè)務(wù)需求;
5、基于數(shù)據(jù)平臺對平臺架構(gòu)、核心組件進(jìn)行運(yùn)行監(jiān)控、優(yōu)化指導(dǎo)、性能瓶頸等復(fù)雜技術(shù)問題提供解決方案及技術(shù)落地;
6、參與公司核心業(yè)務(wù)系統(tǒng)的Java后端開發(fā),使用常見框架構(gòu)建高并發(fā)、分布式服務(wù)。
(4)具備多種大數(shù)據(jù)治理專業(yè)領(lǐng)域的知識和項(xiàng)目實(shí)戰(zhàn)經(jīng)驗(yàn),包括元數(shù)據(jù)管理、數(shù)據(jù)目錄管理、數(shù)據(jù)標(biāo)準(zhǔn)管理、數(shù)據(jù)質(zhì)量管理、數(shù)據(jù)安全管理等;
(5)熟練使用Java和Python/SQL語言中一種或者多種,扎實(shí)的Java基礎(chǔ),深入理解JVM原理、多線程并發(fā)、內(nèi)存管理等。
4.個人素質(zhì):
①強(qiáng)烈的責(zé)任心和主動性;
②出色的溝通能力和團(tuán)隊(duì)合作精神;
③能夠理解和分析復(fù)雜的業(yè)務(wù)問題,并提出解決方案。