1.參與企業(yè)級(jí)大數(shù)據(jù)平臺(tái)的設(shè)計(jì)、開(kāi)發(fā)與持續(xù)迭代,支撐數(shù)據(jù)采集、存儲(chǔ)、計(jì)算與服務(wù)化能力建設(shè);
2.基于 Hadoop/Spark/Flink 等生態(tài)組件,開(kāi)發(fā)和優(yōu)化離線及實(shí)時(shí)數(shù)據(jù)處理任務(wù);
3.參與數(shù)據(jù)平臺(tái)基礎(chǔ)組件(數(shù)據(jù)接入、任務(wù)調(diào)度、元數(shù)據(jù)、數(shù)據(jù)質(zhì)量等)的開(kāi)發(fā)與工程化落地;
4.配合數(shù)據(jù)分析、算法及業(yè)務(wù)團(tuán)隊(duì),提升數(shù)據(jù)鏈路的穩(wěn)定性、性能與可擴(kuò)展性;
5.持續(xù)優(yōu)化數(shù)據(jù)處理效率,推動(dòng)平臺(tái)自動(dòng)化、標(biāo)準(zhǔn)化和規(guī)范化建設(shè);
任職要求
1.本科及以上學(xué)歷,計(jì)算機(jī)、軟件工程、信息技術(shù)等相關(guān)專(zhuān)業(yè);
2.扎實(shí)的Java/Python至少一門(mén)語(yǔ)言基礎(chǔ),具備良好的編碼規(guī)范與工程意識(shí);
3.熟悉Hadoop、Hive、Spark、Flink、Sqoop、Flume等主流大數(shù)據(jù)組件中的一項(xiàng)或多項(xiàng);
4.熟悉Kafka高吞吐消息系統(tǒng),掌握分區(qū)策略、副本機(jī)制及消費(fèi)組管理,熟悉HBase海量數(shù)據(jù)存儲(chǔ)與RowKey優(yōu)化設(shè)計(jì);
5.熟悉Spark MLlib、Flink ML、Alink等大數(shù)據(jù)AI框架,實(shí)現(xiàn)海量數(shù)據(jù)上的模型訓(xùn)練與實(shí)時(shí)預(yù)測(cè);
6.對(duì)數(shù)據(jù)平臺(tái)建設(shè)有清晰認(rèn)知,具備良好的學(xué)習(xí)能力和問(wèn)題拆解能力