崗位內(nèi)容:
1. 負(fù)責(zé)構(gòu)建和維護(hù)企業(yè)級數(shù)據(jù)基礎(chǔ)設(shè)施,支持?jǐn)?shù)據(jù)采集、處理、存儲及分析全流程,確保數(shù)據(jù)高效、安全地服務(wù)于業(yè)務(wù)決策。
2.數(shù)據(jù)管道開發(fā):設(shè)計并實現(xiàn)ETL/ELT流程,優(yōu)化數(shù)據(jù)抽取、清洗、轉(zhuǎn)換效率。
3.數(shù)據(jù)架構(gòu)設(shè)計:搭建數(shù)據(jù)倉庫及實時處理系統(tǒng),支持多維分析需求。
4.性能優(yōu)化:解決大數(shù)據(jù)場景下的性能瓶頸,提升查詢與計算速度。
5.數(shù)據(jù)治理:制定數(shù)據(jù)標(biāo)準(zhǔn),確保合規(guī)性、安全性與元數(shù)據(jù)管理。
6.協(xié)助其他團(tuán)隊成員處理數(shù)據(jù)相關(guān)問題并解決疑難雜癥。
任職要求:
1.精通SQL/Python/Scala,熟悉Hadoop/Spark/Flink等分布式計算框架。
2.掌握AWS/Azure/GCP云服務(wù)(如S3、Redshift、Databricks)。
3.有Kafka、Airflow等流處理與調(diào)度工具經(jīng)驗者優(yōu)先。
4.3年以上數(shù)據(jù)工程經(jīng)驗優(yōu)先,主導(dǎo)過至少2個完整的數(shù)據(jù)平臺項目。
5.熟悉數(shù)據(jù)建模及系統(tǒng)設(shè)計。
6.具備強(qiáng)邏輯思維與問題解決能力,能獨立應(yīng)對復(fù)雜技術(shù)挑戰(zhàn),良好的溝通能力,對數(shù)據(jù)隱私與安全法規(guī)有實際應(yīng)用經(jīng)驗。
7.具備較強(qiáng)的學(xué)習(xí)能力和自我管理能力,能夠快速適應(yīng)不同的數(shù)據(jù)技術(shù)和環(huán)境。