崗位內(nèi)容:
1. 負(fù)責(zé)構(gòu)建和維護(hù)企業(yè)級(jí)數(shù)據(jù)基礎(chǔ)設(shè)施,支持?jǐn)?shù)據(jù)采集、處理、存儲(chǔ)及分析全流程,確保數(shù)據(jù)高效、安全地服務(wù)于業(yè)務(wù)決策。
2.數(shù)據(jù)管道開(kāi)發(fā):設(shè)計(jì)并實(shí)現(xiàn)ETL/ELT流程,優(yōu)化數(shù)據(jù)抽取、清洗、轉(zhuǎn)換效率。
3.數(shù)據(jù)架構(gòu)設(shè)計(jì):搭建數(shù)據(jù)倉(cāng)庫(kù)及實(shí)時(shí)處理系統(tǒng),支持多維分析需求。
4.性能優(yōu)化:解決大數(shù)據(jù)場(chǎng)景下的性能瓶頸,提升查詢(xún)與計(jì)算速度。
5.數(shù)據(jù)治理:制定數(shù)據(jù)標(biāo)準(zhǔn),確保合規(guī)性、安全性與元數(shù)據(jù)管理。
6.協(xié)助其他團(tuán)隊(duì)成員處理數(shù)據(jù)相關(guān)問(wèn)題并解決疑難雜癥。
任職要求:
1.精通SQL/Python/Scala,熟悉Hadoop/Spark/Flink等分布式計(jì)算框架。
2.掌握AWS/Azure/GCP云服務(wù)(如S3、Redshift、Databricks)。
3.有Kafka、Airflow等流處理與調(diào)度工具經(jīng)驗(yàn)者優(yōu)先。
4.3年以上數(shù)據(jù)工程經(jīng)驗(yàn)優(yōu)先,主導(dǎo)過(guò)至少2個(gè)完整的數(shù)據(jù)平臺(tái)項(xiàng)目。
5.熟悉數(shù)據(jù)建模及系統(tǒng)設(shè)計(jì)。
6.具備強(qiáng)邏輯思維與問(wèn)題解決能力,能獨(dú)立應(yīng)對(duì)復(fù)雜技術(shù)挑戰(zhàn),良好的溝通能力,對(duì)數(shù)據(jù)隱私與安全法規(guī)有實(shí)際應(yīng)用經(jīng)驗(yàn)。
7.具備較強(qiáng)的學(xué)習(xí)能力和自我管理能力,能夠快速適應(yīng)不同的數(shù)據(jù)技術(shù)和環(huán)境。