一、 數(shù)據(jù)平臺(tái)與架構(gòu)開發(fā)
- 負(fù)責(zé)生態(tài)大數(shù)據(jù)平臺(tái)的架構(gòu)設(shè)計(jì)、核心模塊開發(fā)與持續(xù)優(yōu)化,確保系統(tǒng)的高可用性、高擴(kuò)展性和安全性。
- 參與制定和優(yōu)化大數(shù)據(jù)采集、存儲(chǔ)、處理的技術(shù)標(biāo)準(zhǔn)與規(guī)范。
- 編寫和維護(hù)核心的架構(gòu)設(shè)計(jì)文檔、系統(tǒng)部署文檔及API接口文檔。
二、 數(shù)據(jù)治理與質(zhì)量管理
- 設(shè)計(jì)與實(shí)施數(shù)據(jù)清洗、整合、轉(zhuǎn)換(ETL/ELT)的工作流與規(guī)則,確保數(shù)據(jù)質(zhì)量。
- 負(fù)責(zé)開發(fā)和維護(hù)數(shù)據(jù)脫敏、數(shù)據(jù)加密等安全組件,確保敏感數(shù)據(jù)在開發(fā)、測(cè)試及分析環(huán)節(jié)中的安全合規(guī)使用。
- 構(gòu)建和管理行業(yè)數(shù)據(jù)資源庫(kù),對(duì)多源異構(gòu)的生態(tài)數(shù)據(jù)進(jìn)行分類、歸檔和價(jià)值挖掘。
三、 AI模型數(shù)據(jù)支持
- 運(yùn)用AI算法為模型訓(xùn)練、調(diào)優(yōu)和評(píng)估提供高質(zhì)量、標(biāo)準(zhǔn)化的數(shù)據(jù)支持。
- 根據(jù)AI模型迭代計(jì)劃,準(zhǔn)備相應(yīng)的訓(xùn)練數(shù)據(jù)集與測(cè)試數(shù)據(jù)集。
- 理解模型參數(shù)配置與優(yōu)化方案對(duì)數(shù)據(jù)需求的依賴,提供數(shù)據(jù)層面的解決方案。
四、 核心軟件開發(fā)與測(cè)試
- 參與大數(shù)據(jù)相關(guān)產(chǎn)品的后端服務(wù)、數(shù)據(jù)接口等核心功能的代碼編寫工作。
- 負(fù)責(zé)編寫功能測(cè)試方案,并對(duì)開發(fā)的數(shù)據(jù)服務(wù)與應(yīng)用進(jìn)行單元測(cè)試、集成測(cè)試,保證代碼質(zhì)量和系統(tǒng)穩(wěn)定性。
- 妥善管理和維護(hù)所有軟件開發(fā)環(huán)節(jié)產(chǎn)生的源代碼及相關(guān)技術(shù)文檔。