職位描述
1.負(fù)責(zé)多種模態(tài)數(shù)據(jù)(文本/圖像/視頻等)采集方案設(shè)計(jì)與實(shí)施,參與大模型數(shù)據(jù)平臺的系統(tǒng)架構(gòu)設(shè)計(jì)和研發(fā),抽象并開發(fā)高效、可靠的數(shù)據(jù)加工框架,提升處理數(shù)據(jù)的工程效率;
2.負(fù)責(zé)大模型數(shù)據(jù)倉庫體系建設(shè),參與文本、語音、圖像、視頻等多模態(tài)數(shù)據(jù)建模、管理、應(yīng)用產(chǎn)品的研發(fā)工作;
3.通過爬蟲技術(shù)獲取各類數(shù)據(jù),開發(fā)分布式采集系統(tǒng),優(yōu)化效率與質(zhì)量。
職位要求
1.本科及以上學(xué)歷,掌握C++、JAVA、Python或Scala語言之一,掌握hadoop、hive、hbase、Storm、spark、flink一種或者幾種平臺或組件的開發(fā)經(jīng)驗(yàn)及調(diào)優(yōu)方法;
2.熟悉大模型數(shù)據(jù)規(guī)范,掌握爬蟲所需要的各類型技術(shù),有千萬級數(shù)據(jù)系統(tǒng)建設(shè)經(jīng)驗(yàn);
3.有大模型數(shù)據(jù)平臺研發(fā)經(jīng)驗(yàn)者優(yōu)先,對大模型技術(shù)、數(shù)據(jù)中臺有深入了解加分;
4.良好的溝通協(xié)作能力,能和團(tuán)隊(duì)成員高效協(xié)同,推進(jìn)技術(shù)進(jìn)步。