崗位職責(zé):
1、負(fù)責(zé)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)平臺(tái)的架構(gòu)設(shè)計(jì)與開(kāi)發(fā),完善和重構(gòu)現(xiàn)有采集系統(tǒng)及服務(wù)(如抓取調(diào)度,多樣化抓取,頁(yè)面解析和結(jié)構(gòu)化抽取
2、研究爬蟲(chóng)策略和防屏蔽規(guī)則,解決封賬號(hào)、封IP、驗(yàn)證碼、頁(yè)面跳轉(zhuǎn)等難點(diǎn),提升網(wǎng)頁(yè)抓取的效率和質(zhì)量
3、負(fù)責(zé)后臺(tái)爬蟲(chóng)數(shù)據(jù)的分布式存儲(chǔ)設(shè)計(jì)以及代碼實(shí)現(xiàn);
崗位要求:
1、 計(jì)算機(jī)科學(xué)相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷;5年以上Python開(kāi)發(fā)經(jīng)驗(yàn),1年以上的爬蟲(chóng)技術(shù)開(kāi)發(fā)經(jīng)驗(yàn)。
2、熟悉使用Python編程語(yǔ)言并熟練掌握MySQL、Redis等數(shù)據(jù)庫(kù)的使用
3、熟悉linux、https協(xié)議、精通python語(yǔ)言,熟悉主流的開(kāi)發(fā)框架
4、熟練使用requests包、xpath、正則
5、能獨(dú)立解決實(shí)際開(kāi)發(fā)過(guò)程碰到的各類(lèi)疑難雜癥
加分項(xiàng):
了解相關(guān) APP 逆向技術(shù)、js 逆向和反編譯等逆向工程能力。
有電力系統(tǒng)相關(guān)工作經(jīng)驗(yàn)優(yōu)先;
有過(guò)電力交易輔助系統(tǒng)相關(guān)項(xiàng)目經(jīng)驗(yàn)優(yōu)先