崗位職責(zé):
1、負(fù)責(zé)分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)設(shè)計(jì),搭建系統(tǒng)框架,開(kāi)發(fā)高可用、高并發(fā)的分布式網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng)。
2、設(shè)計(jì)和優(yōu)化數(shù)據(jù)抓取策略,專(zhuān)注研究與破解各類(lèi)復(fù)雜反爬機(jī)制(包括JS逆向、加密參數(shù)、高級(jí)驗(yàn)證碼、瀏覽器指紋檢測(cè)等),提升數(shù)據(jù)抓取的效率、質(zhì)量與穩(wěn)定性。
3、理解數(shù)據(jù)需求,快速響應(yīng)和解決數(shù)據(jù)采集過(guò)程中的各類(lèi)技術(shù)難題與反爬對(duì)抗問(wèn)題。
4、建立和維護(hù)數(shù)據(jù)抓取任務(wù)的監(jiān)控與質(zhì)量保障體系,確保數(shù)據(jù)抓取任務(wù)的穩(wěn)定運(yùn)行和數(shù)據(jù)的及時(shí)交付。
任職要求:
1、計(jì)算機(jī)相關(guān)專(zhuān)業(yè)本科及以上學(xué)歷,有3年以上爬蟲(chóng)開(kāi)發(fā)經(jīng)驗(yàn),具備復(fù)雜反爬破解實(shí)戰(zhàn)經(jīng)驗(yàn)。
2、精通Python語(yǔ)言,至少熟練掌握Scrapy等主流爬蟲(chóng)框架中的一種,并能進(jìn)行定制化開(kāi)發(fā)。
3、熟悉常見(jiàn)反爬機(jī)制,具備強(qiáng)大的JS逆向能力,能破解加密參數(shù)、動(dòng)態(tài)混淆JS;精通各類(lèi)驗(yàn)證碼識(shí)別技術(shù),并有成功破解高級(jí)驗(yàn)證碼(如滑塊、點(diǎn)選)的項(xiàng)目經(jīng)驗(yàn)。
4、有處理大規(guī)模數(shù)據(jù)的經(jīng)驗(yàn),對(duì)分布式爬蟲(chóng)系統(tǒng)有實(shí)際的架構(gòu)和開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先。
5、良好的問(wèn)題解決能力,善于溝通和團(tuán)隊(duì)合作,對(duì)爬蟲(chóng)與反爬蟲(chóng)新技術(shù)有強(qiáng)烈好奇心和學(xué)習(xí)能力。