崗位職責(zé)
1、負(fù)責(zé)分布式爬蟲系統(tǒng)架構(gòu)的設(shè)計(jì)和開發(fā)；
2、負(fù)責(zé)對(duì)采集數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理；
3、負(fù)責(zé)對(duì)反爬機(jī)制的研究分析，提升采集數(shù)據(jù)的成功率；
4、負(fù)責(zé)對(duì)系統(tǒng)的性能監(jiān)控和調(diào)優(yōu)，確保系統(tǒng)的高可用性和穩(wěn)定性；
任職資格
1、本科及以上學(xué)歷，三年以上后端開發(fā)經(jīng)驗(yàn)，能力突出者可放寬要求；
2、精通java和python，掌握異步編程、多線程/多進(jìn)程同步等技術(shù)；
3、熟悉web，app抓取的技術(shù)原理，熟悉常用的爬蟲框架和組件；
4、熟悉反爬技術(shù)，對(duì)設(shè)備指紋、驗(yàn)證碼識(shí)別、js混淆等有一定的了解；
5、熟悉常用的數(shù)據(jù)庫(kù)：Mysql、Redis、ES、Kafka等，有大數(shù)據(jù)開發(fā)經(jīng)驗(yàn)優(yōu)先；
加分項(xiàng)
1、有前端開發(fā)經(jīng)驗(yàn)者優(yōu)先；
2、有通用爬蟲設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先；
3、有手機(jī)群控后端開發(fā)經(jīng)驗(yàn)者優(yōu)先；