崗位職責:
1、負責日常采集需求,設計和開發(fā)分布式網(wǎng)絡爬蟲。
2、負責手機端App采集、各類web端網(wǎng)頁內(nèi)容采集等。
3、解決日常封賬號、IP、過驗證碼等風控問題。
4、負責原型架構(gòu)的測試與驗證
任職要求:
1、2年及以上爬蟲相關開發(fā)經(jīng)驗,具備web網(wǎng)頁端、App端采集經(jīng)驗。
2、熟練掌握Python編程語言及常用采集工具框架,如playwright,selenium、Scrapy、BeautifulSou等。
3、熟練掌握PC/Android自動化采集技術,如uiautomator,frida注入等技術。
4、熟悉風控逆向相關技術,國內(nèi)外驗證碼破解等;熟悉TLS 指紋、逆向、混淆、JS補環(huán)境等技術,以及各類加密算法,譬如(AES、RSA、Base64,Md5、SHA 系列等)。
5、具有良好的溝通能力、學習能力、分析解決問題能力,有較強的責任心、自驅(qū)力和成長型思維;
6、有長期規(guī)?;杉到y(tǒng)建設經(jīng)驗優(yōu)先;有computer use/phone use等agent相關數(shù)據(jù)采集經(jīng)驗優(yōu)先。