工作職責(zé)：
1.負責(zé)Web網(wǎng)頁數(shù)據(jù)及接口的抓取工作，包括動態(tài)網(wǎng)頁、API接口以及小程序的數(shù)據(jù)抓取，確保數(shù)據(jù)抓取的準確性和時效性。
2.開發(fā)并維護小程序接口抓取系統(tǒng)，優(yōu)化抓取鏈路，提升數(shù)據(jù)獲取效率和質(zhì)量。
3. 開發(fā)、維護現(xiàn)有爬蟲系統(tǒng)，包括調(diào)度、抓取、維護、驗證等爬蟲工作。
4. 對不同網(wǎng)站的防御機制和反爬蟲策略進行深入研究，提煉關(guān)鍵技術(shù)點。
5. 能夠解決協(xié)議反爬、風(fēng)控、人機識別等高級問題。
6. 負責(zé)爬蟲技術(shù)難點的攻克。
7.撰寫相關(guān)技術(shù)文檔，確保代碼和系統(tǒng)具有良好的可維護性。
任職要求：
1. 對Python和計算機網(wǎng)絡(luò)有深入理解，能夠熟練運用多線程技術(shù)，掌握主流爬中框架，具備小程序抓取相關(guān)經(jīng)驗；
2. 精通JavaScript逆向工程、虛擬機、代碼混淆、抽象語法樹(AST)等技術(shù)，并有實際的JavaScript逆向和分析，能獨立完成小程序包解析、反編譯及接口逆向；
3. 熟悉常見反爬機制，驗證碼識別，IP代理池應(yīng)用lp池、headers認證和cookie等;
4. 能夠分析網(wǎng)絡(luò)鏈路，并處理TLS/HTTP2等協(xié)議流量識別、IP識別問題；
5. 了解基本的機器學(xué)習(xí)算法，可解決一些基礎(chǔ)的圖像驗證碼識別、人機對抗等問題；
6. 熟悉Redis、MySQL、redis、git等常用中間件使用；