崗位內(nèi)容:
1. 設(shè)計(jì)和實(shí)現(xiàn)高效穩(wěn)定的爬蟲(chóng)程序，收集海量數(shù)據(jù)并進(jìn)行處理和分析。
2. 優(yōu)化爬蟲(chóng)程序，提升抓取效率和準(zhǔn)確性，降低被目標(biāo)網(wǎng)站識(shí)別的風(fēng)險(xiǎn)。
3. 熟悉反爬蟲(chóng)策略和應(yīng)對(duì)方法，保證爬蟲(chóng)程序持續(xù)穩(wěn)定運(yùn)行。
4. 配合團(tuán)隊(duì)完成數(shù)據(jù)采集與處理相關(guān)的技術(shù)難點(diǎn)解決。
任職要求:
1. 擁有扎實(shí)的編程能力，熟悉 Python 或其他主流編程語(yǔ)言。
2. 熟悉網(wǎng)絡(luò)基礎(chǔ)知識(shí)和常用協(xié)議，了解 HTTP、HTTPS、FTP 等協(xié)議原理及使用方法。
3. 精通 Web 相關(guān)技術(shù)，要精通自動(dòng)化流程，例如selenium、drissionpage、playwright。