崗位內(nèi)容:
1. 協(xié)助爬蟲系統(tǒng)的設(shè)計(jì)和開發(fā)，實(shí)現(xiàn)高效穩(wěn)定的數(shù)據(jù)采集和分析處理。
2. 參與數(shù)據(jù)清洗、去重、格式化等操作，確保數(shù)據(jù)質(zhì)量滿足業(yè)務(wù)需求。
3. 參與爬蟲程序，提高爬取效率和成功率，降低誤差率以及被封禁的風(fēng)險(xiǎn)。
4. 承擔(dān)部分自動(dòng)化測試腳本開發(fā)，保證爬蟲系統(tǒng)的穩(wěn)定性和可靠性。
任職要求:
1. 熟練掌握 Python 語言，了解 HTTP 協(xié)議及常見的反爬蟲算法。
2. 具備良好的算法和數(shù)據(jù)結(jié)構(gòu)基礎(chǔ)，熟悉多線程、異步編程等技術(shù)。
3. 熟悉各類數(shù)據(jù)庫，如 MySQL、Redis、MongoDB 等，并有實(shí)際項(xiàng)目應(yīng)用經(jīng)驗(yàn)。
4. 具備良好的英文閱讀能力，能夠閱讀英文技術(shù)文檔和資料。