崗位職責:
1.負責使用 Python 開發(fā)高效、獲取公開或授權(quán)的網(wǎng)絡數(shù)據(jù);
2.優(yōu)化程序,確保數(shù)據(jù)獲取的穩(wěn)定性和效率;
3.對采集的數(shù)據(jù)進行清洗、去重、結(jié)構(gòu)化存儲(如MySQL、CSV等);
4.構(gòu)建自動化數(shù)據(jù)采集與監(jiān)控系統(tǒng),確保數(shù)據(jù)更新的及時性;
5.配合數(shù)據(jù)分析師或業(yè)務團隊,提供高質(zhì)量的數(shù)據(jù)支持;
6.編寫技術(shù)文檔,維護采集代碼,優(yōu)化數(shù)據(jù)采集流程。
任職要求:
1.具有2年以上數(shù)據(jù)開發(fā)經(jīng)驗,計算機相關(guān)專業(yè)??萍耙陨?;
2.熟練掌握 Python,熟悉 Requests、Scrapy、BeautifulSoup、Selenium 等;
3.能熟練使用 Vue2或Vue3 HTML/CSS/JavaScript,能解析動態(tài)網(wǎng)頁(如Ajax、SPA等);
4.掌握 XPath、正則表達式(Regex) 等數(shù)據(jù)提取技術(shù);
5.熟悉數(shù)據(jù)庫(MySQL、SQL等),能設計合理的數(shù)據(jù)存儲方案;
6.了解 HTTP/HTTPS 協(xié)議,熟悉 Headers、Cookies、Session 等網(wǎng)絡請求機制