崗位職責:
1、負責使用 Python 開發(fā)高效、獲取公開或授權的網絡數據;
2、優(yōu)化程序,確保數據獲取的穩(wěn)定性和效率;
3、對采集的數據進行清洗、去重、結構化存儲(如MySQL、CSV等);
4、構建自動化數據采集與監(jiān)控系統(tǒng),確保數據更新的及時性;
5、配合數據分析師或業(yè)務團隊,提供高質量的數據支持;
6、維護采集代碼,優(yōu)化數據采集流程;
7、有電商領域數據采集經驗者,熟悉內容電商、社交電商平臺數據特征者優(yōu)先。
任職要求:
1、3年以上數據開發(fā)經驗,計算機相關專業(yè)??萍耙陨?;
2、精通 Python,熟悉 Requests、Scrapy、Selenium、BeautifulSoup 等;
3、精通 XPath、正則表達式(Regex) 等數據提取技術;
4、熟悉數據庫(MySQL、SQL等),能設計合理的數據存儲方案;
5、熟悉 HTML/CSS/JavaScript,能解析動態(tài)網頁(如Ajax、SPA等);
6、了解 HTTP/HTTPS 協(xié)議,熟悉 Headers、Cookies、Session 等網絡請求機制,保障采集穩(wěn)定性。