職位描述
Python爬蟲開發(fā)
崗位職責(zé)：
1. 獨立負責(zé)從指定網(wǎng)站、微信公眾號、小紅書等平臺進行數(shù)據(jù)的高效、穩(wěn)定爬取。
2. 對獲取的原始數(shù)據(jù)進行深度清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量與可用性。
3. 根據(jù)產(chǎn)品需求，設(shè)計并實現(xiàn)數(shù)據(jù)解析與轉(zhuǎn)換邏輯，將處理后的數(shù)據(jù)以標準化的展示格式對接至產(chǎn)品系統(tǒng)。
4. 維護和優(yōu)化現(xiàn)有爬蟲系統(tǒng)，應(yīng)對反爬策略，保障數(shù)據(jù)通道的長期穩(wěn)定與高效。
5. 編寫清晰的技術(shù)文檔，并與產(chǎn)品、研發(fā)團隊緊密協(xié)作，理解需求并交付可靠的數(shù)據(jù)解決方案。
1. 獨立負責(zé)從指定網(wǎng)站、微信公眾號、小紅書等平臺進行數(shù)據(jù)的高效、穩(wěn)定爬取。
2. 對獲取的原始數(shù)據(jù)進行深度清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量與可用性。
3. 根據(jù)產(chǎn)品需求，設(shè)計并實現(xiàn)數(shù)據(jù)解析與轉(zhuǎn)換邏輯，將處理后的數(shù)據(jù)以標準化的展示格式對接至產(chǎn)品系統(tǒng)。
4. 維護和優(yōu)化現(xiàn)有爬蟲系統(tǒng)，應(yīng)對反爬策略，保障數(shù)據(jù)通道的長期穩(wěn)定與高效。
5. 編寫清晰的技術(shù)文檔，并與產(chǎn)品、研發(fā)團隊緊密協(xié)作，理解需求并交付可靠的數(shù)據(jù)解決方案。
任職要求：
1. 本科及以上學(xué)歷，計算機相關(guān)專業(yè)，擁有2-3年以上專職爬蟲開發(fā)經(jīng)驗。
2. 技術(shù)非常熟練，精通Python及相關(guān)生態(tài)（如Scrapy、Requests、Selenium、Playwright等），熟悉常見的數(shù)據(jù)解析技術(shù)。
3. 有豐富的反爬應(yīng)對經(jīng)驗，能熟練處理各類驗證碼、動態(tài)加載、請求加密等技術(shù)挑戰(zhàn)。
4. 具備扎實的數(shù)據(jù)處理能力，熟悉Pandas等工具，能獨立完成從爬取到清洗的全流程工作。
5. 有微信公眾號、小紅書等平臺爬取經(jīng)驗者優(yōu)先考慮。
6. 責(zé)任心強，具備優(yōu)秀的問題解決能力和結(jié)果導(dǎo)向思維，能保證任務(wù)的按時高質(zhì)量交付。
1. 本科及以上學(xué)歷，計算機相關(guān)專業(yè)，擁有2-3年以上專職爬蟲開發(fā)經(jīng)驗。
2. 技術(shù)非常熟練，精通Python及相關(guān)生態(tài)（如Scrapy、Requests、Selenium、Playwright等），熟悉常見的數(shù)據(jù)解析技術(shù)。
3. 有豐富的反爬應(yīng)對經(jīng)驗，能熟練處理各類驗證碼、動態(tài)加載、請求加密等技術(shù)挑戰(zhàn)。
4. 具備扎實的數(shù)據(jù)處理能力，熟悉Pandas等工具，能獨立完成從爬取到清洗的全流程工作。
5. 有微信公眾號、小紅書等平臺爬取經(jīng)驗者優(yōu)先考慮。
6. 責(zé)任心強，具備優(yōu)秀的問題解決能力和結(jié)果導(dǎo)向思維，能保證任務(wù)的按時高質(zhì)量交付。
我們提供：
1. 具有競爭力的薪酬待遇：待遇優(yōu)厚，為您的才華提供相匹配的回報。
2. 完善的福利保障：五險一金、帶薪年假、年度體檢、節(jié)日福利等。
3. 健康的工作節(jié)奏：標準工作時間，早九晚六，雙休，我們關(guān)注成果而非形式。
4. 精英化的工作環(huán)境：與行業(yè)內(nèi)頂尖、專業(yè)的伙伴共事，扁平化管理，溝通高效。
5. 持續(xù)的成長機會：參與創(chuàng)新項目，接觸前沿技術(shù)，獲得快速的個人能力提升。
1. 具有競爭力的薪酬待遇：待遇優(yōu)厚，為您的才華提供相匹配的回報。
2. 完善的福利保障：五險一金、帶薪年假、年度體檢、節(jié)日福利等。
3. 健康的工作節(jié)奏：標準工作時間，早九晚六，雙休，我們關(guān)注成果而非形式。
4. 精英化的工作環(huán)境：與行業(yè)內(nèi)頂尖、專業(yè)的伙伴共事，扁平化管理，溝通高效。
5. 持續(xù)的成長機會：參與創(chuàng)新項目，接觸前沿技術(shù)，獲得快速的個人能力提升。
工作地點
上海浦東新區(qū)科海大樓
相似職位
- 爬蟲工程師1-1.5萬
上海 - 浦東
上海問道云人工智能科技有限公司 - 爬蟲工程師（app逆向）1.8-3萬·13薪
上海
上海思勃商務(wù)咨詢有限公司 - 高級爬蟲工程師1.2-1.6萬
上海 - 浦東
青云伙伴(上海)教育科技有限公司 - python爬蟲工程師2-2.2萬
上海 - 浦東
上海欽誠信息科技有限公司 - 爬蟲工程師2-2.2萬
上海 - 長寧
上海微創(chuàng)軟件股份有限公司 - python爬蟲工程師300-500元/天
上海 - 浦東
青云伙伴(上海)教育科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
豆先生/CEO
當(dāng)前在線立即溝通
青云伙伴(上海)教育科技有限公司專注大學(xué)生學(xué)業(yè)和就業(yè)競爭力提升。產(chǎn)品目前為小程序，APP版也將盡快上線。用戶登錄小程序后選擇自己的專業(yè)，我們將為用戶圍繞本專業(yè)展示該專業(yè)學(xué)生適合的學(xué)業(yè)和職業(yè)規(guī)劃，并分學(xué)期展示不同學(xué)期學(xué)生可以爭取的適合本專業(yè)的科研、實習(xí)、競賽、交換生、寒暑校等多類背景提升機會。我們的目標是讓大學(xué)生不再迷茫，可以及早深入了解感興趣的學(xué)校、專業(yè)和行業(yè)、公司、職位，為自己的學(xué)業(yè)和職業(yè)目標做針對性準備，未來能最大概率實現(xiàn)自己的學(xué)業(yè)和職業(yè)愿景。我們推薦的項目，均可提供基于大數(shù)據(jù)的申請成功率評估、問答和指導(dǎo)，讓同學(xué)們發(fā)展中遇到的問題在我們平臺可以得到最大化、最深入解答。
公司主頁