職位描述
計算機(jī)軟件
核心職責(zé)：
- 負(fù)責(zé)設(shè)計和開發(fā)高效、穩(wěn)定的分布式爬蟲系統(tǒng)，攻克各種反爬機(jī)制（如驗證碼識別、JS逆向等）。
- 使用 Scrapy 等框架進(jìn)行爬蟲開發(fā)，并編寫中間件（Middlewares）、管道（Pipelines）進(jìn)行數(shù)據(jù)處理和存儲。
- 對抓取的數(shù)據(jù)進(jìn)行清洗、去重、整理與分析，并輸出結(jié)構(gòu)化數(shù)據(jù)（如Excel、數(shù)據(jù)庫）。
- 開發(fā)和維護(hù)數(shù)據(jù)可視化平臺或后臺管理系統(tǒng)，展示數(shù)據(jù)成果。
- 負(fù)責(zé)爬蟲項目的部署、監(jiān)控與調(diào)度（如Docker, Gerapy, Supervisor），確保任務(wù)穩(wěn)定運行。
- 大專及以上學(xué)歷，計算機(jī)相關(guān)專業(yè)，2年以上Python開發(fā)經(jīng)驗，有豐富的爬蟲項目經(jīng)驗。
- 精通 Scrapy 框架，熟悉常見的反爬應(yīng)對策略和工具（如Selenium, Appium, mitmproxy, Frida等）。
- 熟練使用 MySQL、MongoDB、Redis 進(jìn)行數(shù)據(jù)存儲和緩存，熟悉 Pandas 進(jìn)行數(shù)據(jù)處理。
- 熟悉 Linux 操作系統(tǒng)，有 Docker 容器化部署經(jīng)驗者優(yōu)先。
- 具備良好的邏輯分析能力和解決問題的能力，能夠獨立完成數(shù)據(jù)抓取任務(wù)。
工作地點
北京海淀區(qū)中鋁大廈
相似職位
- Python開發(fā)工程師1.5-2.5萬
北京 - 朝陽
北京易特思維信息技術(shù)有限公司 - 軟件工程師8000-10000元
北京 - 大興
北京綠礦聯(lián)合工程技術(shù)研究院(有限合伙) - 高級Python開發(fā)工程師1.6-1.9萬
北京 - 豐臺
平泉智誠科技有限公司 - python后端開發(fā)工程師6000-8000元
北京 - 海淀
北京清潤恒捷汽車技術(shù)有限公司 - python軟件工程師1.6-2萬
北京 - 朝陽
北京正時聯(lián)創(chuàng)科技有限公司 - python后端開發(fā)工程師（AI方向）2.5-3萬
北京 - 豐臺
上海寬文是風(fēng)軟件有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
劉先生/人事
剛剛活躍立即溝通
北京企慕科技有限公司北京企慕科技有限公司（下稱“企慕科技”）是一家致力于物聯(lián)網(wǎng)、IT咨詢、實施與運維服務(wù)的高新技術(shù)企業(yè)。自創(chuàng)立起來，企慕科技致力于為客戶提供高效、優(yōu)質(zhì)、專業(yè)的服務(wù)。企慕科技目前已成為國家電網(wǎng)、國電集團(tuán)、首都機(jī)場、鐵總、樂視、聯(lián)想、四川長虹、泰豪科技等公司認(rèn)證的IT服務(wù)供應(yīng)商。目前公司已與國家電網(wǎng)下屬資深咨詢研究與開發(fā)機(jī)構(gòu)建立了長期緊密合作關(guān)系，為直屬金融單位信息化項目輸送大量支撐人才。公司發(fā)展高速穩(wěn)定，誠邀各位英才加入我司，共創(chuàng)美好前程，我們將為您提供足夠的舞臺供你施展才華。
公司主頁