職位描述
可轉(zhuǎn)正實(shí)習(xí)證明Python爬蟲(chóng)開(kāi)發(fā)數(shù)據(jù)清洗數(shù)據(jù)采集反爬蟲(chóng)分布式爬蟲(chóng)
崗位職責(zé)
1. 負(fù)責(zé)微信公眾號(hào)、網(wǎng)站等公開(kāi)數(shù)據(jù)源的爬取工作，設(shè)計(jì)高效穩(wěn)定的爬蟲(chóng)策略。
2. 對(duì)爬取的數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量。
3. 協(xié)助搭建和維護(hù)爬蟲(chóng)數(shù)據(jù)架構(gòu)，優(yōu)化數(shù)據(jù)存儲(chǔ)與調(diào)度流程。
4. 監(jiān)控爬蟲(chóng)系統(tǒng)運(yùn)行狀態(tài)，及時(shí)排查和解決異常問(wèn)題。
5. 配合團(tuán)隊(duì)完成數(shù)據(jù)需求分析和技術(shù)方案設(shè)計(jì)。
1. 負(fù)責(zé)微信公眾號(hào)、網(wǎng)站等公開(kāi)數(shù)據(jù)源的爬取工作，設(shè)計(jì)高效穩(wěn)定的爬蟲(chóng)策略。
2. 對(duì)爬取的數(shù)據(jù)進(jìn)行清洗、去重、結(jié)構(gòu)化處理，確保數(shù)據(jù)質(zhì)量。
3. 協(xié)助搭建和維護(hù)爬蟲(chóng)數(shù)據(jù)架構(gòu)，優(yōu)化數(shù)據(jù)存儲(chǔ)與調(diào)度流程。
4. 監(jiān)控爬蟲(chóng)系統(tǒng)運(yùn)行狀態(tài)，及時(shí)排查和解決異常問(wèn)題。
5. 配合團(tuán)隊(duì)完成數(shù)據(jù)需求分析和技術(shù)方案設(shè)計(jì)。
任職要求
1. 教育背景：計(jì)算機(jī)、軟件工程、數(shù)據(jù)科學(xué)等相關(guān)專(zhuān)業(yè)優(yōu)先，大三及以上或研究生在讀，2026屆應(yīng)屆畢業(yè)生優(yōu)先，提供轉(zhuǎn)正機(jī)會(huì)。
2. 技術(shù)能力：
2.1 熟練掌握Python編程，熟悉常用爬蟲(chóng)框架（如Scrapy、Requests、Selenium等）。
2.2 了解反爬機(jī)制（如IP封禁、驗(yàn)證碼、動(dòng)態(tài)加載等），具備一定的繞過(guò)經(jīng)驗(yàn)。
2.3 熟悉數(shù)據(jù)清洗與處理工具（如Pandas、正則表達(dá)式、XPath等）。
2.4 了解數(shù)據(jù)庫(kù)操作（MySQL/MongoDB/Redis等），有數(shù)據(jù)存儲(chǔ)設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。
2.5 了解基本的數(shù)據(jù)架構(gòu)和調(diào)度工具（如Airflow、Kafka等）者加分。
2.6 項(xiàng)目經(jīng)驗(yàn)：有實(shí)際爬蟲(chóng)項(xiàng)目經(jīng)驗(yàn)（如校園項(xiàng)目、競(jìng)賽、開(kāi)源項(xiàng)目等），能展示相關(guān)代碼或成果。
2.1 熟練掌握Python編程，熟悉常用爬蟲(chóng)框架（如Scrapy、Requests、Selenium等）。
2.2 了解反爬機(jī)制（如IP封禁、驗(yàn)證碼、動(dòng)態(tài)加載等），具備一定的繞過(guò)經(jīng)驗(yàn)。
2.3 熟悉數(shù)據(jù)清洗與處理工具（如Pandas、正則表達(dá)式、XPath等）。
2.4 了解數(shù)據(jù)庫(kù)操作（MySQL/MongoDB/Redis等），有數(shù)據(jù)存儲(chǔ)設(shè)計(jì)經(jīng)驗(yàn)者優(yōu)先。
2.5 了解基本的數(shù)據(jù)架構(gòu)和調(diào)度工具（如Airflow、Kafka等）者加分。
2.6 項(xiàng)目經(jīng)驗(yàn)：有實(shí)際爬蟲(chóng)項(xiàng)目經(jīng)驗(yàn)（如校園項(xiàng)目、競(jìng)賽、開(kāi)源項(xiàng)目等），能展示相關(guān)代碼或成果。
3. 其他能力：
3.1. 具備良好的邏輯思維和問(wèn)題解決能力，能獨(dú)立排查技術(shù)問(wèn)題。
3.2. 責(zé)任心強(qiáng)，溝通順暢，具備團(tuán)隊(duì)協(xié)作意識(shí)。
3.3. 對(duì)數(shù)據(jù)敏感，有較強(qiáng)學(xué)習(xí)能力和主動(dòng)性。
3.1. 具備良好的邏輯思維和問(wèn)題解決能力，能獨(dú)立排查技術(shù)問(wèn)題。
3.2. 責(zé)任心強(qiáng)，溝通順暢，具備團(tuán)隊(duì)協(xié)作意識(shí)。
3.3. 對(duì)數(shù)據(jù)敏感，有較強(qiáng)學(xué)習(xí)能力和主動(dòng)性。
4. 加分項(xiàng)
4.1. 有公眾號(hào)爬蟲(chóng)、動(dòng)態(tài)網(wǎng)頁(yè)抓取經(jīng)驗(yàn)。
4.2 熟悉分布式爬蟲(chóng)、增量爬取等技術(shù)。
4.3 了解簡(jiǎn)單數(shù)據(jù)分析或可視化方法。
4.4 有GitHub技術(shù)博客或個(gè)人項(xiàng)目展示。
4.1. 有公眾號(hào)爬蟲(chóng)、動(dòng)態(tài)網(wǎng)頁(yè)抓取經(jīng)驗(yàn)。
4.2 熟悉分布式爬蟲(chóng)、增量爬取等技術(shù)。
4.3 了解簡(jiǎn)單數(shù)據(jù)分析或可視化方法。
4.4 有GitHub技術(shù)博客或個(gè)人項(xiàng)目展示。
福利待遇
1. 實(shí)習(xí)補(bǔ)貼具競(jìng)爭(zhēng)力，具體面議。
2. 配備技術(shù)導(dǎo)師一對(duì)一指導(dǎo)，接觸實(shí)際企業(yè)級(jí)項(xiàng)目。
3. 實(shí)習(xí)期滿(mǎn)提供正式錄用機(jī)會(huì)，薪資待遇從優(yōu)。
4. 彈性工作時(shí)間，開(kāi)放友好的技術(shù)氛圍。
1. 實(shí)習(xí)補(bǔ)貼具競(jìng)爭(zhēng)力，具體面議。
2. 配備技術(shù)導(dǎo)師一對(duì)一指導(dǎo)，接觸實(shí)際企業(yè)級(jí)項(xiàng)目。
3. 實(shí)習(xí)期滿(mǎn)提供正式錄用機(jī)會(huì)，薪資待遇從優(yōu)。
4. 彈性工作時(shí)間，開(kāi)放友好的技術(shù)氛圍。
工作地點(diǎn)
上海浦東新區(qū)科海大樓
相似職位
- 爬蟲(chóng)工程師（app逆向）1.8-3萬(wàn)·13薪
上海
上海思勃商務(wù)咨詢(xún)有限公司 - python爬蟲(chóng)工程師2-2.2萬(wàn)
上海 - 浦東
上海欽誠(chéng)信息科技有限公司 - python爬蟲(chóng)工程師1.1-1.3萬(wàn)
上海 - 徐匯
深圳市法本信息技術(shù)股份有限公司 - python爬蟲(chóng)工程師300-500元/天
上海 - 浦東
青云伙伴(上海)教育科技有限公司 - 爬蟲(chóng)工程師2-2.2萬(wàn)
上海 - 長(zhǎng)寧
上海微創(chuàng)軟件股份有限公司 - 爬蟲(chóng)工程師1-1.5萬(wàn)
上海 - 浦東
上海問(wèn)道云人工智能科技有限公司
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車(chē)招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車(chē)招聘
- 長(zhǎng)城汽車(chē)招聘
- 奇瑞汽車(chē)招聘
- 理想汽車(chē)招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車(chē)招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
豆先生/CEO
當(dāng)前在線(xiàn)立即溝通
青云伙伴(上海)教育科技有限公司專(zhuān)注大學(xué)生學(xué)業(yè)和就業(yè)競(jìng)爭(zhēng)力提升。產(chǎn)品目前為小程序，APP版也將盡快上線(xiàn)。用戶(hù)登錄小程序后選擇自己的專(zhuān)業(yè)，我們將為用戶(hù)圍繞本專(zhuān)業(yè)展示該專(zhuān)業(yè)學(xué)生適合的學(xué)業(yè)和職業(yè)規(guī)劃，并分學(xué)期展示不同學(xué)期學(xué)生可以爭(zhēng)取的適合本專(zhuān)業(yè)的科研、實(shí)習(xí)、競(jìng)賽、交換生、寒暑校等多類(lèi)背景提升機(jī)會(huì)。我們的目標(biāo)是讓大學(xué)生不再迷茫，可以及早深入了解感興趣的學(xué)校、專(zhuān)業(yè)和行業(yè)、公司、職位，為自己的學(xué)業(yè)和職業(yè)目標(biāo)做針對(duì)性準(zhǔn)備，未來(lái)能最大概率實(shí)現(xiàn)自己的學(xué)業(yè)和職業(yè)愿景。我們推薦的項(xiàng)目，均可提供基于大數(shù)據(jù)的申請(qǐng)成功率評(píng)估、問(wèn)答和指導(dǎo)，讓同學(xué)們發(fā)展中遇到的問(wèn)題在我們平臺(tái)可以得到最大化、最深入解答。
公司主頁(yè)