職位描述
Python分布式爬蟲爬蟲開發(fā)
崗位職責(zé):
1、爬蟲系統(tǒng)開發(fā):設(shè)計(jì)并開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，確保數(shù)據(jù)準(zhǔn)確性和完整性。
2、系統(tǒng)優(yōu)化:優(yōu)化爬蟲抓取策略與調(diào)度策略，維護(hù)現(xiàn)有系統(tǒng)，提升抓取速度與數(shù)據(jù)質(zhì)量。
3、數(shù)據(jù)處理:負(fù)責(zé)數(shù)據(jù)采集、解析、清洗、入庫及統(tǒng)計(jì)工作。
4、系統(tǒng)監(jiān)控:監(jiān)控爬蟲運(yùn)行狀態(tài)，及時(shí)處理異常， 確保系統(tǒng)穩(wěn)定性。
崗位要求:
1、教育背景:計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、電氣工程或相關(guān)領(lǐng)本科及以上學(xué)歷；
2、技術(shù)能力:熟練使Python，掌握Scrapy、 BeautifulSoup、Selenium等框架。
3、網(wǎng)絡(luò)協(xié)議與反爬蟲:熟悉HTTP/HTTPS協(xié)議， 能解決封IP、驗(yàn)證碼、JS逆向等反爬蟲問題。
4、數(shù)據(jù)存儲(chǔ)與處理:熟悉MySQL、Redis等工具。
5、網(wǎng)頁抓取技術(shù):精通網(wǎng)頁抓取原理與正則表達(dá)式，能從結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中提取信息。
6、有能源、電力領(lǐng)域經(jīng)驗(yàn)者優(yōu)先。
1、爬蟲系統(tǒng)開發(fā):設(shè)計(jì)并開發(fā)高效、穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，確保數(shù)據(jù)準(zhǔn)確性和完整性。
2、系統(tǒng)優(yōu)化:優(yōu)化爬蟲抓取策略與調(diào)度策略，維護(hù)現(xiàn)有系統(tǒng)，提升抓取速度與數(shù)據(jù)質(zhì)量。
3、數(shù)據(jù)處理:負(fù)責(zé)數(shù)據(jù)采集、解析、清洗、入庫及統(tǒng)計(jì)工作。
4、系統(tǒng)監(jiān)控:監(jiān)控爬蟲運(yùn)行狀態(tài)，及時(shí)處理異常， 確保系統(tǒng)穩(wěn)定性。
崗位要求:
1、教育背景:計(jì)算機(jī)科學(xué)、數(shù)學(xué)、統(tǒng)計(jì)學(xué)、電氣工程或相關(guān)領(lǐng)本科及以上學(xué)歷；
2、技術(shù)能力:熟練使Python，掌握Scrapy、 BeautifulSoup、Selenium等框架。
3、網(wǎng)絡(luò)協(xié)議與反爬蟲:熟悉HTTP/HTTPS協(xié)議， 能解決封IP、驗(yàn)證碼、JS逆向等反爬蟲問題。
4、數(shù)據(jù)存儲(chǔ)與處理:熟悉MySQL、Redis等工具。
5、網(wǎng)頁抓取技術(shù):精通網(wǎng)頁抓取原理與正則表達(dá)式，能從結(jié)構(gòu)化與非結(jié)構(gòu)化數(shù)據(jù)中提取信息。
6、有能源、電力領(lǐng)域經(jīng)驗(yàn)者優(yōu)先。
查看全部
工作地點(diǎn)
合肥包河區(qū)安徽省能源集團(tuán)有限公司
相似職位
- python爬蟲工程師助理（餐補(bǔ)+雙休+五險(xiǎn)一金）9000-18000元·13薪
合肥 - 包河
河南棉蕨科技有限公司 - 爬蟲工程師8000-12000元
合肥 - 蜀山
飛友科技有限公司 - 初級(jí)python爬蟲工程師（餐補(bǔ)+雙休+五險(xiǎn)一金）9000-18000元·13薪
合肥 - 包河
河南棉蕨科技有限公司 - python爬蟲助理工程師5000-6000元
合肥 - 廬陽
安徽雅云暉智能科技有限公司 - 初級(jí)Python工程師（爬蟲）7000-12000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司 - 大數(shù)據(jù)爬蟲工程師6000-12000元
合肥 - 蜀山
安徽九聯(lián)正遠(yuǎn)教育科技有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動(dòng)招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
常先生/HRBP
三日內(nèi)活躍立即溝通
箴言科技(陜西)有限責(zé)任公司
收藏職位信息 1、參與完成產(chǎn)品Web功能的開發(fā)與實(shí)現(xiàn)； 2、參與產(chǎn)品Web用戶體驗(yàn)、性能、架構(gòu)等方面的改進(jìn)與優(yōu)化； 3、負(fù)責(zé)前端架構(gòu)的建立和實(shí)施，主導(dǎo)前端框架開發(fā)，并據(jù)此制定合理有效的開發(fā)規(guī)范； 4、負(fù)責(zé)推動(dòng)前端架構(gòu)和框架在各產(chǎn)品落地實(shí)施； 5、關(guān)注前端前沿技術(shù)研究，通過新技術(shù)服務(wù)團(tuán)隊(duì)和業(yè)務(wù)。任職要求 1、熟悉了解Layui的優(yōu)先； 2、熟練掌握 Javascript、HTML/HTML5、CSS3、ajax等前端開發(fā)技術(shù)； 3、精通主流JS框架，熟練使用jQuery、vue.js、Element UI； 4、對百度地圖、openlayer、leaflet等地圖有接觸了解的優(yōu)先考慮； 5、有前端開發(fā)經(jīng)驗(yàn)、了解并開發(fā)過小程序的優(yōu)先考慮 6、有責(zé)任心與執(zhí)行力，良好的溝通表達(dá)能力和團(tuán)隊(duì)協(xié)作能力。福利待遇 1、入職當(dāng)月即按本人薪資標(biāo)準(zhǔn)繳納五險(xiǎn)一金； 2、免費(fèi)提供住宿（不住有房補(bǔ)），提供餐補(bǔ)、話補(bǔ)、出差補(bǔ)貼； 3、有資質(zhì)通過高新技術(shù)企業(yè)、高轉(zhuǎn)化、居轉(zhuǎn)戶、留學(xué)生等多渠道辦理上海***； 4、定期內(nèi)部、外部培訓(xùn)； 5、豐富多彩的員工福利：員工聚餐、生日禮物、節(jié)日紅包、旅游活動(dòng)、年會(huì)活動(dòng)、免費(fèi)體檢等。
公司主頁