職位描述
Python數(shù)據(jù)挖掘數(shù)據(jù)采集云計(jì)算/大數(shù)據(jù)咨詢(xún)服務(wù)
【崗位職責(zé)】
1、系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)：運(yùn)維現(xiàn)有的系統(tǒng)，編寫(xiě)高效的Python爬蟲(chóng)腳本，從指定的公開(kāi)網(wǎng)站、API接口、APP、微信公號(hào)等渠道，自動(dòng)化抓取多源數(shù)據(jù)；
2、數(shù)據(jù)處理與清洗： 對(duì)爬取到的原始數(shù)據(jù)進(jìn)行清洗、去重、格式化、轉(zhuǎn)換和集成，確保數(shù)據(jù)的準(zhǔn)確性和一致性，使其滿(mǎn)足報(bào)告研究人員的使用；
3、技術(shù)難題攻堅(jiān)： 解決爬取過(guò)程中遇到的各種技術(shù)挑戰(zhàn)，包括但不限于動(dòng)態(tài)渲染（JS）、驗(yàn)證碼識(shí)別、IP封禁、API限制等。
4、質(zhì)量與效率： 建立數(shù)據(jù)質(zhì)量監(jiān)控體系，持續(xù)優(yōu)化爬蟲(chóng)策略和系統(tǒng)架構(gòu)，提升數(shù)據(jù)采集的覆蓋度、及時(shí)性和效率。
5、合規(guī)與倫理： 嚴(yán)格遵守Robots協(xié)議、數(shù)據(jù)安全法與版權(quán)法規(guī)，確保所有數(shù)據(jù)采集活動(dòng)的合法合規(guī)性。
【技術(shù)要求】
1、精通 Python 編程語(yǔ)言，熟練使用Python、Java、php語(yǔ)言，掌握 Scrapy, Requests, Selenium/Playwright 等主流爬蟲(chóng)框架和工具。
2、深刻理解HTTP/HTTPS協(xié)議，熟悉Web前端技術(shù)（HTML, CSS, JavaScript）。
3、具備處理復(fù)雜反爬機(jī)制（如IP速率限制、驗(yàn)證碼、動(dòng)態(tài)加載、用戶(hù)行為檢測(cè)、加密參數(shù)等）的實(shí)戰(zhàn)經(jīng)驗(yàn)。
4、熟悉至少一種數(shù)據(jù)庫(kù)（如 MySQL, PostgreSQL, MongoDB, Redis）。
5、具備優(yōu)秀的數(shù)據(jù)清洗和處理能力，熟悉 Pandas, NumPy 等工具。
6、了解分布式爬蟲(chóng)原理，有使用 Scrapy-Redis, Celery 等工具的經(jīng)驗(yàn)。
符合條件且有相關(guān)經(jīng)驗(yàn)的人員也可兼職錄用本工作崗位
工作地點(diǎn)：南寧市青秀區(qū)金洲路18-1號(hào)疾控中心小區(qū)1棟B單元3103室
總部地址：北京市西城區(qū)天橋南大街1號(hào)天橋藝術(shù)大廈B1-104室
1、系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)：運(yùn)維現(xiàn)有的系統(tǒng)，編寫(xiě)高效的Python爬蟲(chóng)腳本，從指定的公開(kāi)網(wǎng)站、API接口、APP、微信公號(hào)等渠道，自動(dòng)化抓取多源數(shù)據(jù)；
2、數(shù)據(jù)處理與清洗： 對(duì)爬取到的原始數(shù)據(jù)進(jìn)行清洗、去重、格式化、轉(zhuǎn)換和集成，確保數(shù)據(jù)的準(zhǔn)確性和一致性，使其滿(mǎn)足報(bào)告研究人員的使用；
3、技術(shù)難題攻堅(jiān)： 解決爬取過(guò)程中遇到的各種技術(shù)挑戰(zhàn)，包括但不限于動(dòng)態(tài)渲染（JS）、驗(yàn)證碼識(shí)別、IP封禁、API限制等。
4、質(zhì)量與效率： 建立數(shù)據(jù)質(zhì)量監(jiān)控體系，持續(xù)優(yōu)化爬蟲(chóng)策略和系統(tǒng)架構(gòu)，提升數(shù)據(jù)采集的覆蓋度、及時(shí)性和效率。
5、合規(guī)與倫理： 嚴(yán)格遵守Robots協(xié)議、數(shù)據(jù)安全法與版權(quán)法規(guī)，確保所有數(shù)據(jù)采集活動(dòng)的合法合規(guī)性。
【技術(shù)要求】
1、精通 Python 編程語(yǔ)言，熟練使用Python、Java、php語(yǔ)言，掌握 Scrapy, Requests, Selenium/Playwright 等主流爬蟲(chóng)框架和工具。
2、深刻理解HTTP/HTTPS協(xié)議，熟悉Web前端技術(shù)（HTML, CSS, JavaScript）。
3、具備處理復(fù)雜反爬機(jī)制（如IP速率限制、驗(yàn)證碼、動(dòng)態(tài)加載、用戶(hù)行為檢測(cè)、加密參數(shù)等）的實(shí)戰(zhàn)經(jīng)驗(yàn)。
4、熟悉至少一種數(shù)據(jù)庫(kù)（如 MySQL, PostgreSQL, MongoDB, Redis）。
5、具備優(yōu)秀的數(shù)據(jù)清洗和處理能力，熟悉 Pandas, NumPy 等工具。
6、了解分布式爬蟲(chóng)原理，有使用 Scrapy-Redis, Celery 等工具的經(jīng)驗(yàn)。
符合條件且有相關(guān)經(jīng)驗(yàn)的人員也可兼職錄用本工作崗位
工作地點(diǎn)：南寧市青秀區(qū)金洲路18-1號(hào)疾控中心小區(qū)1棟B單元3103室
總部地址：北京市西城區(qū)天橋南大街1號(hào)天橋藝術(shù)大廈B1-104室
職位福利：周末雙休、每年多次調(diào)薪、加班補(bǔ)助、節(jié)日福利、餐補(bǔ)、年底雙薪、員工旅游、帶薪年假
職位亮點(diǎn)：全國(guó)第一的演藝、音樂(lè)和文旅大數(shù)據(jù)機(jī)構(gòu)！
工作地點(diǎn)
廣西壯族自治區(qū)疾病預(yù)防控制中心南寧市青秀區(qū)金洲路18-1號(hào)疾控中心小區(qū)1棟B單元3103室
相似職位
- 高級(jí)爬蟲(chóng)工程師6000-10000元
南寧 - 青秀
北京道略文旅科技有限公司 - 軟件工程實(shí)習(xí)生80-100元/天
南寧 - 青秀
廣西華農(nóng)創(chuàng)科現(xiàn)代農(nóng)業(yè)科技集團(tuán)有限公司
熱門(mén)公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國(guó)一汽招聘
- 北京汽車(chē)招聘
- 蔚來(lái)招聘
- 東風(fēng)汽車(chē)招聘
- 長(zhǎng)城汽車(chē)招聘
- 奇瑞汽車(chē)招聘
- 理想汽車(chē)招聘
- 長(zhǎng)鑫存儲(chǔ)招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時(shí)代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動(dòng)招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國(guó)移動(dòng)招聘
- 中國(guó)聯(lián)通招聘
- 中國(guó)電信招聘
- 中糧集團(tuán)招聘
- 國(guó)藥控股招聘
- 中廣核招聘
- 中國(guó)船舶招聘
- 強(qiáng)生中國(guó)招聘
- 匯豐中國(guó)招聘
- 宜家招聘
- 立邦中國(guó)招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車(chē)招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
毛先生/總經(jīng)理
立即溝通
北京道略文旅科技有限公司北京道略文旅科技有限公司成立于2008年，是中國(guó)專(zhuān)業(yè)的文旅產(chǎn)業(yè)、演藝產(chǎn)業(yè)、音樂(lè)產(chǎn)業(yè)研究咨詢(xún)機(jī)構(gòu)和內(nèi)容服務(wù)平臺(tái)。道略文旅將全部人財(cái)物力量聚焦在文旅、演藝和音樂(lè)等文化產(chǎn)業(yè)少數(shù)領(lǐng)域上，通過(guò)“一厘米寬度，一公里深度”的專(zhuān)注和鉆研精神，努力成為細(xì)分領(lǐng)域最為專(zhuān)業(yè)的研究和咨詢(xún)機(jī)構(gòu)，成為“細(xì)分龍頭”和“隱形冠軍”。道略文旅下設(shè)子公司有：成都道略公司、上海道略公司、深圳道略公司、廣西南寧道略公司2獨(dú)家數(shù)據(jù)庫(kù)：13年來(lái)持續(xù)對(duì)旅游、演藝、音樂(lè)、戲劇等產(chǎn)業(yè)數(shù)據(jù)進(jìn)行監(jiān)測(cè)和抓取，形成了自己獨(dú)有的數(shù)據(jù)庫(kù)，連續(xù)多年成功為政府和行業(yè)客戶(hù)提供具有前瞻性和創(chuàng)新性的咨詢(xún)方案，并通過(guò)定期發(fā)布文旅、演藝、音樂(lè)等產(chǎn)業(yè)指南和專(zhuān)題研究報(bào)告。2行業(yè)頂尖自媒體平臺(tái)：構(gòu)建了覆蓋演藝、音樂(lè)、文旅、體育等領(lǐng)域的媒體矩陣，其中“道略演藝”“道略音樂(lè)產(chǎn)業(yè)”覆蓋8萬(wàn)專(zhuān)業(yè)從業(yè)者，成為演藝、音樂(lè)行業(yè)最大的自媒體平臺(tái)，“道略文旅”“音樂(lè)人攻略”“場(chǎng)館經(jīng)理人”等公眾號(hào)也在行業(yè)內(nèi)迅猛發(fā)展。2國(guó)家省市級(jí)政府咨詢(xún)：為文化和旅游部、上海文廣新局、成都市政府、天府新區(qū)、海淀區(qū)、西城區(qū)等50余個(gè)政府相關(guān)部門(mén)提供文旅產(chǎn)業(yè)規(guī)劃、旅游演藝定位策劃、城市演藝、音樂(lè)項(xiàng)目研究和文旅內(nèi)容資源整合、項(xiàng)目導(dǎo)入等服務(wù)。2大中型文旅企業(yè)咨詢(xún):成立至今，已為萬(wàn)達(dá)集團(tuán)、恒大集團(tuán)、金融街建設(shè)集團(tuán)、新奧集團(tuán)、長(zhǎng)江傳媒集團(tuán)等近60家大中型企業(yè)提供演出、音樂(lè)、文化市場(chǎng)研究與分析、產(chǎn)業(yè)規(guī)劃、演出場(chǎng)館定位分析、演出票房數(shù)據(jù)監(jiān)測(cè)服務(wù)。2最專(zhuān)業(yè)行業(yè)活動(dòng)：每年舉辦文旅、演藝、音樂(lè)產(chǎn)業(yè)博覽會(huì)和論壇等，搭建了專(zhuān)業(yè)交流分享的平臺(tái)，獲得了政府部門(mén)、行業(yè)機(jī)構(gòu)的全力支持。博覽會(huì)全方位促進(jìn)中國(guó)演藝、音樂(lè)、文化旅游產(chǎn)業(yè)的互動(dòng)溝通，進(jìn)一步推動(dòng)中國(guó)文化產(chǎn)業(yè)升級(jí)發(fā)展，促進(jìn)北京乃至全國(guó)的文化體制改革、促進(jìn)文化產(chǎn)業(yè)的繁榮發(fā)展。
公司主頁(yè)