職位描述
爬蟲開發(fā)C語言Java
網(wǎng)絡(luò)爬蟲方向
崗位職責(zé)：
1.負責(zé)設(shè)計、開發(fā)和維護高效穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，確保數(shù)據(jù)抓取的準(zhǔn)確性及實時性。
2.優(yōu)化網(wǎng)絡(luò)請求性能，解決高并發(fā)、分布式環(huán)境下的爬蟲技術(shù)難題。
3.分析并繞過目標(biāo)網(wǎng)站的反爬機制（如IP封禁、驗證碼、動態(tài)加密等）。
4.實現(xiàn)數(shù)據(jù)清洗、結(jié)構(gòu)化存儲（如MySQL、Elasticsearch等），支持業(yè)務(wù)部門數(shù)據(jù)需求。
5.與算法、數(shù)據(jù)分析團隊協(xié)作，提供高質(zhì)量數(shù)據(jù)源。
崗位職責(zé)：
1.負責(zé)設(shè)計、開發(fā)和維護高效穩(wěn)定的網(wǎng)絡(luò)爬蟲系統(tǒng)，確保數(shù)據(jù)抓取的準(zhǔn)確性及實時性。
2.優(yōu)化網(wǎng)絡(luò)請求性能，解決高并發(fā)、分布式環(huán)境下的爬蟲技術(shù)難題。
3.分析并繞過目標(biāo)網(wǎng)站的反爬機制（如IP封禁、驗證碼、動態(tài)加密等）。
4.實現(xiàn)數(shù)據(jù)清洗、結(jié)構(gòu)化存儲（如MySQL、Elasticsearch等），支持業(yè)務(wù)部門數(shù)據(jù)需求。
5.與算法、數(shù)據(jù)分析團隊協(xié)作，提供高質(zhì)量數(shù)據(jù)源。
任職要求：
必需技能：
1.扎實的Java基礎(chǔ)，精通集合、多線程、IO/NIO、網(wǎng)絡(luò)編程等。
2.熟悉HTTP/HTTPS協(xié)議及網(wǎng)絡(luò)通信機制，熟練使用HttpClient、OkHttp等工具。
3.具備爬蟲開發(fā)經(jīng)驗，掌握WebMagic、Jsoup、Selenium等至少一種框架。
4.熟悉主流數(shù)據(jù)庫（MySQL、Redis）及SQL優(yōu)化，了解NoSQL技術(shù)。
5.熟悉HTML/XML/JSON解析，精通XPath、正則表達式等數(shù)據(jù)提取技術(shù)。
必需技能：
1.扎實的Java基礎(chǔ)，精通集合、多線程、IO/NIO、網(wǎng)絡(luò)編程等。
2.熟悉HTTP/HTTPS協(xié)議及網(wǎng)絡(luò)通信機制，熟練使用HttpClient、OkHttp等工具。
3.具備爬蟲開發(fā)經(jīng)驗，掌握WebMagic、Jsoup、Selenium等至少一種框架。
4.熟悉主流數(shù)據(jù)庫（MySQL、Redis）及SQL優(yōu)化，了解NoSQL技術(shù)。
5.熟悉HTML/XML/JSON解析，精通XPath、正則表達式等數(shù)據(jù)提取技術(shù)。
優(yōu)先條件：
1.有分布式爬蟲經(jīng)驗（如Redis分布式隊列、Zookeeper調(diào)度）。
2.熟悉反反爬策略（代理IP池、請求頭動態(tài)偽裝、瀏覽器指紋模擬）。
3.了解JS動態(tài)渲染頁面爬?。≒hantomJS、Puppeteer）。
4.有大規(guī)模數(shù)據(jù)ETL、Hadoop/Spark處理經(jīng)驗者優(yōu)先。
5.有開源爬蟲項目貢獻或獨立開發(fā)爬蟲框架者加分
1.有分布式爬蟲經(jīng)驗（如Redis分布式隊列、Zookeeper調(diào)度）。
2.熟悉反反爬策略（代理IP池、請求頭動態(tài)偽裝、瀏覽器指紋模擬）。
3.了解JS動態(tài)渲染頁面爬?。≒hantomJS、Puppeteer）。
4.有大規(guī)模數(shù)據(jù)ETL、Hadoop/Spark處理經(jīng)驗者優(yōu)先。
5.有開源爬蟲項目貢獻或獨立開發(fā)爬蟲框架者加分
工作地點
合肥蜀山區(qū)國際電子商務(wù)產(chǎn)業(yè)園四期-D棟17樓
相似職位
- 大數(shù)據(jù)爬蟲工程師1.5-3萬
合肥 - 蜀山
安徽九聯(lián)正遠教育科技有限公司 - 大數(shù)據(jù)爬蟲工程師8000-16000元
合肥 - 蜀山
安徽九聯(lián)正遠教育科技有限公司 - 爬蟲工程師8000-11000元
合肥 - 蜀山
武漢萬科祥盈管理服務(wù)有限公司 - java數(shù)據(jù)開發(fā)工程師（周末雙休，入職五險一金）5000-10000元
合肥 - 蜀山
北京清博智能科技有限公司 - python爬蟲助理工程師5000-6000元
合肥 - 廬陽
安徽雅云暉智能科技有限公司 - python爬蟲工程師1.1-1.2萬
合肥 - 蜀山
安徽聚福云科技股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
石女士/HRBP
當(dāng)前在線立即溝通
北京清博智能科技有限公司清博智能旗下新媒體指數(shù)（www.gsdata.cn）是中國新媒體大數(shù)據(jù)第一平臺，是中國新媒體大數(shù)據(jù)評價體系和影響力標(biāo)準(zhǔn)的研究制定者。中央網(wǎng)信辦、國資委、教育部等國家部委，新華社、央視、解放軍報、中國青年報等各大媒體，萬達集團、海爾集團等大型企業(yè)，騰訊、新浪、今日頭條等互聯(lián)網(wǎng)公司的新媒體運營均以新媒體指數(shù)為評價標(biāo)準(zhǔn)。新媒體指數(shù)同時也為中央網(wǎng)信辦、新華社、孔子學(xué)院、萬達集團、海爾集團、藍色光標(biāo)、騰訊、新浪、今日頭條等機構(gòu)和單位提供大數(shù)據(jù)挖掘、大數(shù)據(jù)分析和輿情監(jiān)測服務(wù)，進行輿情、新聞發(fā)言人、媒體融合、新媒體培訓(xùn)等業(yè)務(wù)。公司的產(chǎn)品與服務(wù)有：1、數(shù)據(jù)分析新媒體指數(shù)微信、微博賬號，每周提供雙微賬號排名榜單及數(shù)據(jù)分析，可將榜單發(fā)布在客戶???官方微信、微博、網(wǎng)站、報紙上，起到激勵促進各地方新媒體發(fā)展和提供決策依據(jù)的作用。（服務(wù)客戶包括騰訊、新浪、華為、海爾等）。2、輿情報告圍繞微博微信及全網(wǎng)信息，提供實時輿情分析報告、輿情周刊、輿情月報、季度輿情報告，以及專題輿情研究報告、輿情推演（初步預(yù)測輿情事件的發(fā)展走勢）、輿情會商等。（服務(wù)客戶包括中央網(wǎng)信辦、新華網(wǎng)、新浪等單位）。3、定制報告根據(jù)客戶個性化、針對性需求，通過專項定制的市場調(diào)查來獲取深度信息，憑借自身在數(shù)據(jù)渠道、行業(yè)資源、知識密集的綜合競爭優(yōu)勢，為客戶提供行業(yè)深度調(diào)研、廠商調(diào)研、渠道調(diào)研、品牌調(diào)研等專項咨詢和專項定制服務(wù)。（服務(wù)客戶包括安徽衛(wèi)視、每日經(jīng)濟新聞、E租寶、石油交易所、無人機企業(yè)等）4、微信輿情監(jiān)測系統(tǒng)研究開發(fā)國內(nèi)首套微信輿情監(jiān)測系統(tǒng)，日監(jiān)測近500萬個微信公眾號，實時發(fā)現(xiàn)不良信息，為政府企業(yè)處置提供即時有效預(yù)警。（目前萬達集團正在使用）5、自媒體廣告交易平臺基于新媒體指數(shù)的精準(zhǔn)媒體推薦，極簡操作、方便快捷達成交易。操作便捷：極簡操作，方便快捷達成交易。6、線下沙龍2014年10月16日至今已經(jīng)辦了28期沙龍。沙龍邀請學(xué)界專家、業(yè)界精英、知名媒體、意見領(lǐng)袖廣泛參與，新媒體指數(shù)協(xié)作圈300多個群同步直播，新媒體、自媒體廣泛報道，刺猬公社、學(xué)術(shù)中國、新聞傳播學(xué)研等影響力較大的公眾號深度傳播，沙龍受眾覆蓋上億人次。7、線下培訓(xùn)開展輿情預(yù)警與處置、新聞發(fā)言人基本素養(yǎng)與技巧、媒體融合發(fā)展、新媒體運營等線下培訓(xùn)。8、推廣運營利用自身及合作伙伴資源幫助客戶進行品牌和產(chǎn)品的推廣，以及微信、微博的運營，推廣運營方式有：9、全網(wǎng)輿情監(jiān)測系統(tǒng)輿情系統(tǒng)提供相關(guān)熱點事件的輿情監(jiān)測、提供客戶需要的輿情預(yù)警，提供領(lǐng)先的輿情監(jiān)測系統(tǒng)。10、頁面醫(yī)生運用“頁面醫(yī)生”產(chǎn)品做出網(wǎng)站、新媒體全面運營診斷，記錄、追蹤用戶在頁面的操作，幫助管理者、運營者對網(wǎng)站做出有效調(diào)整，提高網(wǎng)站的運行效率。11、政務(wù)推薦引擎運用“政務(wù)推薦引擎”產(chǎn)品，根據(jù)用戶偏好在網(wǎng)站、新媒體對訪問用戶提供用戶個性化推薦本站的政策、法規(guī)、文章、內(nèi)容和產(chǎn)品，從而提升網(wǎng)站、新媒體的用戶粘度、訪問量和用戶滿意度。12、行業(yè)大數(shù)據(jù)建設(shè)充分運用自身及行業(yè)技術(shù)力量和資源，進行各行各業(yè)模型構(gòu)建、技術(shù)開發(fā)、大數(shù)據(jù)平臺建設(shè)。結(jié)合開發(fā)新媒體指數(shù)的技術(shù)和經(jīng)驗，開展各類行業(yè)大數(shù)據(jù)建設(shè)，目前正在進行金融、社群、醫(yī)美、創(chuàng)投、影視等行業(yè)大數(shù)據(jù)建設(shè)。13、API調(diào)用為政府部門、集團企業(yè)、大數(shù)據(jù)公司、公關(guān)營銷企業(yè)提供收費API調(diào)用服務(wù)。
公司主頁