職位描述
Python分布式爬蟲爬蟲開發(fā)數(shù)據(jù)清洗
崗位職責：
1、負責設計和開發(fā)分布式爬蟲和調度系統(tǒng)，爬蟲核心算法和調度策略優(yōu)化；
2、負責部分網站驗證碼破解和現(xiàn)有爬蟲系統(tǒng)效率的提升；
3、負責網絡數(shù)據(jù)抓取規(guī)劃和數(shù)據(jù)鏈路規(guī)劃、高效且穩(wěn)定爬取指定網站的數(shù)據(jù)；
4、構建高可用性、高可擴展性的網絡信息搜集平臺；
5、優(yōu)化現(xiàn)有數(shù)據(jù)清洗，數(shù)據(jù)提取，結構化，入庫等過程；
6、深度思考并參與業(yè)務等數(shù)據(jù)瓶頸，并有效解決；
7、項目中遇到其他問題。
任職要求
1、計算機相關專業(yè)，python語言，三年以上爬蟲經驗；
2、有獨立負責過爬蟲平臺搭建、爬蟲系統(tǒng)處理經驗，爬蟲項目規(guī)劃能力；；
3、熟悉Scrapy、Pyspider、nutch、webmagic等主流爬蟲框架使用，了解js引擎技術等優(yōu)先考慮；
4、熟悉js逆向，混淆原理，js語法樹，客戶端常用簽名算法等。
5、具備web挖掘等搜索引擎相關知識，有豐富的網絡爬蟲、網頁去重、網頁信息抽取的經驗，
6、掌握網頁抓取原理及技術，包括基于Cookie的登錄管理，基于headless的采集，熟悉正則表達式、XPath、Jsoup等網頁信息抽取技術。
7、熟悉Linux平臺開發(fā)、常用操作及命令，良好的編碼習慣，有獨立思考的能力，善于解決問題。
8、具備較強的團隊協(xié)作精神，工作責任心強，良好的溝通、理解和執(zhí)行能力。
工作地點
石家莊長安區(qū)朝暉商務8樓
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
梁女士/人資經理
剛剛活躍立即溝通
中數(shù)智創(chuàng)科技有限公司中數(shù)智創(chuàng)科技有限公司成立于2018年，總部在河北石家莊，在北京、深圳設立全資子公司，集團技術研發(fā)團隊超過300人，主要業(yè)務為數(shù)字金融、數(shù)字產業(yè)、數(shù)字交易三大領域，產品和服務面向全國，已為全國數(shù)百家政、企客戶打造數(shù)字化服務平臺，上百家金融機構研發(fā)創(chuàng)新金融科技產品。核心技術依托國內領先的大數(shù)據(jù)、AI大模型、區(qū)塊鏈、隱私計算、物聯(lián)網、數(shù)字孿生等技術推動產業(yè)的深度發(fā)展。公司是中國招標投標協(xié)會成員單位、中物聯(lián)金融委常務理事單位、河北省中小企業(yè)投融資促進會會長單位、河北省信息產業(yè)與信息化協(xié)會常務理事成員、河北省基于區(qū)塊鏈的電子保函系統(tǒng)技術創(chuàng)新中心、參編全國首部團體標準《公共數(shù)據(jù)授權運營平臺技術要求》(T/CECC024-2023)。公司通過涉密乙級資質、CCRC二級、CMMI3、ITSS三級、DCMM三級、EBS交易平臺三星認證等。經營理念：客戶至上、高效團隊、創(chuàng)新發(fā)展、合作共贏企業(yè)使命：以科技創(chuàng)新，技術賦能政銀企數(shù)字化轉型企業(yè)愿景：成為政銀企數(shù)字化轉型與科技創(chuàng)新的開拓者企業(yè)精神：開放、務實、進取、拼搏
公司主頁