雇員點評標(biāo)簽
職位描述
數(shù)據(jù)爬蟲反爬蟲PythonJavaScriptScrapyIT服務(wù)房地產(chǎn)開發(fā)
崗位職責(zé)：
1.負責(zé)采集系統(tǒng)的架構(gòu)設(shè)計,系統(tǒng)搭建
2.負責(zé)各類數(shù)據(jù)源（API、數(shù)據(jù)庫、網(wǎng)頁）的數(shù)據(jù)采集、清洗、轉(zhuǎn)換與入庫；
3.搭建與維護穩(wěn)定高效的數(shù)據(jù)采集系統(tǒng)，確保數(shù)據(jù)采集的準(zhǔn)確性、完整性與時效性；
4.分析數(shù)據(jù)源結(jié)構(gòu)與變化，制定字段映射、清洗規(guī)則和更新策略；
5.針對目標(biāo)站點的反爬策略設(shè)計并實現(xiàn)有效的繞過方案；
6. 編寫數(shù)據(jù)采集文檔與接口說明，支持?jǐn)?shù)據(jù)管理與審計合規(guī)需求。
7.及時解決爬取過程中出現(xiàn)的問題并不斷優(yōu)化程序
任職資格：
1.計算機相關(guān)專業(yè)畢業(yè)，3年以上數(shù)據(jù)開發(fā)經(jīng)驗；
2.熟練掌握 Python，具備豐富的 HTTP 請求模擬、抓包調(diào)試、異步編程、數(shù)據(jù)解析能力；
3.熟悉常見數(shù)據(jù)采集方式（如 RESTful API 調(diào)用、網(wǎng)頁爬蟲、日志采集）與數(shù)據(jù)清洗與轉(zhuǎn)換技術(shù)；
4.熟悉數(shù)據(jù)采集相關(guān)框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5.熟悉 JavaScript 語言，具備 JS 加解密逆向能力，可獨立實現(xiàn)復(fù)雜參數(shù)構(gòu)造、簽名還原、AES/MD5/RSA算法實現(xiàn)等；
6. 熟悉常見反爬機制及繞過方式，如驗證碼識別（圖形/滑動/點選）、UA/IP切換、請求混淆、Headless Browser 等；
7.具備小程序抓包與接口還原能力，了解小程序數(shù)據(jù)通信機制；
8.有 App 采集經(jīng)驗，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；
9.了解數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全與合規(guī)相關(guān)知識。
1.負責(zé)采集系統(tǒng)的架構(gòu)設(shè)計,系統(tǒng)搭建
2.負責(zé)各類數(shù)據(jù)源（API、數(shù)據(jù)庫、網(wǎng)頁）的數(shù)據(jù)采集、清洗、轉(zhuǎn)換與入庫；
3.搭建與維護穩(wěn)定高效的數(shù)據(jù)采集系統(tǒng)，確保數(shù)據(jù)采集的準(zhǔn)確性、完整性與時效性；
4.分析數(shù)據(jù)源結(jié)構(gòu)與變化，制定字段映射、清洗規(guī)則和更新策略；
5.針對目標(biāo)站點的反爬策略設(shè)計并實現(xiàn)有效的繞過方案；
6. 編寫數(shù)據(jù)采集文檔與接口說明，支持?jǐn)?shù)據(jù)管理與審計合規(guī)需求。
7.及時解決爬取過程中出現(xiàn)的問題并不斷優(yōu)化程序
任職資格：
1.計算機相關(guān)專業(yè)畢業(yè)，3年以上數(shù)據(jù)開發(fā)經(jīng)驗；
2.熟練掌握 Python，具備豐富的 HTTP 請求模擬、抓包調(diào)試、異步編程、數(shù)據(jù)解析能力；
3.熟悉常見數(shù)據(jù)采集方式（如 RESTful API 調(diào)用、網(wǎng)頁爬蟲、日志采集）與數(shù)據(jù)清洗與轉(zhuǎn)換技術(shù)；
4.熟悉數(shù)據(jù)采集相關(guān)框架或工具（如 Scrapy、Logstash、NiFi、Flume、Kafka、Flink）；
5.熟悉 JavaScript 語言，具備 JS 加解密逆向能力，可獨立實現(xiàn)復(fù)雜參數(shù)構(gòu)造、簽名還原、AES/MD5/RSA算法實現(xiàn)等；
6. 熟悉常見反爬機制及繞過方式，如驗證碼識別（圖形/滑動/點選）、UA/IP切換、請求混淆、Headless Browser 等；
7.具備小程序抓包與接口還原能力，了解小程序數(shù)據(jù)通信機制；
8.有 App 采集經(jīng)驗，熟悉抓包工具（如 Charles、Fiddler、Wireshark、mitmproxy）、Hook 工具（如Frida、Xposed）；
9.了解數(shù)據(jù)質(zhì)量、數(shù)據(jù)安全與合規(guī)相關(guān)知識。
工作地點
武漢洪山區(qū)中興時代數(shù)貿(mào)港A座10樓1006.1007.1008號房
相似職位
- 采集工程師8000-10000元·13薪
武漢 - 洪山
深圳市世聯(lián)土地房地產(chǎn)評估有限公司 - 采集運維（電網(wǎng)營銷業(yè)務(wù)）6000-12000元
武漢 - 洪山
鑫英泰
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- 海康威視招聘
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
江小姐/人事經(jīng)理
昨日活躍立即溝通
深圳市世聯(lián)土地房地產(chǎn)評估有限公司公司概況1993年創(chuàng)設(shè)于深圳，現(xiàn)總部設(shè)立于深圳，下設(shè)廣州、東莞、佛山、廈門、武漢、成都、重慶、上海、杭州、南京、北京、青島十二家分公司，與瑞聯(lián)資信、瑞聯(lián)數(shù)科、世聯(lián)資產(chǎn)、朗瑞會計師事務(wù)所、中瑞世聯(lián)、中瑞華建、中瑞稅務(wù)集團、華房數(shù)據(jù)同屬瑞聯(lián)平臺，面向全國提供全面的土地、房地產(chǎn)、資產(chǎn)評估等專業(yè)服務(wù)。憑借長期的專業(yè)積累，世聯(lián)評估建立了強大的估價信息數(shù)據(jù)平臺和資深專業(yè)技術(shù)團隊，為政府、金融與投資機構(gòu)、企業(yè)、法院及私人業(yè)主提供物業(yè)評估、項目評估、可行性研究、土地招投標(biāo)和房地產(chǎn)投資咨詢、評估審核等多元化的專業(yè)評估服務(wù)。截至2024年底，歷年累計評估總值達15萬億元，累計評估規(guī)模45億平方米。專業(yè)資質(zhì)●全國一級房地產(chǎn)評估機構(gòu)●全國A級資信土地評估中介機構(gòu)●中國資產(chǎn)評估機構(gòu)●國家發(fā)展和改革委員會工程咨詢單位資質(zhì)●全國不動產(chǎn)登記代理機構(gòu)資質(zhì)●首批證券服務(wù)評估機構(gòu)備案資質(zhì)● 2022-2024年度上海證券交易所評估專家?guī)斐蓡T單位從“心”開始，服務(wù)不止。從后勤保障到一線的評估服務(wù)，從公司的領(lǐng)導(dǎo)者到最基層的員工，世聯(lián)始終以專注的態(tài)度、創(chuàng)新的技術(shù)，融入每一個項目與服務(wù)細節(jié)。世聯(lián)評估作為評估行業(yè)的龍頭，正不斷深化全產(chǎn)業(yè)鏈競爭優(yōu)勢，不斷提升創(chuàng)新能力，推動自身與行業(yè)的進步和發(fā)展，致力于成為中國評估第一品牌。我們?yōu)槟峁?、給你最有力的保障：除了按國家規(guī)定入職即購買五險一金，同時為員工購買輔助商業(yè)保險2、5天7.5小時工作制，周末雙休，在規(guī)定范圍，上下班時間可靈活把控3、年假實行N+1天制，除了享受國家法定假期外，還有“六一親子假”4、年度健康體檢；5、暖心的員工關(guān)懷：賀儀、奠儀、節(jié)日福利、新年開工紅包等等。6、每日新鮮水果、飲料、現(xiàn)磨咖啡，讓你在工作之余，盡情享受愜意的下午茶；
公司主頁