職位描述
PythonJavaRPA數(shù)據(jù)采集爬蟲互聯(lián)網(wǎng)
崗位職責(zé)：
1) 設(shè)計、開發(fā)與維護(hù)網(wǎng)頁端及移動端（App）數(shù)據(jù)采集系統(tǒng)，確保高可用性與數(shù)據(jù)準(zhǔn)確性。
2) 針對復(fù)雜場景，綜合運(yùn)用多種技術(shù)實現(xiàn)數(shù)據(jù)采集：
網(wǎng)頁端：
a) 動態(tài)頁面渲染（Selenium/Playwright）；
b) API逆向與異步數(shù)據(jù)抓取；
c) 反反爬（代理IP、請求模擬、指紋偽裝）；
App端：
a) 網(wǎng)絡(luò)層抓包（Charles/MitmProxy + 證書繞過）；
b) 逆向工程（APK反編譯、Xposed/Frida Hook 解析加密邏輯）；
RPA技術(shù)：
a) 使用RPA框架，模擬用戶操作（點擊、滑動、輸入）；
b) 通過圖像識別（OCR）或控件定位獲取非接口數(shù)據(jù)；
c) 處理高交互型App（如需要登錄、多步驟跳轉(zhuǎn)的場景）；
d) 多平臺賬號養(yǎng)成與管理，確保采集賬號的安全穩(wěn)定；
3) 構(gòu)建數(shù)據(jù)清洗、存儲與監(jiān)控流程：MySQL/PostgreSQL/ETL；
4) 優(yōu)化采集架構(gòu)：分布式調(diào)度、失敗重試、增量采集、核查校驗等）；
5) 合規(guī)性保障：遵守Robots協(xié)議及數(shù)據(jù)隱私法規(guī)；
任職要求：
1）核心技能：
a) 熟練掌握Python和Java編程語言；
b) 熟悉網(wǎng)絡(luò)編程與數(shù)據(jù)解析，包括HTTP/HTTPS協(xié)議、HTML/XML解析（如BeaautifulSoup、XPath、lxml）；
c) 熟悉主流爬蟲框架（Scrapy、Selenium、Playwright等）；
2）網(wǎng)頁采集：
a) 動態(tài)渲染工具（Playwright/Selenium）；
b) 反爬對抗經(jīng)驗（IP池、瀏覽器指紋）；
3）App采集：
a) 抓包分析：Charles/Fiddler + HTTPS解密；
b) 逆向工程：APK反編譯（JADX/GDA）、Hook框架（Frida）；
c) RPA實現(xiàn)：熟悉至少一種RPA工具（如UiPath, Appium, TagUI）或 Python RPA庫（PyAutoGUI, airtest）；具備自動化腳本設(shè)計能力（流程控制、異常處理）；
4）數(shù)據(jù)庫基礎(chǔ)（SQL/NoSQL）及Linux運(yùn)維能力。
5）其他軟性要求：
a) 技術(shù)選型能力：能根據(jù)場景選擇最優(yōu)方案（如：接口可解析時優(yōu)先用Hook，UI復(fù)雜時用RPA）。
b) 風(fēng)險意識：明確RPA的優(yōu)缺點（效率較低但繞過性強(qiáng)），避免濫用。
c) 主動追蹤反爬技術(shù)演進(jìn)，具備攻防思維。
d) 邏輯思維清晰，有責(zé)任心，良好的團(tuán)隊合作意識與溝通能力。
加分項：
a) 有分布式爬蟲開發(fā)經(jīng)驗；
b) 熟悉桌面RPA相關(guān)技術(shù)，使用過八爪魚等采集工具；
c) 各類驗證碼識別破解通過能力（第三方服務(wù)集成/OCR模型）。
1) 設(shè)計、開發(fā)與維護(hù)網(wǎng)頁端及移動端（App）數(shù)據(jù)采集系統(tǒng)，確保高可用性與數(shù)據(jù)準(zhǔn)確性。
2) 針對復(fù)雜場景，綜合運(yùn)用多種技術(shù)實現(xiàn)數(shù)據(jù)采集：
網(wǎng)頁端：
a) 動態(tài)頁面渲染（Selenium/Playwright）；
b) API逆向與異步數(shù)據(jù)抓取；
c) 反反爬（代理IP、請求模擬、指紋偽裝）；
App端：
a) 網(wǎng)絡(luò)層抓包（Charles/MitmProxy + 證書繞過）；
b) 逆向工程（APK反編譯、Xposed/Frida Hook 解析加密邏輯）；
RPA技術(shù)：
a) 使用RPA框架，模擬用戶操作（點擊、滑動、輸入）；
b) 通過圖像識別（OCR）或控件定位獲取非接口數(shù)據(jù)；
c) 處理高交互型App（如需要登錄、多步驟跳轉(zhuǎn)的場景）；
d) 多平臺賬號養(yǎng)成與管理，確保采集賬號的安全穩(wěn)定；
3) 構(gòu)建數(shù)據(jù)清洗、存儲與監(jiān)控流程：MySQL/PostgreSQL/ETL；
4) 優(yōu)化采集架構(gòu)：分布式調(diào)度、失敗重試、增量采集、核查校驗等）；
5) 合規(guī)性保障：遵守Robots協(xié)議及數(shù)據(jù)隱私法規(guī)；
任職要求：
1）核心技能：
a) 熟練掌握Python和Java編程語言；
b) 熟悉網(wǎng)絡(luò)編程與數(shù)據(jù)解析，包括HTTP/HTTPS協(xié)議、HTML/XML解析（如BeaautifulSoup、XPath、lxml）；
c) 熟悉主流爬蟲框架（Scrapy、Selenium、Playwright等）；
2）網(wǎng)頁采集：
a) 動態(tài)渲染工具（Playwright/Selenium）；
b) 反爬對抗經(jīng)驗（IP池、瀏覽器指紋）；
3）App采集：
a) 抓包分析：Charles/Fiddler + HTTPS解密；
b) 逆向工程：APK反編譯（JADX/GDA）、Hook框架（Frida）；
c) RPA實現(xiàn)：熟悉至少一種RPA工具（如UiPath, Appium, TagUI）或 Python RPA庫（PyAutoGUI, airtest）；具備自動化腳本設(shè)計能力（流程控制、異常處理）；
4）數(shù)據(jù)庫基礎(chǔ)（SQL/NoSQL）及Linux運(yùn)維能力。
5）其他軟性要求：
a) 技術(shù)選型能力：能根據(jù)場景選擇最優(yōu)方案（如：接口可解析時優(yōu)先用Hook，UI復(fù)雜時用RPA）。
b) 風(fēng)險意識：明確RPA的優(yōu)缺點（效率較低但繞過性強(qiáng)），避免濫用。
c) 主動追蹤反爬技術(shù)演進(jìn)，具備攻防思維。
d) 邏輯思維清晰，有責(zé)任心，良好的團(tuán)隊合作意識與溝通能力。
加分項：
a) 有分布式爬蟲開發(fā)經(jīng)驗；
b) 熟悉桌面RPA相關(guān)技術(shù)，使用過八爪魚等采集工具；
c) 各類驗證碼識別破解通過能力（第三方服務(wù)集成/OCR模型）。
工作地點
北京西城區(qū)月壇大廈
相似職位
- 爬蟲工程師1.5-2.2萬
北京 - 朝陽
金風(fēng)科技股份有限公司 北京 - 昌平
國家電投集團(tuán)數(shù)字科技有限公司- 爬蟲Python開發(fā)工程師9000-14000元
北京 - 朝陽
美通社 - 爬蟲工程師9000-12000元
北京 - 通州
軟通動力信息技術(shù)(集團(tuán))股份有限公司 - 爬蟲工程師面議
北京 - 豐臺
中軟國際 - 爬蟲工程師6000-12000元
北京 - 門頭溝
北京邁迪培爾信息技術(shù)有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
陳女士/人事經(jīng)理
昨日活躍立即溝通
北京神州新橋科技有限公司北京神州新橋科技有限公司成立于2001年，是一家具有健全管理體制和現(xiàn)代運(yùn)營理念的IT專業(yè)服務(wù)與解決方案供應(yīng)商。公司聚焦客戶的信息化創(chuàng)新需求，可為客戶量身定制全系統(tǒng)IT解決方案，并持續(xù)為客戶提供業(yè)務(wù)全周期的專業(yè)服務(wù)，公司在金融、電信、互聯(lián)網(wǎng)、大型企業(yè)、政府、教育等多個領(lǐng)域具備廣泛的客戶基礎(chǔ)和豐富的行業(yè)經(jīng)驗。公司不斷拓展業(yè)務(wù)領(lǐng)域、緊跟技術(shù)發(fā)展方向、通過自主軟件產(chǎn)品來不斷充實自身能力，可為客戶提供融合性系統(tǒng)集成、應(yīng)用系統(tǒng)軟件開發(fā)、IT支撐平臺建設(shè)、云計算構(gòu)建、數(shù)據(jù)中心構(gòu)建、外包維保、安全評估、災(zāi)備咨詢、移動互聯(lián)網(wǎng)+定制開發(fā)、信息化應(yīng)用及監(jiān)控系統(tǒng)構(gòu)架等在內(nèi)的全流程信息化解決方案，是國內(nèi)少數(shù)幾家具備“一站式”需求實現(xiàn)能力的綜合性信息系統(tǒng)解決方案提供商之一。神州新橋自成立以來，業(yè)務(wù)始終保持高速穩(wěn)定的增長，目前已經(jīng)擁有專業(yè)技術(shù)隊伍和服務(wù)團(tuán)隊。公司總部（軟件研發(fā)中心）設(shè)在中國北京，上海、深圳、新疆等多個城市設(shè)有分公司和辦事處，在全國36個省市自治區(qū)建立了服務(wù)機(jī)構(gòu)，一線支持服務(wù)人員超過1600人，長期為全國性客戶本地實施以及運(yùn)維提供支撐服務(wù)，可及時響應(yīng)各類服務(wù)支持需求、具有統(tǒng)一規(guī)范化流程的服務(wù)體系。與此同時，為了更好的開拓海外業(yè)務(wù)，公司設(shè)立了HONG KONG SINO BRIDGE LIMITED，即北京神州新橋科技有限公司香港子公司，負(fù)責(zé)海外相關(guān)業(yè)務(wù)，為公司全球化發(fā)展奠定基礎(chǔ)。神州新橋與眾多國際國內(nèi)技術(shù)供應(yīng)商建立了廣泛的長期業(yè)務(wù)合作關(guān)系，通過了北京市高新技術(shù)企業(yè)認(rèn)證，ISO 9001:27001質(zhì)量體系認(rèn)證，擁有國家系統(tǒng)集成一級資質(zhì)認(rèn)證，具備承接大型及全國性項目的支持能力。與此同時，公司憑借強(qiáng)大的軟件研發(fā)團(tuán)隊，結(jié)合豐富的行業(yè)經(jīng)驗，在管理支撐類軟件集成和開發(fā)，業(yè)務(wù)運(yùn)營類應(yīng)用軟件APP，云平臺監(jiān)控運(yùn)維平臺運(yùn)營等業(yè)務(wù)方面具有一定市場地位，具備前期咨詢-中期建設(shè)-后期運(yùn)營的全流程體系化服務(wù)能力。公司所推出的平臺開發(fā)+合作運(yùn)營的模式，有效地降低了客戶對平臺后期迭代所帶來的風(fēng)險擔(dān)憂，公司服務(wù)研發(fā)產(chǎn)品的市場規(guī)模逐年增長。神州新橋聚集著一批富有敬業(yè)精神的專業(yè)人才，為客戶帶來價值，為社會、投資者及員工持續(xù)制造財富，是神州新橋公司始終堅持的服務(wù)理念。注意甄別招聘信息，認(rèn)準(zhǔn)官方渠道，謹(jǐn)防詐騙。
公司主頁