職位描述
計算機(jī)軟件
有爬蟲相關(guān)的經(jīng)驗(yàn)、標(biāo)注在簡歷上、了解安卓相關(guān)的也算加分項 Java 偏爬蟲，計算機(jī)相關(guān)專業(yè)
【崗位職責(zé)】
1、參與軟件的全周期開發(fā)，包括需求分析、設(shè)計、編碼、維護(hù)等，重點(diǎn)負(fù)責(zé)手機(jī) App 爬蟲系統(tǒng)的模塊設(shè)計與實(shí)現(xiàn)，高效抓取、解析并結(jié)構(gòu)化處理 App 內(nèi)的內(nèi)容數(shù)據(jù)（如商品信息、app直播間相關(guān)信息等）。
2、設(shè)計并優(yōu)化爬蟲策略，解決 App 反爬機(jī)制（如加密協(xié)議、驗(yàn)證碼、IP 封禁），確保數(shù)據(jù)采集的穩(wěn)定性和高效性；與 App 端技術(shù)團(tuán)隊協(xié)作，分析并應(yīng)對動態(tài)加載、JS 渲染、混淆加密等技術(shù)挑戰(zhàn)。
3、開發(fā)與維護(hù)數(shù)據(jù)處理 pipeline，包括數(shù)據(jù)清洗、去重、存儲（如 MySQL/Redis）及 API 接口封裝，為業(yè)務(wù)團(tuán)隊提供高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)支持。
4、與產(chǎn)品、算法、測試團(tuán)隊密切溝通，理解業(yè)務(wù)需求，確保爬蟲系統(tǒng)的功能與性能符合預(yù)期；定期輸出技術(shù)報告，反饋數(shù)據(jù)質(zhì)量與采集效率。
5、對新技術(shù)保持敏感度，主動研究并落地前沿技術(shù)（如 App 自動化測試框架、分布式爬蟲、無頭瀏覽器、OCR 識別），持續(xù)提升數(shù)據(jù)采集的效率與穩(wěn)定性。
【任職要求】
1、扎實(shí)的 Java 基礎(chǔ)，深入理解 Java 多線程、集合、IO、網(wǎng)絡(luò)通信等核心技術(shù)；熟悉設(shè)計模式，具備良好的面向?qū)ο缶幊棠芰Α?br>2、熟悉主流 Java 開發(fā)框架（如 Spring Boot、Spring Cloud），了解微服務(wù)架構(gòu)設(shè)計；有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先。
3、具備 App 爬蟲開發(fā)經(jīng)驗(yàn)，熟悉以下技術(shù)棧之一：
App 逆向分析：能使用工具（如 Frida、Xposed、Charles）分析 App 通信協(xié)議，破解數(shù)據(jù)加密邏輯；
4、App 自動化測試：熟悉 UIAutomator、Appium 等框架，實(shí)現(xiàn) App 界面元素的自動識別與交互；
5、掌握常見反爬應(yīng)對策略，如 IP 代理池管理、請求頭偽裝、驗(yàn)證碼識別（如 OCR、機(jī)器學(xué)習(xí)）、分布式爬蟲架構(gòu)設(shè)計。
6、具備良好的問題解決能力：能快速定位并解決爬蟲運(yùn)行中的各類異常（如請求超時、數(shù)據(jù)解析失敗、賬號封禁）；有大規(guī)模數(shù)據(jù)采集與處理經(jīng)驗(yàn)者優(yōu)先。
7、具備良好的溝通協(xié)作能力，能與跨團(tuán)隊成員高效協(xié)作，清晰表達(dá)技術(shù)方案與建議；有責(zé)任心，對代碼質(zhì)量嚴(yán)格要求，注重代碼的可維護(hù)性與可擴(kuò)展性。
【崗位職責(zé)】
1、參與軟件的全周期開發(fā)，包括需求分析、設(shè)計、編碼、維護(hù)等，重點(diǎn)負(fù)責(zé)手機(jī) App 爬蟲系統(tǒng)的模塊設(shè)計與實(shí)現(xiàn)，高效抓取、解析并結(jié)構(gòu)化處理 App 內(nèi)的內(nèi)容數(shù)據(jù)（如商品信息、app直播間相關(guān)信息等）。
2、設(shè)計并優(yōu)化爬蟲策略，解決 App 反爬機(jī)制（如加密協(xié)議、驗(yàn)證碼、IP 封禁），確保數(shù)據(jù)采集的穩(wěn)定性和高效性；與 App 端技術(shù)團(tuán)隊協(xié)作，分析并應(yīng)對動態(tài)加載、JS 渲染、混淆加密等技術(shù)挑戰(zhàn)。
3、開發(fā)與維護(hù)數(shù)據(jù)處理 pipeline，包括數(shù)據(jù)清洗、去重、存儲（如 MySQL/Redis）及 API 接口封裝，為業(yè)務(wù)團(tuán)隊提供高質(zhì)量的結(jié)構(gòu)化數(shù)據(jù)支持。
4、與產(chǎn)品、算法、測試團(tuán)隊密切溝通，理解業(yè)務(wù)需求，確保爬蟲系統(tǒng)的功能與性能符合預(yù)期；定期輸出技術(shù)報告，反饋數(shù)據(jù)質(zhì)量與采集效率。
5、對新技術(shù)保持敏感度，主動研究并落地前沿技術(shù)（如 App 自動化測試框架、分布式爬蟲、無頭瀏覽器、OCR 識別），持續(xù)提升數(shù)據(jù)采集的效率與穩(wěn)定性。
【任職要求】
1、扎實(shí)的 Java 基礎(chǔ)，深入理解 Java 多線程、集合、IO、網(wǎng)絡(luò)通信等核心技術(shù)；熟悉設(shè)計模式，具備良好的面向?qū)ο缶幊棠芰Α?br>2、熟悉主流 Java 開發(fā)框架（如 Spring Boot、Spring Cloud），了解微服務(wù)架構(gòu)設(shè)計；有分布式系統(tǒng)開發(fā)經(jīng)驗(yàn)者優(yōu)先。
3、具備 App 爬蟲開發(fā)經(jīng)驗(yàn)，熟悉以下技術(shù)棧之一：
App 逆向分析：能使用工具（如 Frida、Xposed、Charles）分析 App 通信協(xié)議，破解數(shù)據(jù)加密邏輯；
4、App 自動化測試：熟悉 UIAutomator、Appium 等框架，實(shí)現(xiàn) App 界面元素的自動識別與交互；
5、掌握常見反爬應(yīng)對策略，如 IP 代理池管理、請求頭偽裝、驗(yàn)證碼識別（如 OCR、機(jī)器學(xué)習(xí)）、分布式爬蟲架構(gòu)設(shè)計。
6、具備良好的問題解決能力：能快速定位并解決爬蟲運(yùn)行中的各類異常（如請求超時、數(shù)據(jù)解析失敗、賬號封禁）；有大規(guī)模數(shù)據(jù)采集與處理經(jīng)驗(yàn)者優(yōu)先。
7、具備良好的溝通協(xié)作能力，能與跨團(tuán)隊成員高效協(xié)作，清晰表達(dá)技術(shù)方案與建議；有責(zé)任心，對代碼質(zhì)量嚴(yán)格要求，注重代碼的可維護(hù)性與可擴(kuò)展性。
工作地點(diǎn)
北京豐臺區(qū)豐臺科技園區(qū)
相似職位
- java后端工程師2-2.5萬
北京 - 海淀
網(wǎng)之易信息技術(shù)(北京)有限公司 - 后端開發(fā)工程師（大廠外包）1.5-2.5萬
北京 - 海淀
博彥科技承德有限公司 - JAVA開發(fā)工程師1-1.5萬
北京 - 海淀
北京京師腦力科技有限公司 - java1-1.6萬
北京 - 海淀
秦皇島銳聘企業(yè)管理咨詢有限公司 - 高級軟件工程師1.8-3萬
北京 - 朝陽
北京紫東投資發(fā)展有限公司 北京 - 西城
國能信控技術(shù)股份有限公司
熱門公司推薦
- 霸王茶姬招聘
- 肯德基招聘
- 順豐招聘
- 美團(tuán)招聘
- 京東招聘
- 餓了么招聘
- 比亞迪招聘
- 中國一汽招聘
- 北京汽車招聘
- 蔚來招聘
- 東風(fēng)汽車招聘
- 長城汽車招聘
- 奇瑞汽車招聘
- 理想汽車招聘
- 長鑫存儲招聘
- 天江藥業(yè)招聘
- 藍(lán)月亮招聘
- 安踏招聘
- TCL招聘
- 海信招聘
- 聯(lián)想招聘
- ?？低曊衅?/a>
- 寧德時代招聘
- 中興招聘
- 新松招聘
- 京東方招聘
- 申通招聘
- 圓通招聘
- 中通招聘
- 百世物流招聘
- 德邦物流招聘
- 麥當(dāng)勞招聘
- 星巴克招聘
- 海底撈招聘
- 蜜雪冰城招聘
- 瑞幸招聘
- 雀巢招聘
- 騰訊招聘
- 百度招聘
- 快手招聘
- 字節(jié)跳動招聘
- 新華網(wǎng)招聘
- 小米招聘
- 招商銀行招聘
- 中信銀行招聘
- 北京銀行招聘
- 興業(yè)銀行招聘
- 交通銀行招聘
- 建發(fā)集團(tuán)招聘
- 中國移動招聘
- 中國聯(lián)通招聘
- 中國電信招聘
- 中糧集團(tuán)招聘
- 國藥控股招聘
- 中廣核招聘
- 中國船舶招聘
- 強(qiáng)生中國招聘
- 匯豐中國招聘
- 宜家招聘
- 立邦中國招聘
- 伊利招聘
- 青島啤酒招聘
- 京港地鐵招聘
- 寶馬招聘
- 小鵬汽車招聘
- 華為招聘
- 特斯拉招聘
- 吉利招聘
- 奔馳招聘
- 海爾招聘
- 美的招聘
- 京東方招聘
- 施耐德電氣招聘
- 德邦物流招聘
職位發(fā)布者
王敘飛/人事經(jīng)理
剛剛活躍立即溝通
北京聯(lián)合永道軟件股份有限公司北京聯(lián)合永道軟件股份有限公司（簡稱：聯(lián)合永道，股票代碼430664）是一家基于數(shù)字技術(shù)面向金融、能源、教育、IT與互聯(lián)網(wǎng)及其他領(lǐng)域提供全生態(tài)建設(shè)方案與服務(wù)的領(lǐng)先企業(yè)。公司成立于2007年4月10日，業(yè)務(wù)主要涉及金融、能源、電信、教育、IT&互聯(lián)網(wǎng)、交通、醫(yī)療等行業(yè)，運(yùn)用人工智能、云計算、大數(shù)據(jù)、區(qū)塊鏈、移動互聯(lián)和在線支付等技術(shù)，為國內(nèi)外客戶提供專業(yè)的軟件技術(shù)服務(wù)和解決方案。聯(lián)合永道經(jīng)過多年在技術(shù)領(lǐng)域的持續(xù)投入與發(fā)展，目前已擁有9項軟件產(chǎn)品等級證書，百余項知識產(chǎn)權(quán)和專利。在2021年通過了北京市專精特新企業(yè)認(rèn)證，且在2022年通過了北京市專精特新小巨人企業(yè)認(rèn)證。聯(lián)合永道擁有員工1000多人，90%以上為本科及以上學(xué)歷的技術(shù)人員。公司總部位于北京，在上海、廣州、武漢、杭州、深圳等地設(shè)有分支機(jī)構(gòu)。聯(lián)合永道自成立以來致力于為客戶提供了量身定制的IT技術(shù)服務(wù)。先后為交通銀行、廣州銀行、湖南農(nóng)信社、光大證券、浙商證券、中國人壽、中國人保、陽光保險、國華人壽、中國移動、中石油、中海油、中石化、中航信、昆侖數(shù)智、卓望科技、華三通信、大華股份、神州數(shù)碼、啟明星辰、百度、阿里、字節(jié)跳動、搜狐、網(wǎng)易等近千家優(yōu)秀企業(yè)提供了全面的顧問咨詢、軟件開發(fā)、質(zhì)量測試以及技術(shù)人員外包服務(wù)。同時公司注重公司自有產(chǎn)品開發(fā)，面向智慧教育領(lǐng)域形成完整的校園管理信息化產(chǎn)品以及解決方案，為國內(nèi)數(shù)百家中高職院校提供相應(yīng)的軟件產(chǎn)品與技術(shù)服務(wù)。典型客戶有：合肥職業(yè)技術(shù)學(xué)院、上海電子信息職業(yè)技術(shù)學(xué)院、天津渤?；ぢ殬I(yè)技術(shù)學(xué)院、河南機(jī)電職業(yè)學(xué)院、江蘇海事職業(yè)技術(shù)學(xué)院等。聯(lián)合永道經(jīng)過十多年的迅猛發(fā)展，取得了驕人的業(yè)績，這不僅源于公司高質(zhì)高效的產(chǎn)品研發(fā)、科學(xué)規(guī)范的項目管理和全面穩(wěn)定的人才團(tuán)隊，更得益于貫穿公司始終、獨(dú)具特色的“聯(lián)合永道，說到做到”的企業(yè)文化。這種文化建立了公司對客戶、對合作伙伴、對社會的誠信原則，為公司在市場競爭當(dāng)中樹立了良好的信用口碑，保障了公司的可持續(xù)成長。公司先后通過高新技術(shù)企業(yè)認(rèn)證、雙軟認(rèn)證、ISO9001:2008質(zhì)量管理體系認(rèn)證、ISO27001安全信息認(rèn)證、ISO14001環(huán)境管理認(rèn)證、ISO45001職業(yè)健康安全認(rèn)證、CMMI3級認(rèn)證、計算機(jī)系統(tǒng)集成三級認(rèn)證、AAA信用等級證書，榮獲近百項軟件行業(yè)大獎，并與國內(nèi)外近百家知名企業(yè)建立了緊密的技術(shù)協(xié)作與合作關(guān)系。立足中國，放眼全球，未來聯(lián)合永道將積極探索領(lǐng)先的IT服務(wù)技術(shù)，貫徹客戶至上，以人為本、堅持以技術(shù)推動進(jìn)步，科技改變生活的價值觀，致力成為國際領(lǐng)先的IT綜合服務(wù)商，用創(chuàng)新的數(shù)字技術(shù)與客戶一起改變世界。
公司主頁