国产中文无码av每日更新在线观看, 亚洲天堂中文字幕一区二区三区免费, 国产口爆吞精在线观视频-黄色国产, 92福利-国内精品久久久久久99,亚洲成AV人A片不卡无码,浪潮AV无码专区,老熟女败火白浆,中文字幕日产av,色情日本免费看大片

更新于 2025-06-11 02:02:18

python爬蟲工程師

1.2-2.4萬·13薪
  • 西安長(zhǎng)安區(qū)
  • 3-5年
  • 本科
  • 全職
  • 招1人

雇員點(diǎn)評(píng)標(biāo)簽

  • 工作環(huán)境好
  • 同事很nice
  • 團(tuán)隊(duì)執(zhí)行強(qiáng)

職位描述

Scrapy分布式爬蟲數(shù)據(jù)挖掘數(shù)據(jù)清洗數(shù)據(jù)采集爬蟲開發(fā)HTMLCSSPythonJavaJavaScript
崗位職責(zé) 【有①Agent搭建/RAG/大模型微調(diào);②數(shù)據(jù)挖掘/數(shù)據(jù)清洗;③向量化知識(shí)庫構(gòu)建;任意一項(xiàng)相關(guān)經(jīng)驗(yàn)優(yōu)先】 1. 負(fù)責(zé)設(shè)計(jì)、開發(fā)和維護(hù)高效、穩(wěn)定的爬蟲系統(tǒng),滿足公司各類數(shù)據(jù)采集需求,涵蓋市場(chǎng)數(shù)據(jù)、行業(yè)動(dòng)態(tài)、競(jìng)品信息等; 2. 綜合運(yùn)用Python、Java、Node.js等編程語言進(jìn)行爬蟲程序開發(fā),根據(jù)不同網(wǎng)站的結(jié)構(gòu)和反爬策略,選擇合適的技術(shù)方案,確保代碼具備良好的質(zhì)量、性能和可擴(kuò)展性; 3. 深入分析網(wǎng)頁結(jié)構(gòu),熟練運(yùn)用HTML、CSS、JavaScript知識(shí),精準(zhǔn)解析和提取目標(biāo)數(shù)據(jù),處理復(fù)雜的動(dòng)態(tài)網(wǎng)頁內(nèi)容; 4. 實(shí)時(shí)監(jiān)控爬蟲運(yùn)行狀態(tài),及時(shí)發(fā)現(xiàn)并解決性能瓶頸、數(shù)據(jù)丟失、反爬限制等問題,通過優(yōu)化代碼、調(diào)整抓取策略等方式,持續(xù)提升爬蟲的抓取效率和穩(wěn)定性; 6. 研究并應(yīng)對(duì)各類反爬機(jī)制,如IP封鎖、驗(yàn)證碼識(shí)別、用戶行為檢測(cè)等,運(yùn)用代理池、驗(yàn)證碼識(shí)別技術(shù)、模擬用戶行為等手段,實(shí)現(xiàn)有效的反反爬策略,確保爬蟲能夠穩(wěn)定運(yùn)行; 7. 定期維護(hù)和更新現(xiàn)有爬蟲系統(tǒng),根據(jù)網(wǎng)站結(jié)構(gòu)變化和業(yè)務(wù)需求調(diào)整,及時(shí)優(yōu)化抓取邏輯,保證數(shù)據(jù)的持續(xù)獲取和有效性; 8. 編寫詳細(xì)、規(guī)范的技術(shù)文檔,記錄爬蟲系統(tǒng)的設(shè)計(jì)架構(gòu)、開發(fā)流程、關(guān)鍵代碼邏輯以及維護(hù)要點(diǎn),方便團(tuán)隊(duì)成員進(jìn)行技術(shù)交流和后續(xù)維護(hù)。 任職要求 1、計(jì)算機(jī)科學(xué)、軟件工程、數(shù)學(xué)等相關(guān)專業(yè)本科及以上學(xué)歷; 2、3年以上爬蟲開發(fā)工作經(jīng)驗(yàn),具備多個(gè)完整爬蟲項(xiàng)目的開發(fā)和維護(hù)經(jīng)驗(yàn); 3、有過處理反爬策略的成功案例,如繞過驗(yàn)證碼、突破IP封鎖等,能夠分享有效的反反爬經(jīng)驗(yàn)和技術(shù)手段; 4、熟練掌握Python、Java、Node.js等編程語言,能夠構(gòu)建大規(guī)模、高性能的分布式爬蟲系統(tǒng),提升數(shù)據(jù)采集效率; 5、具備較強(qiáng)的問題分析和解決能力,能夠快速定位和解決爬蟲開發(fā)過程中遇到的各種技術(shù)難題,如數(shù)據(jù)抓取異常、性能優(yōu)化等,善于通過調(diào)試工具和技術(shù)手段進(jìn)行問題排查 加分項(xiàng): 爬取過外網(wǎng)平臺(tái),熟悉爬蟲自動(dòng)化,熟悉多線程,做過IP池,處理過驗(yàn)證碼和較為復(fù)雜的圖文校驗(yàn),了解過vpn與國(guó)外服務(wù)器,進(jìn)行過數(shù)據(jù)清洗 母公司上海正帆科技股份有限公司簡(jiǎn)介: 上海正帆科技股份有限公司(股票代碼688596),公司網(wǎng)址:https://www.gentechindustries.com/,在做特種氣體(氮?dú)?、氫氣、氧氣、氦氣、氬氣等)這塊業(yè)務(wù)實(shí)力在民營(yíng)企業(yè)國(guó)內(nèi)排名第一,世界排名第四,前三都是世界500強(qiáng),多年來還一直服務(wù)于半導(dǎo)體芯片、光伏電池、光纖制造、固體半導(dǎo)體照明和平面顯示等高科技行業(yè),為客戶提供包括超高純水、氣、化和真空系統(tǒng)在內(nèi)的關(guān)鍵廠務(wù)系統(tǒng)以及相關(guān)服務(wù),向客戶提供制程關(guān)鍵系統(tǒng)綜合解決方案。 23年上市公司銷售額超過60億,凈利潤(rùn)超過10億,集團(tuán)營(yíng)收超100億。 本公司介紹: 徠鉑科服(上海)信息科技有限公司,公司網(wǎng)站:www.labservice.tech; 為 A股上市公司上海正帆科技股份有限公司的控股子公司,注冊(cè)地在上海浦東自貿(mào)區(qū),總部設(shè)立在上海市徐匯區(qū)零陵路599號(hào),是由世界500強(qiáng)化工企業(yè)核心科學(xué)家及前騰訊高級(jí)技術(shù)專家聯(lián)合打造的高科技科學(xué)大數(shù)據(jù)管理軟件企業(yè)。作為一家高科技信息技術(shù)公司,我們?yōu)榛瘜W(xué)化工,醫(yī)藥,材料及生命科學(xué)等科研單位提供高質(zhì)量數(shù)據(jù)信息管理服務(wù),幫助科研機(jī)構(gòu)信息化工程,軟件工程,知識(shí)管理,新藥開發(fā)等實(shí)現(xiàn)現(xiàn)代化,數(shù)據(jù)化。為客戶持續(xù)發(fā)展注入催化劑,一起創(chuàng)造簡(jiǎn)單,智慧,雙贏的局面;以互聯(lián)網(wǎng)+科研,助力中國(guó)科研創(chuàng)新創(chuàng)造。 我們公司絕大多數(shù)成員都具有碩士以上學(xué)歷,還有許多化學(xué),生物學(xué)或藥理學(xué)專業(yè)的博士。除上??偛客?,我們?cè)诒本?,西安,天津,南京均設(shè)有辦事處,公司目前已服務(wù)于7萬余名研究人員。公司的快速成長(zhǎng)的驅(qū)動(dòng)力來自于客戶的信賴和滿意,我們將持之以恒的致力于為客戶提供最為可靠,安全,迅速和高性價(jià)比的數(shù)據(jù)信息管理服務(wù)。我們的突破性平臺(tái)可幫助科學(xué)家日復(fù)一日地處理,訂購和優(yōu)化資源,幫助實(shí)驗(yàn)室安全管理人員實(shí)時(shí)動(dòng)態(tài)監(jiān)管化學(xué)品的生命周期,我們正在努力成為實(shí)驗(yàn)室管理的中國(guó)標(biāo)準(zhǔn)。 關(guān)于公司穩(wěn)定性: 我們公司的大股東也是母公司正帆科技的大股東,母公司現(xiàn)在很看好我們公司今后的發(fā)展,也會(huì)給予我們公司許多支持,現(xiàn)在母公司也在全國(guó)有13個(gè)生產(chǎn)基地,且將在合肥和河南建設(shè)實(shí)驗(yàn)室業(yè)務(wù)生產(chǎn)及研發(fā)基地,占地30畝,母公司有強(qiáng)大的利潤(rùn)及現(xiàn)金流作為支撐,在整個(gè)行業(yè)不景氣的情況下,更加顯得難得可貴。 公司福利 1、每周5天8小時(shí)工作制; 2、公司按國(guó)家有關(guān)規(guī)定為員工購買養(yǎng)老保險(xiǎn)、醫(yī)療保險(xiǎn)、工傷保險(xiǎn)、失業(yè)保險(xiǎn)、生育保險(xiǎn)等社會(huì)保險(xiǎn)和公積金項(xiàng)目。 3、公司針對(duì)員工職業(yè)發(fā)展需要,不定期進(jìn)行專項(xiàng)培訓(xùn); 4、公司不定期由各部門輪流組織開展各種活動(dòng),增進(jìn)團(tuán)隊(duì)情感,豐富員工業(yè)余生活。 5、享有國(guó)家規(guī)定的法定節(jié)假日休假制度;

工作地點(diǎn)

西安市-長(zhǎng)安區(qū)-航天城東長(zhǎng)安街501號(hào)(神舟五路交叉口西北角)B座515

職位發(fā)布者

魏歡/人事經(jīng)理

昨日活躍
立即溝通
公司Logo正帆科技
上海正帆科技股份有限公司一直致力于向中國(guó)的高科技產(chǎn)業(yè)提供制程關(guān)鍵廠務(wù)系統(tǒng)的綜合解決方案。客戶包含了集成電路芯片、平板顯示、半導(dǎo)體照明、太陽能光伏、光纖制造和生物制藥等產(chǎn)業(yè)的龍頭企業(yè)。正帆科技是一個(gè)立志高遠(yuǎn)、堅(jiān)持操守、不為短期利益誘惑而追求卓越的組織,是一個(gè)力爭(zhēng)基業(yè)長(zhǎng)青的企業(yè)。我們致力于打造中國(guó)高科技產(chǎn)業(yè)制程關(guān)鍵系統(tǒng)綜合解決方案第一品牌,為客戶創(chuàng)造最大價(jià)值,向中國(guó)高科技產(chǎn)業(yè)和先進(jìn)制造業(yè)提供先進(jìn)、可靠、完善的產(chǎn)品和服務(wù)。正帆科技年輕、專業(yè)、充滿激情的團(tuán)隊(duì)立志與我們的客戶一起,為實(shí)現(xiàn)實(shí)業(yè)興國(guó)、科技興國(guó)的民族理想做出自己的貢獻(xiàn)。
公司主頁