崗位要求：
1. 負(fù)責(zé)爬蟲(chóng)系統(tǒng)的設(shè)計(jì)、開(kāi)發(fā)、部署與優(yōu)化，針對(duì)不同數(shù)據(jù)源（網(wǎng)頁(yè)、APP接口、第三方平臺(tái)等）制定合理的爬蟲(chóng)策略。
2. 解決反爬、高并發(fā)、數(shù)據(jù)抓取效率等問(wèn)題；定期維護(hù)爬蟲(chóng)任務(wù)，確保數(shù)據(jù)抓取的穩(wěn)定性、準(zhǔn)確性和及時(shí)性。
3. 設(shè)計(jì)并實(shí)現(xiàn)高效、可靠的數(shù)據(jù)管道，完成數(shù)據(jù)的抓取、清洗、轉(zhuǎn)換、存儲(chǔ)、同步等全流程處理；
4. 優(yōu)化數(shù)據(jù)處理鏈路，提升數(shù)據(jù)吞吐量和處理效率，保障數(shù)據(jù)質(zhì)量，為業(yè)務(wù)系統(tǒng)和AI模型提供高質(zhì)量的數(shù)據(jù)支撐。
5. 負(fù)責(zé)后端業(yè)務(wù)API的設(shè)計(jì)、開(kāi)發(fā)、測(cè)試與上線，根據(jù)業(yè)務(wù)需求提供穩(wěn)定、高效的接口服務(wù)；
6. 制定API接口規(guī)范，保障接口的安全性、可擴(kuò)展性和兼容性，配合前端及其他業(yè)務(wù)模塊完成接口聯(lián)調(diào)。
7. 對(duì)接各類(lèi)AI服務(wù)（如大模型、圖像識(shí)別、自然語(yǔ)言處理等），完成AI服務(wù)與后端系統(tǒng)的集成開(kāi)發(fā)；
8. 負(fù)責(zé)AI服務(wù)調(diào)用的適配、性能優(yōu)化、異常處理，確保AI能力在業(yè)務(wù)場(chǎng)景中穩(wěn)定落地應(yīng)用。
9. 持續(xù)監(jiān)控后端系統(tǒng)的運(yùn)行狀態(tài)，針對(duì)系統(tǒng)瓶頸（如數(shù)據(jù)庫(kù)性能、接口響應(yīng)速度、爬蟲(chóng)效率等）進(jìn)行優(yōu)化；
10. 負(fù)責(zé)線上系統(tǒng)故障的排查、定位與修復(fù)，保障系統(tǒng)穩(wěn)定運(yùn)行。
11. 撰寫(xiě)并維護(hù)技術(shù)設(shè)計(jì)文檔、接口文檔、開(kāi)發(fā)手冊(cè)等；
12. 沉淀開(kāi)發(fā)經(jīng)驗(yàn)和技術(shù)方案，參與團(tuán)隊(duì)技術(shù)分享，推動(dòng)團(tuán)隊(duì)技術(shù)能力提升。
13. 配合團(tuán)隊(duì)協(xié)作與項(xiàng)目推進(jìn)：參與需求評(píng)審、技術(shù)方案討論，配合產(chǎn)品、前端、測(cè)試等團(tuán)隊(duì)完成項(xiàng)目研發(fā)任務(wù)；
14. 積極響應(yīng)業(yè)務(wù)需求變更，保障項(xiàng)目按時(shí)按質(zhì)交付。
崗位要求：
1. 本科及以上學(xué)歷，計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、信息工程等相關(guān)專(zhuān)業(yè)；優(yōu)秀者可放寬至大專(zhuān)學(xué)歷。
2. 3年及以上后端開(kāi)發(fā)經(jīng)驗(yàn)，至少1-2年爬蟲(chóng)系統(tǒng)、數(shù)據(jù)管道相關(guān)開(kāi)發(fā)經(jīng)驗(yàn)；
3. 有AI服務(wù)集成（如調(diào)用大模型API、部署私有化AI模型）相關(guān)經(jīng)驗(yàn)者優(yōu)先。
4. 精通至少一種后端開(kāi)發(fā)語(yǔ)言（如Python、Java），同時(shí)熟悉Python與Java語(yǔ)言，熟悉主流開(kāi)發(fā)框架（如Django、Flask、Spring Boot、Gin等）；
5. 熟悉爬蟲(chóng)技術(shù)棧，掌握requests、Scrapy、Selenium、Playwright等爬蟲(chóng)工具，了解常見(jiàn)反爬機(jī)制（如IP封禁、驗(yàn)證碼、Cookie驗(yàn)證）及解決方案；
6. 熟悉數(shù)據(jù)處理相關(guān)技術(shù)，掌握ETL流程設(shè)計(jì)，了解Spark、Flink等大數(shù)據(jù)處理框架者優(yōu)先；7)精通關(guān)系型數(shù)據(jù)庫(kù)（如MySQL、PostgreSQL）和非關(guān)系型數(shù)據(jù)庫(kù)（如MongoDB、Redis）的設(shè)計(jì)、優(yōu)化與操作；
7. 了解RESTful API設(shè)計(jì)規(guī)范，具備API開(kāi)發(fā)、接口鑒權(quán)、接口性能優(yōu)化經(jīng)驗(yàn)；
8. 具備良好的溝通能力、團(tuán)隊(duì)協(xié)作精神和責(zé)任心，能承受一定的工作壓力。
9. 熟悉AI相關(guān)技術(shù)（如大模型應(yīng)用、向量數(shù)據(jù)庫(kù)），有AI+業(yè)務(wù)場(chǎng)景集成經(jīng)驗(yàn)者優(yōu)先；