1、負責網絡爬蟲系統(tǒng)平臺的架構設計與開發(fā),完善和重構現(xiàn)有采集系統(tǒng)及服務(如抓取調度,多樣化抓取,頁面解析和結構化抽取
2、研究爬蟲策略和防屏蔽規(guī)則,解決封賬號、封IP、驗證碼、頁面跳轉等難點,提升網頁抓取的效率和質量
3、負責后臺爬蟲數(shù)據的分布式存儲設計以及代碼實現(xiàn);
1.熟悉CentOS、Ubuntu操作系統(tǒng)及國產化系統(tǒng),麒麟,歐拉,龍蜥等等系統(tǒng)的日常運維及故障處理等
2.熟悉Kubernetes,DevOps、微服務治理、SpringCloud、分布式系統(tǒng)等相關技術;
3.熟悉主流云服務平臺(如阿里云、騰訊云、AWS等),具備3年以上運維管理經驗。
4.熟悉主流監(jiān)控工具(如Zabbix、Grafana、Prometheus等),具有監(jiān)控體系整合與實施經驗。
5.具備DevOps、CI/CD、監(jiān)控系統(tǒng)、運維自動化等工作能力。
6.熟悉openstack虛擬化平臺,能夠獨立部署及維護。
7.具有良好溝通能力,能夠配合開發(fā)及項目經理完成工作。