職位描述
該職位還未進行加V認證,請仔細了解后再進行投遞!
崗位職責:
1.參與爬蟲項目的架構設計、研發、編程工作,改進和提升爬蟲效率;
2.負責爬蟲數據的分布式存儲設計及代碼實現;
3.負責網頁信息抽取、清洗、消重和結構化處理等工作;
4.解決各類反爬問題,如字體加密、JS混淆、驗證碼、APP抓包和逆向工程;
5.對爬蟲數據進行數據處理、分析及匹配。
任職要求:
1.計算機相關專業,有三年以上 Python 開發經驗,熟練 Python 語言;
2.熟練掌握selenium、html、js、css、xpath、正則表達式等數據采集與提取工具;
3.精通常見的反爬蟲技術如字體加密、js混淆、滑塊驗證、點選驗證、app逆向等;
4.精通scrapy爬蟲框架,對分布式爬蟲、海量數據采集有深刻理解;
5.熟悉 Django 、Flask等web框架,以及自動化開發經驗者優先考慮;
6.能熟練使用Linux、Mongo、ES、Redis、kafka等技術優先考慮;
7.有激情和責任心,積極主動,具有良好的團隊協作、對外溝通能力,有良好的自學能力。提供 Github 或者博客地址,有開源項目貢獻者優先考慮
工作地點
地址:上海浦東新區上海浦東新區浦江2162浦東南路2162號3樓C座
以擔保或任何理由索取財物,扣押證照,均涉嫌違法,請提高警惕
職位發布者
曹小姐HR
上海騰道信息技術有限公司

-
計算機軟件
-
500-999人
-
私營·民營企業
-
浦東南路2162號
上海浦東新區
應屆畢業生
學歷不限
2025-11-05 17:17:54
人關注
下載APP
關注今日招聘微信服務號