<input id="6mae2"></input>
  • <menu id="6mae2"><tt id="6mae2"></tt></menu>
  • <menu id="6mae2"><tt id="6mae2"></tt></menu>
  • <menu id="6mae2"><u id="6mae2"></u></menu>
    <menu id="6mae2"></menu>
    • EN
     

    職場百科   職場文庫   招聘信息   企業服務

    您所在的位置:最新招聘信息 >全國職位信息 >爬蟲開發工程師招聘信息

    職位推薦:金融保安貿易客戶關系童裝店長高級電工汽車美容店長翻譯專員針灸醫師私人醫生移動互聯網開發總賬會計數控車床智能家居橋梁工程操盤手奢侈品銷售

    職位分類:不限

    更多
    更多:

    已選條件:
    爬蟲開發工程師
    清除條件
    全選
    申請職位

    爬蟲開發工程師北京三六九數動科技有限公司北京-朝陽區1.5-2.5萬/月01-22

    學歷要求:本科|工作經驗:5-7年|公司性質:民營公司|公司規模:1000-5000人

    崗位職責1.完成對復雜網站的數據抓取和交互模擬; 2.通過各種渠道或方式對相關網站進行抓; 3.不斷完善并維護相關網站的抓取,使之穩定運行,核心邏輯必須有單元測試; 4.善于靈活運用各種非爬蟲技術解決爬蟲相關問題; 5.隨時響應并解決突發問題; 任職資格1.五年以上網站抓取經驗,有電商網站、輿情相關抓取經驗; 2.有較強的網站分析能力,熟知各種反爬措施及相關解決辦法 3.熟練使用scrapy、eventlet、gevent、requests、selenium,正則表達式、解析結構與非結構數據等技術實現高并發穩定抓; 4.熟練使用消息隊列(MQ)、celery等異步框架實現分布式任務處理; 5.熟知HTTP、TCP、Socket等底層知識; 6.熟練掌握Fiddler、Http debugger等抓捕工具; 7.熟悉WebMagic、adsl撥號、正則表達式、脫殼技術、加密、圖片破解、二維碼識別、滑塊驗證碼破解、httpClient、分詞、分布式爬蟲調度、數據質量監控、代理ip調度算法、配置化爬蟲、授權爬蟲、輿情、應用市場、反爬; 8.熟悉MySQL、MongoDB基本使用; 9.熟悉python Scapy,熟悉Javascript,有一定的分析能力。

    立即申請
    收藏

    Python開發工程師建順信息科技(廣州)有限公司廣州-天河區0.8-1.2萬/月01-22

    學歷要求:本科|工作經驗:2年|公司性質:外資(非歐美)|公司規模:50-150人

    崗位職責:-負責數據平臺的數據開發工作,了解業務需求并根據需求對數據進行獲取,清洗,統計分析。-負責對代碼進行編寫,測試,部署直到用于生產環境,及后期維護。-負責BI報表開發及維護。崗位要求:-計算機相關專業本科或以上學歷,2年以上工作經驗;-精通python服務器端編程;-熟識hbase/redis/mongodb/mysql等存儲服務,了解docker原理。-熟練數據處理流程,有數據獲取,清洗,分析,建模相關經驗,對數據與業務方面有足夠的理解和敏感度,有流式數據處理經驗更佳。 -良好的溝通能力,語言表達能力,團隊協作力,工作細心,認真負責。建順總部位于香港順豐大廈,現廣州及新加坡均設有分公司,主營業務為為市場提供量身訂制的專屬配送系統。因公司近年業務急速發展,不斷擴張海外市場,現急需IT人才擴大現有團隊,組建多條隊伍,以分別支持國內與海外線的業務。建順誠邀杰出IT人才加入,我們將向您提供良好的晉升機會、具有競爭力的薪酬福利、五險一金、帶薪年假、雙休、彈性工作時間,期待您的加入。

    立即申請
    收藏

    Java爬蟲/python爬蟲開發工程師上海百秋電子商務有限公司上海-長寧區1.2-1.8萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:民營公司|公司規模:1000-5000人

    1、負責數據抓取平臺規劃和建設,完成數據采集與爬取、解析處理和入庫;2、負責設計爬蟲系統,針對不同的網頁特點,進行合理布局規劃配置,***能做到分布式; 3、設計爬蟲策略和防屏蔽規則,解決封賬號、封IP、驗證碼等難點; 4、必須熟悉一套爬蟲框架,例如webmagic、scrapy框架等等。任職資格:1、本科級以上學歷,3年及以上相關經驗2、有千萬級數據爬取和處理經驗3、精通J2EE、SSH框架,精通Java語言和面向對象設計開發,熟悉Servlets、JSP、XML等Web開發技術;4、熟悉HTML5、CSS、JS相關技術,熟悉AngularJS、Bootstrap等前端框架,有Web項目性能調優經驗者優先;5、熟練掌握SQL語言,熟悉主流數據庫開發,了解數據庫優化等相關知識;6、對設計模式、軟件工程等有較深入的理解;

    立即申請
    收藏

    爬蟲開發工程師江蘇隆力奇生物科技股份有限公司蘇州0.7-1.3萬/月01-22

    學歷要求:大專|工作經驗:1年|公司性質:民營公司|公司規模:10000人以上

    1、負責編寫網絡爬蟲腳本;2、負責網頁信息抽取、數據清洗等研發和優化工作;3、能用系統解決動態網頁內容抓取、深度網頁內容抓取的關鍵技術;4、熟悉采集系統的調度策略,分析爬蟲系統瓶頸設計,實現相應策略和算法,提升爬蟲的抓取效率和質量任職資格:1、計算機科學、信息系統、數據科學、應用數學或相關專業大專及以上學歷;2、一年以上電商行業爬蟲工作經驗優先;3、優秀的學習能力與發現、分析并解決問題的能力;4、良好的團隊合作精神與溝通能力。5、熟悉Python/JAVA/C++等語言及相關算法和數據結構;6、熟悉MySQL等關系型數據庫,有NoSQL,Redis等工作經驗者優先;薪資福利:1.公司為員工提供業內有競爭力的薪酬待遇和年終福利;2.公司繳納五險一金;

    立即申請
    收藏

    Python開發工程師武漢市云估價信息技術有限公司武漢-江漢區1-1.5萬/月01-22

    學歷要求:本科|工作經驗:2年|公司性質:民營公司|公司規模:150-500人

    技能要求: Python,MySQL,SQL,爬蟲工程師,爬蟲架構 1、負責爬蟲系統的架構設計,系統搭建;2、研究分析目標對象,對爬取的數據進行加工處理(清洗、存儲、檢索等);3、設計爬取、調度和抽取算法,優化爬蟲策略和防屏蔽規則,提升抓取的效率和質量;4、及時解決爬取過程中出現的問題并不斷優化程序;5、入職后期會著手公司新產品的web后端開發任務。關鍵勝任要求:1、計算機軟件相關專業,本科及以上學歷,2年及以上工作經驗;2、熟悉Python開發語言、精通SQL、有相關非結構化數據庫開發經驗;3、熟悉多線程、網絡通信編程,擅長數據結構分析,熟悉高并發、高性能的分布式系統的設計及應用;4、精通開源爬蟲框架(如scrapy、webmagic、nutch、heritrix等),有開發爬蟲框架經驗優先;熟悉反爬蟲、驗證碼識別技術者優先;5、具備較強團隊合作與敬業精神,富于創新,擁有較強的研究能力、學習能力與執行能力。

    立即申請
    收藏

    爬蟲開發工程師優車庫網絡科技發展(深圳)有限公司深圳-福田區1-1.2萬/月01-22

    學歷要求:本科|工作經驗:1年|公司性質:民營公司|公司規模:500-1000人

    崗位職責:1、參與爬蟲項目的架構設計、研發工作,改進和提升爬蟲效率;2、攻破各種反爬策略。解決各類技術疑難問題,包括網絡問題、app分析、反編譯等;3、與大數據工程師對接,完成實時數據與離線數據的爬取與對接;4、根據業務需要,主動搜羅并采集相關數據源。任職要求:1、計算機及相關專業本科及以上學歷,兩年以上相關工作經驗;2、精通至少一種開發語言(Python、Java);3、熟練掌握一種開源爬蟲框架,如scrapy、webmagic,有研發爬蟲框架經驗者優先;4、 熟悉Appium、Selenium等技術;5、善于獨立分析并解決核心問題,如JavaScript反爬、爬蟲策略、防屏蔽規則、App爬取、驗證碼識別技術等;6、熟悉mysql, mongodb, redis等數據庫;7、對爬蟲有濃厚的興趣,責任感強,有較好的交流溝通能力和團隊合作能力;8、 有APP安全、逆向等領域經驗的優先。福利待遇:1、7.5小時工作制,周末雙休,按國家通知休假與享受有薪假期;2、入職即購買六險一金,高溫、通信、全勤等全面的津貼;3、公司和部門的員工活動多多,文體活動,每月團建,員工生日會,節假日福利,年度體檢等;4、良好的團隊氛圍,全面的人性關懷,充分的信任與授權;5、健全的培養體系,廣闊的個人發展空間和晉升空間;6、優秀員工可享受股權激勵。

    立即申請
    收藏

    誠招網站微信公眾號推廣四川玖加壹人力資源有限公司成都0.8-1萬/月01-22

    學歷要求:大專|工作經驗:3-4年|公司性質:民營公司|公司規模:50-150人

    四川智游教育投資管理有限公司主營招生咨詢和投資辦學,在職業教育市場耕耘近十年,在四川、重慶、貴州和云南擁有豐富的教育資源,人才戰略是公司的***戰略,2021年伊始,公司決定以開放共贏的定位歡迎有志于教育事業的朋友加盟公司,成為公司合伙人,合作共贏。1、三年以上微信公眾號推廣引流經驗2、擁有公眾號推廣渠道和合作平臺資源3、具備一定的營銷理念及策劃執行能力4、有成功案例5、歡迎相關引流資源人士加盟合作

    立即申請
    收藏

    爬蟲開發工程師上海冠勇信息科技有限公司上海-閔行區1.5-2.5萬/月01-22

    學歷要求:大專|工作經驗:3-4年|公司性質:民營公司|公司規模:50-150人

    職責描述1. 負責多平臺信息爬取和頁面內容的提取分析;2. 優化抓取策略,充分利用帶寬資源,避免限制;3. 分析爬蟲系統的技術缺陷,對策略架構做出合理地調整和改進。職位要求1、有3年以上網絡爬蟲相關開發 經驗;2、本科及以上學歷,計算機相關專業;3、良好的JAVA和Python基礎知識,熟悉多線程并發處理;4、熟悉SQL語言,熟悉MySQL等主流數據庫;5、熟悉javascript和html,以及http協議;6、有較強的學習能力和責任心,熱愛軟件開發;7、對大數據處理有了解或實際項目中有應用hadoop的優先;

    立即申請
    收藏

    高級爬蟲開發工程師億翰智庫上海-靜安區1.2-1.5萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:上市公司|公司規模:150-500人

    爬蟲工程師崗位職責:1、負責數據抓取平臺規劃和建設,完成數據采集與爬取、解析處理和入庫;2、研究各種網頁探尋特點和規律,負責網頁信息抽取、數據清洗工作;3、負責領域知識的定向爬取、深度提取和挖掘;4、配合數據清洗、整理、去重和合并工作;5、負責爬蟲相關技術的創新和優化。任職要求:1、計算機相關專業,本科以上學歷,2年以上爬蟲領域工作經驗;(需學信網可查學歷)2、熟悉Python開發,熟悉wxpython,熟悉抓取框架,有完整的界面化爬蟲平臺開發經驗;3、熟悉Web抓取原理及技術實現細節,對HTTP協議和HTML有深入了解;4、熟悉數據抓取和整合技術,從結構化和非結構化數據中提取信息;5、熟悉反爬機制,能夠通過逆向js腳本,獲取參數,熟悉使用正則表達式/驗證碼加密處理/代理池,熟悉行為驗證碼識別、模擬登陸。

    立即申請
    收藏

    高級爬蟲開發南京中新賽克科技有限責任公司南京-江寧區1.5-2.5萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:上市公司|公司規模:1000-5000人

    職位職責1. 負責分布式爬蟲架構的設計和實現2. 負責分布式爬蟲框架的調研和性能評估,及架構優化、性能優化、代碼優化等3. 負責復雜驗證碼的破解技術調研和實現,負責爬蟲技術的調研和破解4. 負責制定網站爬蟲的抓取規范、技術規范和代碼規范職位要求1. 本科以上學歷2. 工作五年以上相關經驗3. 有豐富的爬蟲反爬經驗,混淆、瑞數js逆向、cookie加密等4. 對scrapy、以及scrapy-redis分布式爬蟲框架源碼有比較深的認識,且有過二次開發經驗,且熟悉框架各個配置含義,并對框架的性能以及優化有較成熟的見解和嘗試。5. 對代理的功能和請求流向有熟悉的了解,且熟悉賬號的飼養和賬號池的構建,并對部分需要賬號登陸的網站抓取有豐富的經驗。6. 驗證碼,如滑塊,點擊圖片中數字,旋轉圖片等有較成熟的破解經驗。7. 對部署多爬蟲抓取任務,制定定時策略,實現增量更新數據,有豐富的經驗。

    立即申請
    收藏

    WEB安全防爬工程師(新項目)(J200611026)滴滴北京-海淀區2-2.5萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:民營公司|公司規模:10000人以上

    崗位職責:1. 業務流量分析:熟悉業務場景,利用技術手段建立有效的異常識別方法,并持續優化;2. 黑灰產行業研究:熟練掌握黑灰產使用的技術手段和發展趨勢,定期輸出分析報告;3. 業務治理:通過分析案例進行策略優化,報警優化,業務加固,不斷完善運營體系 任職資格:1. 熟悉常見的爬蟲與反爬的機制;2. 擅長web安全,了解常見的web安全漏洞及原理,可以獨自分析并挖掘漏洞;3. 熟練掌握Spark、Hive、Sql等大數據工具的使用;掌握常見的統計方法,對常見的分類,聚類算法有過實踐;能夠準確的提取攻擊特征;4. 熟練掌握Python、go、java中一種語言;5. 有過實戰攻防對抗經驗、黑灰產對抗經驗優先

    立即申請
    收藏

    數據爬蟲工程師網易集團廣州-天河區1.5-2萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:上市公司|公司規模:10000人以上

    【工作內容】- 負責指定的網站進行頁面抓取、數據清理提;- 參與已有爬蟲系統中作業的檢驗,設計和優化爬蟲策略,充分利用已有服務器和寬帶資源進行優化;- 針對APP數據進行抓包分析,爬取APP數據并整合存儲;- 對大規模數據進行處理和簡單分析!韭毼灰蟆- 本科及以上學歷,計算機相關專業;- 掌握Python、Java等編程語言,了解多線程、多進程、網絡通信等編程相關知識;- 掌握網頁抓取原理,了解TCP/HTTP協議、Html/Js/Css、Ajax等技術,熟悉一般的網站登陸原理;- 具有實際爬蟲開發工作經驗,熟悉常見爬蟲框架和工具,比如pyspider, scrapy和Selenium等;- 了解爬蟲框架原理、有過APP抓包分析經驗者優先;- 具有Hadoop、數據挖掘、自然語言處理等相關經驗者優先;- 能夠快速學習和掌握新技術,優秀的分析、解決問題能力,具備團隊合作精神。

    立即申請
    收藏

    爬蟲工程師騰訊無線大連研發中心大連-高新園區1.5-2.5萬/月12-29

    學歷要求:|工作經驗:5-7年|公司性質:民營公司|公司規模:150-500人

    崗位職責:崗位要求:1、了解HTTP協議,HTML/CSS/Javascript等Web開發相關技術,熟悉xpath語法3、熟悉Linux常用命令,selenium、appnium等組件操作4、熟悉MYSQL、MongoDB等常用數據庫的使用和庫表,索引操作5、能熟練使用 Python編寫網絡請求及處理腳本,了解GOLang語言或愿意轉GO語言技術棧6、熟悉頁面自動化測試工具及流程,有分析能力和定位問題的能力7、有hook經驗,了解xpost框架者優先8、有互聯網數據采集經驗及反爬取經驗者優先 職位描述1、參與公司爬蟲系統的設計與開發;2、爬蟲系統技術架構設計、重構、優化,不斷增強爬蟲系統的性能和功能,解決反爬問題;3、參與網頁信息抽取、數據清洗等研發和優化工作;4、技術難題攻關,解決實際開發過程碰到的各類問題。

    立即申請
    收藏

    爬蟲開發工程師同程數科上海-浦東新區2-3萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:民營公司|公司規模:150-500人

    崗位職責:1、負責多平臺信息爬取和頁面內容的提取分析,負責破解各類反爬機制;2、負責APP的數據抓取和爬取鏈路優化(包括APP反編譯、逆向分析、脫殼、加密參數破解、抓取攻防等),提升抓取能力;3、研究爬蟲策略和防屏蔽規則,解決封賬號、封IP、驗證碼、頁面跳轉等難點,提升網頁抓取的效率和質量;4、負責爬蟲平臺的構建,實現爬蟲產品可視化、產品化;5、輔導培養爬蟲相關研發人員。任職要求:1、3年以上Python 爬蟲經驗;2、熟悉多線程、網絡編程、網頁抓取原理、正則表達式、HTTP協議等;3、熟悉任意開源web框架,如Flask, Django等;4、熟悉任意開源爬蟲框架,如scrapy-splash、pyspider等;5、熟練使用 Mysql、Redis、Kafka 等中間件;6、有海量主流電商平臺數據爬取經驗,能迅速響應電商平臺變動做規則調整;7、有開發爬蟲框架經驗優先,熟悉反爬蟲、驗證碼識別技術者優先;8、熟悉編寫網絡爬蟲采集規則,對反爬、加解密、代理、模板、app破殼、Android逆向等關鍵技術理解透徹,具有群控和搜索相關技術研發經驗者優先;9、較強的溝通能力,對解決挑戰型問題充滿激情,人品好,耐得住寂寞。

    立即申請
    收藏

    爬蟲開發工程師北京北大方正電子有限公司北京-海淀區1.5-2萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:國企|公司規模:1000-5000人

    職責描述: 1.參與爬蟲系統的架構設計、核心模塊(抓取調度,頁面解析和結構化抽取,海量數據存儲和讀取等)開發,改進和提升爬蟲效率; 2.攻破各種反爬策略,快速解決各類技術疑難問題,建設反爬對抗組件庫; 3.完善爬蟲的技術指標體系,并基于指標迭代優化爬蟲基礎能力,指標體系中,全面性指標的建立,基于隨機采樣,估計系統總體目標信息; 4.技術難題攻關,解決實際開發過程碰到的各類問題; 任職要求: 1.計算機或相關專業,本科或以上學歷,3年以上爬蟲開發經驗; 2.精通至少一種開發語言,如Python、Java,熟練掌握至少一種開源爬蟲框架,熟練掌握mongo、redis、mq、hadoop等相關技術; 3.對爬蟲有濃厚的興趣,責任感強,有較好的交流溝通能力和團隊合作能力; 4.優先條件:參與過分布式爬蟲系統設計和開發;有自己的爬蟲作品;參與過開源爬蟲項目并貢獻代碼;深入研究過開源爬蟲項目源碼。

    立即申請
    收藏

    爬蟲開發工程師阿拉丁試劑(上海)有限公司上海1-1.5萬/月12-22

    學歷要求:本科|工作經驗:2年|公司性質:上市公司|公司規模:150-500人

    1、負責多平臺PC網頁的數據自動化收集及數據清洗處理(ETL),有此方面經驗者尤佳;2、負責對已采集的數據分析匯總及數據庫設計與實現;3、負責爬蟲系統的設計及開發工作;4、能獨立解決實際開發過程碰到的各類問題。職位要求:1、熟悉linux平臺開發,有2年以上的python開發經驗;具有實際爬蟲開發、內容提取解析工作經驗2年以上;2、精通信息抓取和整合技術,從結構化的和非結構化的數據中獲取信息;3、熟悉使用爬蟲相關框架及技術,如scrapytpClient/jSoup/xpath/正則表達式/驗證碼加密處理/代理池等;4、熟悉各類驗證碼識別、模擬登陸、數據ETL,反爬和防屏蔽規則;5、熟悉HTML/CSS/JS/JQUERY/AJAX等相關知識;6、設計爬蟲策略和反防屏蔽規則,提升網頁抓取的效率和質量。

    立即申請
    收藏

    python后端開發工程師上海瀛太信息科技有限公司上海1-1.6萬/月01-22

    學歷要求:大專|工作經驗:2年|公司性質:民營公司|公司規模:少于50人

      崗位職責:  1、熟悉Python編程語言,熟悉Django/Flask等任意Web框架一種或者多種,具備開發Web應用系統的項目經驗。  2、熟悉PostgreSQL或MySQL數據庫操作,熟悉SQL語句編寫和性能調優。  3、熟悉mongodb,redis。  4、具備web應用架構能力,能熟練使用常用設計模式。  5、有Linux環境使用經驗,可以看懂并簡單修改Bash/C/Python/Java代碼。  6、理解并使用過源碼管理工具/單元測試框架 /自動化測試工具。  任職要求:1、溝通能力,自學能力強,有強烈的求知欲,有獨立解決分析、解決問題的能力,良好的團隊合作意識。  2、?萍耙陨蠈W歷,2年以上工作經驗。  3、具備需求分析能力和系統設計能力。  有以下經驗者優先考慮:  1、關注或參與過一個以上的開源項目,理解開源軟件的開發流程;  2、有安全或大數據的從業經驗;  3、有數據挖掘經驗。  4、熟悉敏捷開發流程。    

    立即申請
    收藏

    爬蟲工程師華夏經緯(廣州)數據科技股份有限公司廣州-番禺區0.6-1.2萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:民營公司|公司規模:50-150人

    崗位職責:1、設計和開發分布式網絡爬蟲程序;2、負責規劃并實現數據采集系統的技術實現方案;3、負責爬蟲核心算法的策略優化研究,充分利用資源,提升網頁抓取的效率和質量。任職要求:1、全日制計算機相關專業,有實際工作經驗2年或以上;2、熟練使用Python,有良好的編碼習慣;3、至少熟悉一種常用數據庫:Mysql / MongDB / Redis;4、喜歡技術鉆研,具有較強的學習能力,能獨立開發爬蟲項目,具有自主解決問題能力。

    立即申請
    收藏

    爬蟲開發工程師深圳市富龍小額貸款有限公司深圳-龍華區1-1.8萬/月01-22

    學歷要求:本科|工作經驗:3-4年|公司性質:外資(非歐美)|公司規模:10000人以上

    1、參與系統的需求調研和分析,撰寫相關技術文檔;2、負責系統框架和核心代碼的實現,搭建系統開發環境;3、負責項目概要設計、詳細設計、開發計劃等的編制并實施,系統開發測試、部署和集成;4、負責爬蟲系統的架構設計與開發、維護,爬取指定網頁或app,并對數據進行清洗、分類、入庫;5、負責解決開發過程中的技術問題,并參與代碼維護與備份。任職要求:1、本科以上學歷,計算機相關專業,有1到5年python相關工作經驗;2、對面向對象有深刻的理解、熟悉常用設計模式;3、熟悉Tomcat服務器、Spring、iBatis等框架和微服務springcloud 組件的使用;4、熟悉MySQL、MongoDB、Redis,NoSQL數據庫的使用,有性能優化的實際經驗;5、有分布式系統開發經驗者優先考慮;對機器學習或深度學習感興趣者,有nlp相關經驗者優先;6、精通常見爬蟲庫和框架如urlib、requests、Scrapy,熟悉numpy、pandas等數據處理相關的python庫;7、熟悉基于正則表達式、Xpath,CSS選擇器等網頁信息抽取技術8、具有很強的責任心和扛壓能力,善于溝通,進行多方協作;薪資福利:1、年終雙薪,五險一金,公司可以提供住宿;2、團建活動:各部門定期組織員工聚會等;3、員工生日會、下午茶、各種禮金(如結婚禮金、端午節/中秋節禮金等);4、健康保障:公司每年為員工提供一次免費健康體檢。

    立即申請
    收藏

    python爬蟲開發工程師廣州帆起智造科技有限公司廣州-黃埔區6-8千/月01-22

    學歷要求:本科|工作經驗:2年|公司性質:民營公司|公司規模:150-500人

    【崗位職責】1.?參與已有爬蟲系統中作業的檢驗,設計和優化爬蟲策略,充分利用已有服務器和寬帶資源進行優化;2.?設計爬蟲策略和防屏蔽規則,解決封賬號、封IP、驗證碼等難點攻克,提升網頁抓取的效率和質量3.?負責爬蟲系統的架構設計與開發,編寫大規模分布式網絡爬蟲(多線程、分布式調度、協議處理);4.?負責指定網站進行網頁內容抓取、深度網頁內容抓取的關鍵技術以及數據清理提;5.?負責數據的抓取、解析、清洗、入庫、優化;構建和開發在海量數據下多維分析的數據分析平臺!救温氁蟆1.?本科以上專業,精通網絡爬蟲、互聯網搜索、大數據新聞、網絡多媒體、網絡視頻、即時通訊等技術,有著豐富的網絡數據工程項目經驗,具有網絡爬蟲、網頁信息抽取等相關經驗,做過電商平臺商品采集項目者優先;2.?Python基礎扎實,熟練運用各種爬蟲庫,精通Scrapy框架,了解Django框架(做網站的),3.?熟悉Mysql、Redis、MongoDB一種或者多鐘數據庫開發技術,熟悉linux操作4.?熟練使用pandas,numpy,openpyxl處理數據5.?精通網頁抓取原理及技術、深度抓取、動態網頁技術抓取、瀏覽器模擬抓取技術,從結構化的和非結構化的數據中獲取信息;6.?精通爬蟲和反爬技術,精通http底層協議,了解TCPHTTP協議、HtmlJsCss、Ajax等技術;精通深度抓取、動態網頁技術抓取、瀏覽器模擬抓取技術等;7.?熟悉分布式系統、多線程;8.?具有網絡爬蟲、網頁信息抽取、web挖掘等搜索引擎等相關經驗優先,做過電商平臺商品信息采集項目者優先。9.?能夠快速學習和掌握新技術,優秀的分析、解決問題能力,具備團隊合作精神我們的福利:1、工作時間:朝九晚六,每天8個小時工作制。2、薪酬結構:底薪+提成+季度獎金+年終獎金,多勞多得,每年至少有1次調薪機會,還設有各類優秀評選獎勵。3、免費午餐:公司每天都安排營養午餐供應,品種豐富,每周有特色免費的老火靚湯提供4、獎罰制度:公司每月都會對優秀的員工進行表彰并發放獎金、全勤獎5、社會保障:購買社保五險(養老、生育、工傷、失業、醫療保險)+商業意外險6、工作氛圍:年輕活力、積極向上,每天有固定的休息放松時間7、晉升機制:完善的晉升考核獎勵機制,管理崗位晉升及專業技能縱深 雙向發展通道8、員工活動:公司注重員工的身體健康,每季會組織一次集體活動,如:登山、郊外游等活動9、假期福利:帶薪年假,帶薪病假、婚假、產假、生育津貼、喪假等、10、日常福利:水果下午茶時間,生日禮物,節日禮物等,如端午節送粽子,中秋節送月餅等11、試用期:1-3個月,我們給予新人莫大的認可與鼓勵,以能力和結果為導向,幫助你提前達成目標,提前轉正。:公司每天都安排營養午餐供應。

    立即申請
    收藏

    全選
    申請職位
    共13頁,到第確定

    精英競拍匯-中高端人才求職平臺

    互聯網專場
    招聘職位: 后端開發,前端開發,移動端開發,測試,產品/設計/運營
    金融專場
    招聘職位: 財務審計,合規與風險控制,后臺運營,投行,銷售
    房地產專場
    招聘職位: 房地產開發,建筑工程,規劃設計,商業,市場營銷
    汽車專場
    招聘職位: 汽車新能源,軟件與汽車電子,生產制造,質量管理,供應鏈管理
    跑得快游戏