職位描述：1.?負責分布式網(wǎng)絡爬蟲系統(tǒng)的架構設計與開發(fā)（如抓取調度，多樣化抓取，頁面解析和結構化抽取，海量數(shù)據(jù)存儲和讀取等）2.?負責爬蟲核心算法的策略優(yōu)化研究，提升爬蟲抓取效率和質量（如調權調度、分析預測、質量判斷、封禁與反封禁研究等）?3.?負責HTTP、AJAX等各類網(wǎng)絡請求分析，探索和研究高效的數(shù)據(jù)抓取解決方案任職資格：?1、本科及以上學歷，良好的代碼能力，扎實的數(shù)據(jù)結構和算法功底，有快速迭代、逐步優(yōu)化的工程項目經(jīng)驗?2、有良好邏輯思維能力、溝通能力、團隊合作精神、學習能力，抗壓能力，對挑戰(zhàn)性問題充滿激情?3、熟悉linux和Java開發(fā)，熟悉shell/perl/python等腳本語言，熟練掌握正則表達式4、精通一種開源爬蟲框架，如scrapy、webmagic、nutch、heritrix等，有開發(fā)爬蟲框架經(jīng)驗優(yōu)先；熟悉反爬蟲、驗證碼識別技術者優(yōu)先5、有多線程、網(wǎng)絡數(shù)據(jù)處理經(jīng)驗優(yōu)先（如HTTP協(xié)議，AJAX，爬蟲開發(fā)，瀏覽器內核開發(fā)，Web服務開發(fā)等）?6、有大規(guī)模分布式海量數(shù)據(jù)處理經(jīng)驗優(yōu)先（如Hadoop/Hbase/Spark/Strom/Flink等