崗位職責(zé)：1.?負(fù)責(zé)設(shè)計(jì)和開(kāi)發(fā)網(wǎng)絡(luò)爬蟲(chóng)系統(tǒng),進(jìn)行交易平臺(tái)或社會(huì)媒體平臺(tái)信息的抓取和分析;2.?能獨(dú)立開(kāi)發(fā)網(wǎng)站設(shè)計(jì)爬蟲(chóng)策略和防屏蔽規(guī)則,提升網(wǎng)頁(yè)抓取效率和質(zhì)量;3.?能獨(dú)立解決實(shí)際開(kāi)發(fā)過(guò)程碰到的各類(lèi)問(wèn)題任職要求：1.?專(zhuān)科以上學(xué)歷,2年以上爬蟲(chóng)相關(guān)工作經(jīng)驗(yàn),具有獨(dú)立開(kāi)發(fā)爬蟲(chóng)類(lèi)數(shù)據(jù)分析網(wǎng)站的能力2.?熟悉linux操作系統(tǒng)和熟練使用mysql數(shù)據(jù)庫(kù),不熟悉者請(qǐng)繞行!3.?精通python3編程語(yǔ)言,熟練使用urlib、requests、re等模塊.4.?有1年以上的scrapy框架開(kāi)發(fā)經(jīng)驗(yàn)者優(yōu)先;5.?熟悉redis等nosql數(shù)據(jù)庫(kù)者優(yōu)先,構(gòu)建過(guò)分布式爬蟲(chóng)系統(tǒng)者優(yōu)先