|
給大家良心推薦一款超好用的爬蟲(chóng)軟件——前嗅ForeSpider爬蟲(chóng)工具，也是最近發(fā)現(xiàn)的。本人是數(shù)據(jù)工作者，每天就是跟各種各樣的數(shù)據(jù)打交道，數(shù)據(jù)采集必不可少，然而這也是最令我頭疼的地方，嘗試了各種各樣的爬蟲(chóng)工具，不是操作繁瑣就是采集精度不夠，無(wú)奈自己沒(méi)有能力造一個(gè)，只能受限于現(xiàn)在市面上的種種。 最近在網(wǎng)上搜索又發(fā)現(xiàn)了一款爬蟲(chóng)軟件，叫前嗅ForeSpider爬蟲(chóng)，只能說(shuō)是目前為止本人強(qiáng)烈推薦的，用過(guò)才發(fā)現(xiàn)，簡(jiǎn)直更是技術(shù)白們的福音。 跟之前使用過(guò)的其他爬蟲(chóng)軟件對(duì)比發(fā)現(xiàn)，F(xiàn)oreSpider爬蟲(chóng)有自己的內(nèi)置數(shù)據(jù)庫(kù)，當(dāng)然也支持MySQL等主流數(shù)據(jù)存儲(chǔ)系統(tǒng)啦。在使用過(guò)程中有幾點(diǎn)感受必須大贊特贊。 （2）人性化。支持動(dòng)態(tài)調(diào)整、自動(dòng)定時(shí)采集、模板在線(xiàn)更新。 （3）操作效率高。前嗅ForeSpider爬蟲(chóng)的操作都是可視化的，而且你要采集的東西在它這個(gè)爬蟲(chóng)軟件內(nèi)可以直接預(yù)覽，讓我在采集數(shù)據(jù)之前直接先把無(wú)效數(shù)據(jù)剔除干凈，學(xué)習(xí)成本很低。 （4）精度高。數(shù)據(jù)提取同樣可進(jìn)行可視化操作，此外支持正則表達(dá)式和腳本配置更加做到精準(zhǔn)采集。 （5）功能強(qiáng)大。支持驗(yàn)證碼識(shí)別、關(guān)鍵字搜索、登錄采集、HTTPS協(xié)議。媽媽再也不用擔(dān)心登錄和驗(yàn)證碼限制了??！ （6）采集性能強(qiáng)大：?jiǎn)螜C(jī)采集能力可達(dá)4000-8000萬(wàn)，日采集能力超過(guò)500萬(wàn)。服務(wù)器單機(jī)采集能力可達(dá)8億-16億，日采集能力超過(guò)2000萬(wàn)。并行情況下可支撐百億以上規(guī)模數(shù)據(jù)鏈接，堪與百度等搜索引擎系統(tǒng)媲美。 說(shuō)了那么多，給大家簡(jiǎn)單分享一下教程吧~ ~ ~ 1、 下載安裝。這個(gè)可以去它官網(wǎng)（www.），強(qiáng)烈建議大家先在官網(wǎng)注冊(cè)登錄，免費(fèi)試用前嗅ForeSpider爬蟲(chóng)軟件，如果滿(mǎn)意的話(huà)再使用付費(fèi)版也不遲。 2、 進(jìn)入前嗅ForeSpider爬蟲(chóng)主程序頁(yè)面。 3、以一個(gè)新聞網(wǎng)站：中國(guó)新聞網(wǎng)為例，采集該網(wǎng)站的科技政策性文章，進(jìn)行采集配置。 （1）表單創(chuàng)建  （2）采集源配置 點(diǎn)開(kāi)左上角“采集源”，在左邊的采集頻道列表新建頻道，輸入采集名稱(chēng)和采集源。  （3）完成上述操作，點(diǎn)擊左下方模板列表中的鏈接模板（默認(rèn)）：01，此時(shí)內(nèi)置的瀏覽器將會(huì)根據(jù)你輸入的采集源進(jìn)行同步跳轉(zhuǎn)顯示。 （4）點(diǎn)擊右上角的“采集預(yù)覽”按鈕，觀(guān)察你所要采集內(nèi)容的鏈接情況。 （5）觀(guān)察完畢關(guān)閉采集預(yù)覽，右邊有模板節(jié)點(diǎn)配置： a.點(diǎn)擊默認(rèn)鏈接抽取下的鏈接過(guò)濾，進(jìn)行過(guò)濾規(guī)則和過(guò)濾串的限制。  b．此外，還可以選擇標(biāo)題過(guò)濾。  （6）配好默認(rèn)模板（1），即鏈接模板，開(kāi)始配，即數(shù)據(jù)模版。 點(diǎn)擊左下方的“默認(rèn)模板（2）”，在右邊的示例地址上輸入你要采集的一篇文章的鏈接地址。 如上圖，輸入好示例地址，內(nèi)置瀏覽器可自動(dòng)跳轉(zhuǎn)。 （7）點(diǎn)擊默認(rèn)模板下的默認(rèn)數(shù)據(jù)抽取，在下方的表單名稱(chēng)進(jìn)行選擇   如上圖，表單名稱(chēng)：科技政策就是我們?cè)诓襟E3中的第一步進(jìn)行的表單創(chuàng)建。 （8）給表單中的每個(gè)字段進(jìn)行定位采集操作。  （9）點(diǎn)擊“默認(rèn)模版（1）”下的“默認(rèn)鏈接抽取”。標(biāo)注模板ID指向“2”，即做到了將連鏈接模板和數(shù)據(jù)模版進(jìn)行了鏈接。  （10）操作完畢，采集預(yù)覽結(jié)果如下： 第一層： 第二層： 教程就簡(jiǎn)單給大家分享一下，我也是剛?cè)腴T(mén)，還在探索階段。很神奇有木有，把網(wǎng)址給大家（www.）。 希望這次分享能給一些數(shù)據(jù)工作者或者需要數(shù)據(jù)支持的企業(yè)有所幫助，我也在持續(xù)探索著，如果大家有好的爬蟲(chóng)軟件或者爬蟲(chóng)工具的，也可以推薦一下，互相幫助互相進(jìn)步啦~謝謝！ |
|
|
