【建議收藏】教你一個最最最最最最簡單的爬蟲方法！

Four兄 2019-10-18

展開全文

作者：拉登 Dony

來源：拉小登(ID：ladengchupin)

程序員最難學(xué)的，不是 java 或者 c++，而是社交，俗稱：撩妹。

在社交這方面，我算是程序員里，比較出類拔萃的了。

比如之前，做了《一個海報生成表格，讓我從大爺變成了小哥哥》，我撩到了社群運營的小姐姐。

這已經(jīng)是上個月的事情了，這個月我又一頭扎進(jìn)了爬蟲的技術(shù)研究里了。

技術(shù)滿足的反面，就是孤獨空虛。

于是，我決定用爬蟲再撩一次妹。。。

結(jié)果。。。

我成功了?。?！

我把微博營銷案例，全部爬蟲到一個了 Excel 表格里。

700 多個運營分析報告，一鍵下載。

網(wǎng)站中的案例，要一個個下載 ↑

表格中的案例，哪個點贊多下載哪個↑

社群運營的妹子們，都快瘋掉了！

秋葉 Excel 抖音女主：小美

微博手帳大 V 博主，有姜姜

社群運營老司機(jī)：顏敏姐

我跟你講，如果我早兩年會爬蟲，現(xiàn)在的同床室友，還指不定是誰呢？！

01 什么是爬蟲

爬蟲，即網(wǎng)絡(luò)爬蟲。

是指按照一定的規(guī)則，自動抓取網(wǎng)絡(luò)上的數(shù)據(jù)。

比如前面，自動抓取「社會化營銷案例庫」的案例。

想象一下，如果是人工瀏覽頁面，來下載這些案例的話，流程是這樣的：

? 打開案例庫頁面；

? 點擊案例，進(jìn)入詳情頁；

? 點擊下載案例 pdf；

? 回到案例庫頁面，點擊下一個案例，重復(fù)前面的 3 個步驟。

如果想要下載所有的 pdf 案例的話；需要安排一個專人，反復(fù)、機(jī)械式地下載，顯然這個人的價值含量是很低的。

爬蟲就是替代這種機(jī)械重復(fù)、低價值的獲取數(shù)據(jù)動作，用程序或代碼自動、批量完成數(shù)據(jù)抓取。

◆ 爬蟲的好處 ◆

簡單的總結(jié)一下，爬蟲的好處主要有兩個方面：

? 自動抓取，解放人力提升效率。

機(jī)械、低價值的工作，用機(jī)器來完成是最優(yōu)方案。

? 數(shù)據(jù)分析，插隊獲取優(yōu)質(zhì)內(nèi)容。

和人工瀏覽數(shù)據(jù)不同，爬蟲可以把數(shù)據(jù)匯總整合成一個數(shù)據(jù)表，方便我們后續(xù)做數(shù)據(jù)統(tǒng)計、數(shù)據(jù)分析。

比如「社會營銷案例庫」中，每個案例都有瀏覽數(shù)、下載數(shù)；

想要按照瀏覽數(shù)排序，優(yōu)先看瀏覽最多的案例，數(shù)據(jù)爬取到 Excel 表格中，使用排序功能，輕松瀏覽。

◆ 爬蟲的案例 ◆

凡是數(shù)據(jù)，皆可爬。

掌握到了爬蟲的技能，可以做的事情有很多。

? 幕布精選文章爬取。

幕布是一個梳理大綱的好工具，很多大咖用幕布寫讀書筆記，不用整本通讀也能學(xué)習(xí)到要點。

沒時間挨個瀏覽幕布的精選文章，可以一次爬取所有精選文章，梳理自己的知識大綱。

? 曹將的公眾號文章爬取。

我很喜歡曹將，擁有我這個年齡欠缺的邏輯、歸納、表達(dá)能力，文章篇篇精華。

? 公眾號文章爬取。

公眾號太多，用手機(jī)閱讀容易分心？

爬取到 Excel 里，先挑閱讀最高的開始看。

另外還有，抖音播放數(shù)據(jù)、公眾號閱讀、評論數(shù)據(jù)，B 站彈幕數(shù)據(jù)、網(wǎng)易云評論數(shù)據(jù)。

爬蟲+數(shù)據(jù)分析，給網(wǎng)絡(luò)帶來了更多的樂趣。

02 爬蟲易，利其器

提到爬蟲，大部分會想到編程技術(shù)；

python、數(shù)據(jù)庫、beautiful、html 結(jié)構(gòu)等等，讓人望而生畏。

其實，基礎(chǔ)的爬蟲非常的簡單，借助一些采集軟件，點點按鈕就可以輕松的完成。

◆ 常用爬蟲軟件 ◆

下面幾個軟件，是我爬取數(shù)據(jù)時用過的，推薦給大家：

? 爬山虎采集器

www.51pashanhu.com

簡單易學(xué)，通過可視化界面、鼠標(biāo)點擊即可采集數(shù)據(jù)、向?qū)Ｊ剑?/span>

用戶無需任何技術(shù)基礎(chǔ)，輸入網(wǎng)址，一鍵提取數(shù)據(jù)。

這是我接觸的第 1 個爬蟲軟件。

優(yōu)點：

使用流程簡單，上手入門特別好。

缺點：

? 導(dǎo)入數(shù)量限制。采集下來的數(shù)據(jù)，非會員只能導(dǎo)出時限制 1000 條。

? 導(dǎo)出格式限制。非會員只能導(dǎo)出 txt 文本格式。

? 八爪魚

www.bazhuayu.com

無需再學(xué)爬蟲編程技術(shù)，簡單三步就可以輕松抓取網(wǎng)頁數(shù)據(jù)，支持多種格式一鍵導(dǎo)出，快速導(dǎo)入數(shù)據(jù)庫。

爬山虎無法滿足我的需求之后，開始嘗試更專業(yè)的采集軟件，找到了八爪魚。

優(yōu)點：

? 采集功能更強(qiáng)大，可以自定義采集流程。

? 導(dǎo)出格式、數(shù)據(jù)量沒有限制。

缺點：

流程有些復(fù)雜，新手入門學(xué)起來有些困難。

? 后羿采集器（推薦）

www.houyicaiji.com

智能識別數(shù)據(jù)，小白神器基于人工智能算法。

只需輸入網(wǎng)址就能智能識別列表數(shù)據(jù)、表格數(shù)據(jù)和分頁按鈕；

不需要配置任何采集規(guī)則，一鍵采集。

自動識別列表、表格、鏈接、圖片、價格、郵箱等。

這是我現(xiàn)在用的采集軟件，可以說是中和了前兩個采集器的優(yōu)缺點，使用體驗更好。

優(yōu)點：

? 自動識別頁面信息，入門上手簡單。

? 導(dǎo)出格式、數(shù)據(jù)量都沒有限制。

目前沒有發(fā)現(xiàn)缺點。

03 爬蟲操作過程

注意啦，注意啦，接下來是動手的環(huán)節(jié)了。

我們以「幕布精選文章」為例，用「后羿采集器」體驗一下爬蟲的快樂。

采集后的效果如下：

操作方法：

? 復(fù)制采集的鏈接。

打開幕布官網(wǎng)，點擊「精選」，進(jìn)入到精選文章頁面。

復(fù)制精選頁面的網(wǎng)址：https:///explore

? 后羿采集數(shù)據(jù)。

登錄「后羿采集器」官網(wǎng)，下載并安裝采集器。

打開采集器后，點擊【智能模式】中的【開始采集】，新建一個智能采集。

貼入幕布精選的網(wǎng)址，點擊【立即創(chuàng)建】。

這個過程中，采集器會自動識別頁面中的列表、數(shù)據(jù)內(nèi)容，整個過程是 AI 算法自動完成的，等著識別完成。

頁面分析識別中 ↑

頁面識別完成 ↑

點擊【開始采集】-【啟動】，開啟爬蟲的旅程。

采集數(shù)據(jù)導(dǎo)出。

在數(shù)據(jù)爬取過程中，你可以點擊【停止】結(jié)束數(shù)據(jù)爬取。

或者等待數(shù)據(jù)爬取完成后，在彈出的對話框里，點擊【導(dǎo)出數(shù)據(jù)】。

導(dǎo)出格式，選擇 Excel，然后導(dǎo)出即可。

? 使用 HYPERLINK 函數(shù)，添加超鏈接。

打開導(dǎo)出的表格，在 I 列添加 HYPERLINK 公式，添加超鏈接，一點打開對應(yīng)的文章。

公式如下：

=HYPERLINK(B2,'點擊查看')

到這里，你的第 1 次爬蟲之旅就圓滿地完成了！

04 總結(jié)

爬蟲就像 VBA 里的錄制宏，把重復(fù)的動作錄制下來，替代人工重復(fù)操作。

今天看到的，只是簡單的數(shù)據(jù)采集，爬蟲的話題還有很多，很深入的內(nèi)容。

比如：

? 身份驗證。爬取頁面需要登錄。

? 瀏覽器檢驗。比如公眾號文章，只能在微信里獲取閱讀數(shù)量。

? 參數(shù)校驗（驗證碼）。頁面需要輸入驗證碼。

? 請求頻率。比如頁面訪問時間不能低于 10 秒

? 數(shù)據(jù)處理。爬取的數(shù)據(jù)，需要提取其中的數(shù)字、英文等內(nèi)容。

了解了爬蟲的過程之后，你現(xiàn)在最想爬取的數(shù)據(jù)是什么呢？

你還想跟著戲精拉登老師學(xué)習(xí)更多？

歡迎你掃碼加秋小 E 微信，加入秋葉 Excel 數(shù)據(jù)處理學(xué)習(xí)班，讓眾多大神老師、學(xué)員助教帶你成為辦公高手！

文章來源：公眾號【拉小登】(ID:ladengchupin)，如需轉(zhuǎn)載請聯(lián)系原作者。