 前幾天給大家分享了如何在Windows下創(chuàng)建網(wǎng)絡(luò)爬蟲虛擬環(huán)境及如何安裝Scrapy，還有Scrapy安裝過程中常見的問題總結(jié)及其對應(yīng)的解決方法，感興趣的小伙伴可以戳鏈接進(jìn)去查看。關(guān)于Scrapy的介紹，之前也在文章中提及過，今天小編帶大家進(jìn)入Scrapy爬蟲框架，創(chuàng)建Scrapy爬蟲框架的第一個項(xiàng)目，具體過程如下所示。
1、進(jìn)入虛擬環(huán)境，不知道進(jìn)入的環(huán)境的小伙伴可以戳這篇文章：在Windows下如何創(chuàng)建指定的虛擬環(huán)境和在Windows下如何創(chuàng)建虛擬環(huán)境（默認(rèn)情況下）。進(jìn)入到環(huán)境之后可以通過“pip list”命令查看Scrapy是否安裝成功，如下圖所示。
可以看到Scrapy已經(jīng)安裝成功。 2、這里小編欲將Scrapy項(xiàng)目放到demo文件夾下，所以先退回到上級目錄中去，如下圖所示。
3、爾后開始新建Scrapy項(xiàng)目，輸入創(chuàng)建Scrapy爬蟲項(xiàng)目命令“scrapy startproject article”，其中article是爬蟲項(xiàng)目的名稱，可以自行更改的。輸入創(chuàng)建命令之后，稍等片刻，系統(tǒng)會根據(jù)模板進(jìn)行創(chuàng)建項(xiàng)目，模板所在的目錄是“D:\pythonDemo\2018\September\demo\scrapy_demo\Lib\site-packages\scrapy\templates\project”，與你的爬蟲環(huán)境相關(guān)，如下圖所示，等待項(xiàng)目創(chuàng)建完成。當(dāng)然我們可以自定義爬蟲模板，不過目前來看，Scrapy爬蟲框架提供的模板夠我們用的了，我們能把Scrapy搞明白也就可以了。
4、根據(jù)上圖提示，首先進(jìn)入到article文件夾下，輸入命令“cd article”，之后通過“dir”查看目錄，也可以通過“tree /f”生成文件目錄的樹形結(jié)構(gòu)，如下圖所示，可以很清晰的看到Scrapy創(chuàng)建命令生成的文件。
頂層的article文件夾是項(xiàng)目名。 第二層中包含的是一個與項(xiàng)目名同名的文件夾article和一個文件scrapy.cfg，這個與項(xiàng)目同名的文件夾article是一個模塊，所有的項(xiàng)目代碼都在這個模塊內(nèi)添加，而scrapy.cfg文件是整個Scrapy項(xiàng)目的配置文件 第三層中有5個文件和一個文件夾，其中__init__.py是個空文件，作用是將其上級目錄變成一個模塊；items.py是定義儲對象的文件，決定爬取哪些項(xiàng)目；middlewares.py文件是中間件，一般不用進(jìn)行修改，主要負(fù)責(zé)相關(guān)組件之間的請求與響應(yīng)；pipelines.py是管道文件，決定爬取后的數(shù)據(jù)如何進(jìn)行處理和存儲；settings.py是項(xiàng)目的設(shè)置文件，設(shè)置項(xiàng)目管道數(shù)據(jù)的處理方法、爬蟲頻率、表名等；spiders文件夾中放置的是爬蟲主體文件（用于實(shí)現(xiàn)爬蟲邏輯）和一個__init__.py空文件。 5、在Windows文件夾下也可以很清晰的看到新建的Scrapy文件，如下圖所示。
6、當(dāng)然，也可以通過Pycharm導(dǎo)入項(xiàng)目的方式進(jìn)行查看項(xiàng)目文件，此時更加的清晰，如下圖所示。
7、點(diǎn)擊各個項(xiàng)目文件，可以查看其中的內(nèi)容，其中settings.py文件的內(nèi)容如下圖所示，其他的文件內(nèi)容在此就不再贅述了。
至此，第一個Scrapy爬蟲項(xiàng)目的創(chuàng)建及Scrapy爬蟲項(xiàng)目中的文件解析介紹就先到這里了，下一步開始進(jìn)行Scrapy爬蟲項(xiàng)目的進(jìn)階內(nèi)容，敬請期待~~ --------------------- End --------------------- |
|
|
