Apache記錄百度蛛蛛訪問日志操作流程分享

昵稱65365553 2019-07-17

展開全文

Apache 是非常優(yōu)秀的WEB服務(wù)端軟件，用它記錄百度蜘蛛的訪問日志實在太容易了~

第一步，修改 httpd.conf

使用 vim 編輯 /etc/httpd/conf/httpd.conf 找到

#CustomLog "logs/access_log" common
CustomLog "logs/access_log" combined

選擇 combined 模式即可，去掉前面的#就OK了。

第二步，修改 vhost.conf

如果你開啟了 vhost 功能，還需要修改 vhost.conf。同樣使用 vim 編輯 /etc/httpd/conf.d/vhost.conf 。

CustomLog /www/web_log/www.-access.log combined

同樣是 combinded 模式即可。

第三步，重啟 Apache

使用命令 systemctl restart httpd 即可，可以自己打開網(wǎng)站看看效果，記錄示例如下：

162.158.178.63 - - [11/Jul/2019:10:54:24 +0000] "GET /photo/1227.html HTTP/1.1" 200 21222 "http://www./" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"
162.158.178.63 - - [11/Jul/2019:10:54:29 +0000] "GET /tag/mieko HTTP/1.1" 200 16728 "http://www./photo/1227.html" "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"

如果 ua 部分出現(xiàn) spider 字樣即是搜索引擎訪問記錄，當(dāng)然有些垃圾爬蟲會偽裝成為搜索引擎UA。