得到網(wǎng)頁的最新更新時間

ShangShujie 2010-05-08

展開全文

zhengyun_ustc 發(fā)表于2007年3月29日 23:09:10 IP:舉報回復(fù)刪除: Incremental Web Search-Tracking Changes in the Web.pdf
這篇論文不知你看過沒有？也許有啟發(fā)。

zhengyun_ustc 發(fā)表于2007年3月29日 23:10:53 IP:舉報回復(fù)刪除: 其實(shí)獲取http header最簡單的就是用perl，幾句話就搞定：
use LWP::UserAgent;
my $ua = new LWP::UserAgent;
$ua->timeout(120);
my $url='http://blog.donews.com/banly/';
my $response = $ua->head($url);
if ($response->is_success) {
print $response->as_string."----";
}

zhengyun_ustc 發(fā)表于2007年3月29日 23:14:11 IP:舉報回復(fù)刪除: 1:
你只給對方web服務(wù)器發(fā)送head命令，對方就不會給你網(wǎng)頁所有數(shù)據(jù)，而僅僅是http header信息，很短。很多爬蟲就是這么做的，不占用太多流量，就可以知道對方網(wǎng)頁有否更新。
2:
100%得知對方更新是不可能的。

本站是提供個人知識管理的網(wǎng)絡(luò)存儲空間，所有內(nèi)容均由用戶發(fā)布，不代表本站觀點(diǎn)。請注意甄別內(nèi)容中的聯(lián)系方式、誘導(dǎo)購買等信息，謹(jǐn)防詐騙。如發(fā)現(xiàn)有害或侵權(quán)內(nèi)容，請點(diǎn)擊一鍵舉報。

轉(zhuǎn)藏 分享

QQ空間 QQ好友新浪微博微信

獻(xiàn)花（0） +1

來自： ShangShujie > 《我的圖書館》

舉報/認(rèn)領(lǐng)