PHP中使用DOMDocument來(lái)處理HTML、XML文檔其實(shí)從PHP5開(kāi)始,PHP就為我們提供了一個(gè)強(qiáng)大的解析和生成XML相關(guān)操作的類,也就是我們今天要講的 DOMDocument 類。不過(guò)我估計(jì)大部分人在爬取網(wǎng)頁(yè)時(shí)還是會(huì)喜歡用正則去解析網(wǎng)頁(yè)內(nèi)容,學(xué)了今天的這個(gè)類下回就可以嘗試下使用這個(gè)PHP自帶的方式來(lái)進(jìn)行解析分析了。 解析HTML// 解析 HTML $baidu = file_get_contents('https://www.baidu.com');
$doc = new DOMDocument(); @$doc->loadHTML($baidu);
// 百度輸出框 $inputSearch = $doc->getElementById('kw'); var_dump($inputSearch);
// object(DOMElement)#2 // ....
echo $inputSearch->getAttribute('name'), PHP_EOL; // wd
// 獲取所有圖片的鏈接 $allImageLinks = []; $imgs = $doc->getElementsByTagName('img'); foreach($imgs as $img){ $allImageLinks[] = $img->getAttribute('src'); }
print_r($allImageLinks);
// Array // ( // [0] => //www.baidu.com/img/baidu_jgylogo3.gif // [1] => //www.baidu.com/img/bd_logo.png // [2] => http://s1./r/www/cache/static/global/img/gs_237f015b.gif // )
// 利用 parse_url 分析鏈接 foreach($allImageLinks as $link){ print_r(parse_url($link)); }
// Array // ( // [host] => www.baidu.com // [path] => /img/baidu_jgylogo3.gif // ) // Array // ( // [host] => www.baidu.com // [path] => /img/bd_logo.png // ) // Array // ( // [scheme] => http // [host] => s1. // [path] => /r/www/cache/static/global/img/gs_237f015b.gif // )
是不是感覺(jué)好清晰,好有面向?qū)ο蟮母杏X(jué)。就像第一次使用 ORM庫(kù) 來(lái)進(jìn)行數(shù)據(jù)庫(kù)操作一樣的感覺(jué)。我們一段一段來(lái)看。 $baidu = file_get_contents('https://www.baidu.com');
$doc = new DOMDocument(); @$doc->loadHTML($baidu);
首先是加載文檔內(nèi)容,這個(gè)比較好理解,直接使用 loadHTML() 方法加載 HTML 內(nèi)容。它還提供了其它的幾個(gè)方法,分別是:load() 從一個(gè)文件加載XML;loadXML() 從字符串加載XML;loadHTMLFile() 從文件加載HTML。 // 百度輸出框 $inputSearch = $doc->getElementById('kw'); var_dump($inputSearch);
// object(DOMElement)#2 // ....
echo $inputSearch->getAttribute('name'), PHP_EOL; // wd
接下來(lái)我們使用和前端 JS 一樣的 DOM 操作API來(lái)操作HTML里面的元素。這個(gè)例子中就是獲取百度的文本框,直接使用 getElementById() 方法獲得id為指定內(nèi)容的 DOMElement 對(duì)象。然后就可以獲取它的值、屬性之類的內(nèi)容了。 // 獲取所有圖片的鏈接 $allImageLinks = []; $imgs = $doc->getElementsByTagName('img'); foreach($imgs as $img){ $allImageLinks[] = $img->getAttribute('src'); }
print_r($allImageLinks);
// Array // ( // [0] => //www.baidu.com/img/baidu_jgylogo3.gif // [1] => //www.baidu.com/img/bd_logo.png // [2] => http://s1./r/www/cache/static/global/img/gs_237f015b.gif // )
// 利用 parse_url 分析鏈接 foreach($allImageLinks as $link){ print_r(parse_url($link)); }
// Array // ( // [host] => www.baidu.com // [path] => /img/baidu_jgylogo3.gif // ) // Array // ( // [host] => www.baidu.com // [path] => /img/bd_logo.png // ) // Array // ( // [scheme] => http // [host] => s1. // [path] => /r/www/cache/static/global/img/gs_237f015b.gif // )
這一段例子則是獲取HTML文檔中所有的圖片鏈接。相比正則來(lái)說(shuō),是不是方便很多,而且代碼本身就是自解釋的,不用考慮正則的匹配失效的問(wèn)題。配合另外一個(gè)PHP中自帶的 parse_url() 方法也能非常方便地對(duì)鏈接進(jìn)行分析,提取自己想要的內(nèi)容。 XML的解析和對(duì)HTML的解析也是類似的,都使用 DOMDocument 和 DOMElement 提供的這個(gè)方法接口就可以很方便的進(jìn)行解析了。那么我們想要生成一個(gè)標(biāo)準(zhǔn)格式的XML呢?當(dāng)然也非常的簡(jiǎn)單,不需要再去拼接字符串了,使用這個(gè)類一樣的進(jìn)行對(duì)象化的操作。 生成一個(gè)XML// 生成一個(gè)XML文檔 $xml = new DOMDocument('1.0', 'UTF-8');
$node1 = $xml->createElement('First', 'This is First Node.'); $node1->setAttribute('type', '1');
$node2 = $xml->createElement('Second'); $node2->setAttribute('type', '2'); $node2_child = $xml->createElement('Second-Child', 'This is Second Node Child.'); $node2->appendChild($node2_child);
$xml->appendChild($node1); $xml->appendChild($node2); print $xml->saveXML();
/* <?xml version="1.0" encoding="UTF-8"?> <First type="1">This is First Node.</First> <Second type="2"><Second-Child>This is Second Node Child.</Second-Child></Second> */
其實(shí)只要有一點(diǎn)點(diǎn)的前端 JS 的基礎(chǔ)都不難看出這段代碼的含義。使用 createElement() 方法創(chuàng)造 DOMElement 對(duì)象,然后就可以為它添加屬性和內(nèi)容。使用 appendChild() 方法就可以為當(dāng)前的 DOMElement 或者 DOMDocument 添加下級(jí)節(jié)點(diǎn)。最后使用 saveXML() 就能夠生成標(biāo)準(zhǔn)的XML格式內(nèi)容了。 總結(jié)通過(guò)上面兩個(gè)簡(jiǎn)單的小例子,相信大家已經(jīng)對(duì)這個(gè) DOMDocument 操作XML類文件解析的方式非常感興趣了。不過(guò)相對(duì)于正則解析的方式它們的性能有多大的差異并沒(méi)有找到相關(guān)的測(cè)試,不過(guò)一般正常的情況下網(wǎng)站的HMTL文檔都不會(huì)太大,畢竟各個(gè)網(wǎng)站也會(huì)考慮自身的加載速度,如果文檔非常大的話用戶體驗(yàn)也會(huì)很差,所以這套接口用來(lái)進(jìn)行日常爬蟲(chóng)的分析處理工作基本是沒(méi)有任何問(wèn)題的。 測(cè)試代碼:https://github.com/zhangyue0503/dev-blog/blob/master/php/202002/source/PHP%E4%B8%AD%E4%BD%BF%E7%94%A8DOMDocument%E6%9D%A5%E5%A4%84%E7%90%86HTML%E3%80%81XML%E6%96%87%E6%A1%A3.php 參考文檔:https://www./manual/zh/class.domdocument.php
|