這種轉(zhuǎn)變將以兩種方式進(jìn)行,一些站點(diǎn)學(xué)習(xí)amazon, del. 和Flickr, 通過(guò)REST API的方式提供他們的信息. 另一些網(wǎng)站將試圖保持信息的私有性, 但這些信息會(huì)通過(guò)匯聚(mashups)的方式公開(kāi), 匯聚可以通過(guò)Dapper, Teqlo和Yahoo!Pipes等生成. 非結(jié)構(gòu)化信息將給結(jié)構(gòu)化信息讓路, 使得智能計(jì)算的道路更加平坦. 本文將講述這些重要的轉(zhuǎn)變是怎樣發(fā)生的以及它們?cè)鯓痈淖兓ヂ?lián)網(wǎng).

亞馬遜電子商務(wù)API-打開(kāi)訪問(wèn)亞馬遜商品目錄的大門

       我們已經(jīng)在這里 寫(xiě)了亞馬遜的WebOS戰(zhàn)略，這個(gè)西雅圖的Web巨人通過(guò)一套強(qiáng)大的API把自身的網(wǎng)站構(gòu)架暴露于眾。首先開(kāi)放的服務(wù)是電子商務(wù)服務(wù)，該服務(wù)開(kāi)放了亞馬遜產(chǎn)品目錄主要產(chǎn)品的訪問(wèn)，該API相當(dāng)強(qiáng)大，允許處理用戶，收藏列表和購(gòu)物車，當(dāng)然最關(guān)鍵的是可以查看亞馬遜的產(chǎn)品。

       亞馬遜為什么以完全免費(fèi)的方式提供這項(xiàng)服務(wù)呢？因?yàn)閹缀跛匈?gòu)建在這項(xiàng)服務(wù)之上的應(yīng)用都為亞馬遜帶來(lái)了流量（該服務(wù)返回給應(yīng)用程序的產(chǎn)品中含有亞馬遜的鏈接）。換句話說(shuō)，通過(guò)提供電子商務(wù)服務(wù)，亞馬遜使別人能夠訪問(wèn)亞馬遜的庫(kù)存。結(jié)果是很多公司想出了利用亞馬遜信息的好方法。你可以在這里看到這些成功的案例.

       API文化升溫

       Del.也是最早開(kāi)放其API 的Web2.0網(wǎng)站，很多Web服務(wù)緊隨其后，使得API文化逐漸升溫，John Musser在ProgrammableWeb上不辭辛勞地將這些API和匯聚分類整理，這個(gè)頁(yè)面分門別類地給出了將近400個(gè)API。這些對(duì)理解本文很有幫助。

       當(dāng)前的Del. API 與亞馬遜的不同，因?yàn)樗鼪](méi)有開(kāi)放del.的數(shù)據(jù)庫(kù)，它做的只是允許授權(quán)的匯聚應(yīng)用去加工存儲(chǔ)在del.的信息。比如，應(yīng)用程序可以通過(guò)編程添加一個(gè)帖子，或更新一個(gè)tag，但你不能通過(guò)API去知道你這個(gè)帖子發(fā)到了哪個(gè)鏈接，或者整個(gè)數(shù)據(jù)庫(kù)中哪些內(nèi)容被打上了這個(gè)tag，這些問(wèn)題通過(guò)網(wǎng)站很容易回答，但卻不能通過(guò)當(dāng)前的API來(lái)得到答案。

標(biāo)準(zhǔn)化的URL-沒(méi)有API的API

盡管沒(méi)有直接的API（深入數(shù)據(jù)庫(kù)）, 很多公司還是可以利用存儲(chǔ)在del.中的信息。這里有一些例子。

Delexa是一個(gè)有趣而且有用的匯聚站點(diǎn), 它可以用del.去對(duì)Alexa站點(diǎn)進(jìn)行歸類，例如，這里是以book標(biāo)簽的著名站點(diǎn)。

另一個(gè)站點(diǎn)叫simil, 使用del.去推薦類似站點(diǎn)，例如這里是它認(rèn)為和Read/WriteWeb相似的站點(diǎn)。

怎樣在沒(méi)有API的情況下實(shí)現(xiàn)這些服務(wù)呢？答案就是它們可以利用標(biāo)準(zhǔn)URL和一種叫做Web抓取（Web scraping）的技術(shù). 讓我們來(lái)看看它是怎么工作的. 比如, 所有被標(biāo)簽為book的鏈接可以在鏈接http://del./tag/book 下找到, 而標(biāo)簽為movie的則在http://del./tag/movie 下, 等等, 鏈接的結(jié)構(gòu)總是一樣的: http://del./tag[TAG] . 因此, 給定任意標(biāo)簽, 程序都可以獲得被該標(biāo)簽標(biāo)記的站點(diǎn)列表, 然后通過(guò)頁(yè)面抓取技術(shù)抓取需要的信息.

頁(yè)面抓取程序怎樣工作

頁(yè)面抓取本質(zhì)上是HTML頁(yè)面的反向工程，也可以看成頁(yè)面解釋器，網(wǎng)頁(yè)以HTML編碼，HTML以樹(shù)型結(jié)構(gòu)表示信息，實(shí)際數(shù)據(jù)與布局代碼以及效果信息混雜在一起，不能被計(jì)算機(jī)直接利用。抓取器程序“知道”怎樣從給定HTML頁(yè)面中抓取數(shù)據(jù)。它們通過(guò)分析網(wǎng)頁(yè)特定的標(biāo)注方式找到實(shí)際數(shù)據(jù)，例如，下圖給出了抓取器怎么抓取del.的頁(yè)面的示意圖。我們可以找到被任意標(biāo)簽標(biāo)記的鏈接。

Dapper, Teqlo, Yahoo! Pipes---即將來(lái)臨的的抓取技術(shù)

       我們最近談到Yahoo!Pipes, 一個(gè)專注于RSS融合的應(yīng)用，另一個(gè)相似的技術(shù)是,剛剛上線的Teqlo, 它可以讓人們從Web服務(wù)和RSS中創(chuàng)建匯聚。在它們之前，Dapper提供了一個(gè)通用的抓取器，可以抓取任意網(wǎng)站。Dapper是一項(xiàng)有趣的技術(shù)，它通過(guò)可視界面為抓取網(wǎng)頁(yè)提供便捷。

       它是這樣工作的，讓開(kāi)發(fā)者定義一些示例頁(yè)面，然后幫助她用標(biāo)記表示相似信息。這看起來(lái)很簡(jiǎn)單，但現(xiàn)象的背后是Dapper使用一種不平常的樹(shù)匹配的算法去完成該任務(wù)。一旦用戶在頁(yè)面上定義了相似信息，Dapper允許用戶將其轉(zhuǎn)為一個(gè)字段，對(duì)頁(yè)面其他信息重復(fù)該過(guò)程，開(kāi)發(fā)這就可以有效的定義一個(gè)查詢語(yǔ)句將一個(gè)非結(jié)構(gòu)化的頁(yè)面轉(zhuǎn)為一些結(jié)構(gòu)化的記錄。

作用—Web網(wǎng)站變Web服務(wù)

       這里圖示了一些網(wǎng)絡(luò)應(yīng)用像Dapper和Teqlo的作用。

       結(jié)合開(kāi)放API(如亞馬遜的電子商務(wù)服務(wù))和抓取/匯聚技術(shù)，我們可以將任何網(wǎng)站看作一個(gè)開(kāi)放了信息的web服務(wù)。信息，更準(zhǔn)確地說(shuō)數(shù)據(jù)，變得開(kāi)放。接踵而來(lái)的是，軟件可以借此獲取大量數(shù)據(jù)。有了它，互聯(lián)網(wǎng)才真正稱得上是一個(gè)可以查詢和重新組合的數(shù)據(jù)庫(kù)。

這聽(tīng)起來(lái)很不錯(cuò)，但是否合法呢？

       抓取技術(shù)事實(shí)上備受爭(zhēng)議。某種意義上來(lái)說(shuō)，它們可以被認(rèn)為是偷取了屬于其它網(wǎng)站的信息。整個(gè)問(wèn)題很復(fù)雜，因?yàn)槟悴磺宄截?/span>/粘貼什么時(shí)候結(jié)束，抓取什么時(shí)候開(kāi)始。人們拷貝保存網(wǎng)頁(yè)信息是沒(méi)有問(wèn)題的，但用軟件來(lái)做這個(gè)可能不是合法的。但抓取網(wǎng)頁(yè)然后提供利用網(wǎng)頁(yè)信息的服務(wù)，并且沒(méi)有說(shuō)明出處，可能就是非法的了。

       但抓取似乎并不會(huì)停止，就像Napster的法律糾紛沒(méi)有讓人們停止寫(xiě)點(diǎn)對(duì)點(diǎn)共享軟件，更近的YouTube法律糾紛不會(huì)使人們停止上傳版權(quán)視頻，看似免費(fèi)的信息也會(huì)被人們理所當(dāng)然的當(dāng)成免費(fèi)的。

       互聯(lián)網(wǎng)如果變成數(shù)據(jù)庫(kù)，巨大機(jī)遇將讓人們興奮不已，如果這一轉(zhuǎn)變真地會(huì)實(shí)現(xiàn)呢，我們是否應(yīng)該反思一下怎樣去順應(yīng)這一趨勢(shì)呢？

為什么網(wǎng)站應(yīng)該提供Web服務(wù)

       這里有幾個(gè)好的理由（特別對(duì)在線零售商），最重要的理由是控制，有了API，抓取器就變得沒(méi)必要了，它還可以跟蹤誰(shuí)在使用數(shù)據(jù)以及怎樣和為什么使用，像亞馬遜，網(wǎng)站通過(guò)這樣做去培育會(huì)員和增加流量。

       陳舊的觀點(diǎn)認(rèn)為封閉的數(shù)據(jù)是競(jìng)爭(zhēng)優(yōu)勢(shì)，新的觀點(diǎn)則認(rèn)為開(kāi)放數(shù)據(jù)才是競(jìng)爭(zhēng)優(yōu)勢(shì)。可行的解決方案是不必提心吊膽的去保護(hù)信息，而是提供API，然后收取一定費(fèi)用。對(duì)每次API調(diào)用收取少量費(fèi)用（想想亞馬遜）是可以接受的，因?yàn)樵撡M(fèi)用對(duì)每個(gè)使用者都不會(huì)很高。但卻有機(jī)會(huì)在總體上盈利。這就是亞馬遜在web服務(wù)戰(zhàn)略上下的賭，這也許是個(gè)不錯(cuò)的賭。

結(jié)論

       隨著越來(lái)越多的網(wǎng)站可別其他網(wǎng)站混合利用，整個(gè)系統(tǒng)變成平臺(tái)兼數(shù)據(jù)庫(kù)。當(dāng)然，這種轉(zhuǎn)變并不順利，可擴(kuò)展性是一個(gè)大問(wèn)題，法律問(wèn)題也不那么簡(jiǎn)單。

       但問(wèn)題不在于網(wǎng)站是否會(huì)變成Web服務(wù)，而在于什么時(shí)候和怎樣轉(zhuǎn)變.API是一個(gè)更容易控制，干凈的被大家接受的方式。盡管如此，當(dāng)沒(méi)有API或者API不夠強(qiáng)大時(shí)，抓取是一種解決問(wèn)題的方式。像往常一樣，時(shí)間是最好的裁判；同時(shí)，我們希望從你的反饋和故事中知道你是怎么面對(duì)web3.0的。