日韩黑丝制服一区视频播放|日韩欧美人妻丝袜视频在线观看|九九影院一级蜜桃|亚洲中文在线导航|青草草视频在线观看|婷婷五月色伊人网站|日本一区二区在线|国产AV一二三四区毛片|正在播放久草视频|亚洲色图精品一区

分享

【轉帖】使用python爬蟲抓站的一些技巧總結:進階篇

 小豬窩969 2015-05-08
httplib實現(xiàn)了HTTP和HTTPS的客戶端協(xié)議,一般不直接使用,在python更高層的封裝模塊中(urllib,urllib2)使用了它的http實現(xiàn)。

import httplib
conn 
= httplib.HTTPConnection("google.com")
conn.request(
'get''/')
print conn.getresponse().read()
conn.close()



httplib.HTTPConnection ( host [ , port [ , strict [ , timeout ]]] )


       HTTPConnection類的構造函數(shù),表示一次與服務器之間的交互,即請求/響應。參數(shù)host表示服務器主機,如:http://www.csdn.net/;port為端口號,默認值為80; 參數(shù)strict的 默認值為false, 表示在無法解析服務器返回的狀態(tài)行時( status line) (比較典型的狀態(tài)行如: HTTP/1.0 200 OK ),是否拋BadStatusLine 異常;可選參數(shù)timeout 表示超時時間。
HTTPConnection提供的方法:



HTTPConnection.request ( method , url [ , body [ , headers ]] )


調用request 方法會向服務器發(fā)送一次請求,method 表示請求的方法,常用有方法有get 和post ;url 表示請求的資源的url ;body 表示提交到服務器的數(shù)據(jù),必須是字符串(如果method 是”post” ,則可以把body 理解為html 表單中的數(shù)據(jù));headers 表示請求的http 頭。
HTTPConnection.getresponse ()
獲取Http 響應。返回的對象是HTTPResponse 的實例,關于HTTPResponse 在下面 會講解。
HTTPConnection.connect ()
連接到Http 服務器。
HTTPConnection.close ()
關閉與服務器的連接。
HTTPConnection.set_debuglevel ( level )
設置高度的級別。參數(shù)level 的默認值為0 ,表示不輸出任何調試信息。
httplib.HTTPResponse
HTTPResponse表示服務器對客戶端請求的響應。往往通過調用HTTPConnection.getresponse()來創(chuàng)建,它有如下方法和屬性:
HTTPResponse.read([amt])
獲取響應的消息體。如果請求的是一個普通的網頁,那么該方法返回的是頁面的html??蛇x參數(shù)amt表示從響應流中讀取指定字節(jié)的數(shù)據(jù)。
HTTPResponse.getheader(name[, default])
獲取響應頭。Name表示頭域(header field)名,可選參數(shù)default在頭域名不存在的情況下作為默認值返回。
HTTPResponse.getheaders()
以列表的形式返回所有的頭信息。
HTTPResponse.msg
獲取所有的響應頭信息。
HTTPResponse.version
獲取服務器所使用的http協(xié)議版本。11表示http/1.1;10表示http/1.0。
HTTPResponse.status
獲取響應的狀態(tài)碼。如:200表示請求成功。
HTTPResponse.reason
返回服務器處理請求的結果說明。一般為”O(jiān)K”
下面通過一個例子來熟悉HTTPResponse中的方法:


復制代碼

import httplib
conn
= httplib.HTTPConnection("www.g.com", 80, False)
conn.request(
'get', '/', headers = {"Host": "www.google.com",
                                    
"User-Agent": "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh-CN; rv:1.9.1) Gecko/20090624 Firefox/3.5",
                                    
"Accept": "text/plain"})
res
= conn.getresponse()
print'version:', res.version
print'reason:', res.reason
print'status:', res.status
print'msg:', res.msg
print'headers:', res.getheaders()
#html
#
print '\n' + '-' * 50 + '\n'
#
print res.read()
conn.close()

復制代碼

Httplib模塊中還定義了許多常量,如:
Httplib. HTTP_PORT 的值為80,表示默認的端口號為80;
Httplib.OK 的值為200,表示請求成功返回;
Httplib. NOT_FOUND 的值為404,表示請求的資源不存在;
可以通過httplib.responses 查詢相關變量的含義,如:
Print httplib.responses[httplib.NOT_FOUND] #not found
更多關于httplib的信息,請參考Python手冊httplib 模塊。

urllib 和urllib2實現(xiàn)的功能大同小異,但urllib2要比urllib功能等各方面更高一個層次。目前的HTTP訪問大部分都使用urllib2.
urllib2:



req = urllib2.Request('http://')
response
= urllib2.urlopen(req)
the_page
= response.read()


FTP同樣:



req = urllib2.Request('ftp://')


urlopen返回的應答對象response有兩個很有用的方法info()和geturl()
geturl — 這個返回獲取的真實的URL,這個很有用,因為urlopen(或者opener對象使用的)或許
會有重定向。獲取的URL或許跟請求URL不同。
Data數(shù)據(jù)
有時候你希望發(fā)送一些數(shù)據(jù)到URL
post方式:



values ={'body' : 'test short talk','via':'xxxx'}
data 
= urllib.urlencode(values)
req 
= urllib2.Request(url, data)


get方式:


復制代碼

data['name'] ='Somebody Here'
data[
'location'] ='Northampton'
data[
'language'] ='Python'
url_values
= urllib.urlencode(data)
url
='http:///example.cgi'
full_url
= url +'?'+ url_values
data
= urllib2.open(full_url)

復制代碼

使用Basic HTTP Authentication:


復制代碼

import urllib2
# Create an OpenerDirector with support for Basic HTTP Authentication...
auth_handler = urllib2.HTTPBasicAuthHandler()
auth_handler.add_password(realm
='PDQ Application',
                           uri
='https:///vecrty.py',
                           user
='user',
                           passwd
='pass')
opener
= urllib2.build_opener(auth_handler)
# ...and install it globally so it can be used with urlopen.
urllib2.install_opener(opener)
urllib2.urlopen(
'http://www. /app.html')

復制代碼

使用代理ProxyHandler:


復制代碼

proxy_handler = urllib2.ProxyHandler({'http': 'http://www.:3128/'})
proxy_auth_handler
= urllib2.HTTPBasicAuthHandler()
proxy_auth_handler.add_password(
'realm', 'host', 'username', 'password')

opener
= build_opener(proxy_handler, proxy_auth_handler)
# This time, rather than install the OpenerDirector, we use it directly:
opener.open('http://www./login.html')

URLError–HTTPError:


from urllib2 import Request, urlopen, URLError, HTTPError
req
= Request(someurl)
try:
      response
= urlopen(req)
except HTTPError, e:
     
print'Error code: ', e.code
except URLError, e:
     
print'Reason: ', e.reason
else:
       .............


復制代碼

或者:


復制代碼

from urllib2 import Request, urlopen, URLError
req
= Request(someurl)
try:
      response
= urlopen(req)
except URLError, e:
     
if hasattr(e, 'reason'):
           
print'Reason: ', e.reason
     
elif hasattr(e, 'code'):
           
print'Error code: ', e.code
     
else:
            .............

復制代碼

通常,URLError在沒有網絡連接(沒有路由到特定服務器),或者服務器不存在的情況下產生
異常同樣會帶有”reason”屬性,它是一個tuple,包含了一個錯誤號和一個錯誤信息


復制代碼

req = urllib2.Request('http://')
try:
    urllib2.urlopen(req)
except URLError, e:
   
print e.reason
   
print e.code
   
print e.read()

復制代碼

最后需要注意的就是,當處理URLError和HTTPError的時候,應先處理HTTPError,后處理URLError
Openers和Handlers:
opener使用操作器(handlers)。所有的重活都交給這些handlers來做。每一個handler知道
怎么打開url以一種獨特的url協(xié)議(http,ftp等等),或者怎么處理打開url的某些方面,如,HTTP重定向,或者HTTP
cookie。
默認opener有對普通情況的操作器 (handlers)- ProxyHandler, UnknownHandler, HTTPHandler,
HTTPDefaultErrorHandler, HTTPRedirectHandler, FTPHandler, FileHandler, HTTPErrorProcessor.
再看python API:Return an OpenerDirector instance, which chains the handlers in the order given
這就更加證明了一點,那就是opener可以看成是一個容器,這個容器當中放的是控制器,默認的,容器當中有五個控制
器,程序員也可以加入自己的控制器,然后這些控制器去干活。



class HTTPHandler(AbstractHTTPHandler):
    
def http_open(self, req):
        
return self.do_open(httplib.HTTPConnection, req)
     http_request
= AbstractHTTPHandler.do_request_


HTTPHandler是Openers當中的默認控制器之一,看到這個代碼,證實了urllib2是借助于httplib實現(xiàn)的,同時也證實了Openers和Handlers的關系。


    本站是提供個人知識管理的網絡存儲空間,所有內容均由用戶發(fā)布,不代表本站觀點。請注意甄別內容中的聯(lián)系方式、誘導購買等信息,謹防詐騙。如發(fā)現(xiàn)有害或侵權內容,請點擊一鍵舉報。
    轉藏 分享 獻花(0

    0條評論

    發(fā)表

    請遵守用戶 評論公約

    類似文章 更多