我們在寫爬蟲代碼時,嘗嘗需要各種分析調(diào)試,而且每次直接用代碼調(diào)試都很麻煩 所以今天給大家分享一個工具,不僅能方便模擬發(fā)送各種http請求,還能輕松調(diào)試,最重要的是,可以將調(diào)試最終結(jié)果自動轉(zhuǎn)換成爬蟲代碼,它就是——Postman postman以前是Chrome的插件,經(jīng)過逐步演變,現(xiàn)在具備很好的夸平臺性,完美支持MAC,Windows,Linux三大操作系統(tǒng).不管你是哪種操作系統(tǒng)的用戶,你都可以享受到Postman帶來的便利 它還可以發(fā)送幾乎所有類型的HTTP請求,可以在Postman界面里選擇要發(fā)送的請求類型,接口地址,請求頭信息以及向接口發(fā)送的入?yún)?Postman完全是界面化的操作,非常直觀. 當(dāng)我們爬一些動態(tài)網(wǎng)頁,或者測試一些接口時,只需勾選一些參數(shù),就能測試出哪些參數(shù)是必須的,哪些參數(shù)是可以舍棄的 最后,我們可以將調(diào)試好的結(jié)果直接轉(zhuǎn)換成我們需要的爬蟲代碼 測試完畢后,點擊code 選擇你需要的編程語言 以python為例,發(fā)現(xiàn)爬蟲代碼已自動生成,直接復(fù)制即可: import requests url = 'http://map.amap.com/service/subway' querystring = {'_1599997789354':'','srhdata':'1100_drw_beijing.json'} payload = '' headers = { 'cache-control': 'no-cache', 'Postman-Token': '74188fdc-2156-4fbf-a300-39c94c0b6a67' } response = requests.request('GET', url, data=payload, headers=headers, params=querystring) print(response.text) |
|