Fiddler官網(wǎng)下載地址:http://www./fiddl...,我是直接在百度搜索的下載版本 安裝過程就是下一步下一步最后完成即可,安裝好了以后需要配置一些內(nèi)容 設(shè)置允許抓取HTTPS信息包 打開下載好的fiddler,找到 Tools -> Options,然后在HTTPS的工具欄下勾選Decrpt HTTPS traffic,在新彈出的選項(xiàng)欄下勾選Ignore server certificate errors。這樣,fiddler就會(huì)抓取到HTTPS的信息包
設(shè)置允許外部設(shè)備發(fā)送HTTP/HTTPS到fiddler 在Connections選項(xiàng)欄下勾選Allow remote computers to connect 連通手機(jī)與電腦 想要抓取手機(jī)APP上的數(shù)據(jù)一大難點(diǎn)就在于,你并不知道他們數(shù)據(jù)請(qǐng)求的接口地址是多少,在PC端想要抓取一個(gè)網(wǎng)站的數(shù)據(jù)只要訪問網(wǎng)址,用抓包工具就可以知道了,所以我們第一步先把環(huán)境配置好,就是在手機(jī)上訪問地址(發(fā)送任何網(wǎng)絡(luò)請(qǐng)求)都可以在電腦上通過Fiddler抓取到。 第一步:先保障手機(jī)和電腦上面連接網(wǎng)絡(luò),我這里是電腦連的網(wǎng)線,我單獨(dú)安裝了一個(gè)Wi-Fi共享精靈,手機(jī)(iphone6s)連接上共享出去的wifi 第二步:查看電腦IP地址 先在電腦上打開cmd,輸入ipconfig查看IP地址 這里要注意IP地址用的是無線網(wǎng)絡(luò)連接這個(gè)IP地址,不是本地連接的IP地址(坑點(diǎn)) 第三步:手機(jī)設(shè)置HTTP代理 打開手機(jī)無線網(wǎng)絡(luò)連接,選擇已經(jīng)連接的網(wǎng)絡(luò)連接,點(diǎn)擊一個(gè)小圓圈嘆號(hào)進(jìn)入可以看到下圖,選擇配置代理,進(jìn)入后把剛剛的IP地址輸入進(jìn)去,端口就是Fiddler中設(shè)置的8888即可。 第四步:手機(jī)和電腦端安裝證書 電腦端訪問:http://localhost:8888/進(jìn)行安裝 手機(jī)訪問電腦的IP地址加端口8888即可,我這里的地址是:http://192.168.23.1:8888 第五步:測(cè)試通過 最后就是來測(cè)試下,打開手機(jī)隨便一個(gè)APP,去訪問里面的內(nèi)容,這時(shí)打開fiddler可以看到所發(fā)出的網(wǎng)絡(luò)請(qǐng)求,我這里打開的是豆果美食APP 分析手機(jī)APP請(qǐng)求地址 通過觀察fiddler中的請(qǐng)求可以發(fā)現(xiàn)http://api./persona...,這個(gè)就是請(qǐng)求首頁(yè)中的部分?jǐn)?shù)據(jù),直接把地址復(fù)制到網(wǎng)頁(yè)中可以看到返回的JSON數(shù)據(jù) 其實(shí)這部分內(nèi)容是最重要也是最困難的一個(gè)環(huán)節(jié),考驗(yàn)?zāi)愎ぷ髂晗薜臅r(shí)候到了,要從中剝離出正確的API請(qǐng)求,并分析API中的數(shù)據(jù)結(jié)構(gòu),為后續(xù)數(shù)據(jù)分析做準(zhǔn)備。 Python3.x爬蟲獲取數(shù)據(jù) 這里直接通過urllib.request進(jìn)行請(qǐng)求即可,這里并沒有使用框架,代碼如下: 運(yùn)行代碼結(jié)果打印數(shù)據(jù)如下 后續(xù)對(duì)這個(gè)數(shù)據(jù)是存儲(chǔ),還是分析就是后續(xù)的操作了,到此我們就已經(jīng)完成了從手機(jī)APP中提取數(shù)據(jù)的步驟 |
|