Web自動化

這里所說的Web自動化是所有跟頁面相關(guān)的自動化,比如頁面爬取,數(shù)據(jù)抓取,頁面內(nèi)容檢測,頁面功能測試,頁面加載性能測試,頁面回歸測試等等,當前主要由如下幾種解決方式:

文本數(shù)據(jù)獲取

這就是各種request庫或者類似curl這樣的工具做的事情,拿到的是頁面的文本,然后進行XML文檔解析,獲得相應(yīng)的內(nèi)容。但如果頁面有一些動態(tài)執(zhí)行的內(nèi)容,比如JavaScript生成跳轉(zhuǎn)URL,這樣就搞不定了,需要有JS引擎的工具來搞,比如再配合JS引擎自行實現(xiàn)的工具,或者直接使用瀏覽器內(nèi)核來搞的工具。

按照瀏覽器的方式來執(zhí)行

這就是各種使用瀏覽器內(nèi)核來實現(xiàn)的工具,比如基于Webkit

網(wǎng)友評論