一、前言
前文介紹了PhatomJS 和Selenium 的用法，工具準(zhǔn)備完畢，我們來看看如何使用它們來改造我們之前寫的小爬蟲。
我們的目的是模擬頁面下拉到底部，然后頁面會(huì)刷出新的內(nèi)容，每次會(huì)加載10張新圖片。
大體思路是，用Selenium + PhatomJS 來請求網(wǎng)頁，頁面加載后模擬下拉操作，可以根據(jù)想要獲取的圖片多少來選擇下拉的次數(shù)，然后再獲取網(wǎng)頁中的全部內(nèi)容。
二、運(yùn)行環(huán)境
我的運(yùn)行環(huán)境如下：
系統(tǒng)版本
Windows10。Python版本
Python3.5，推薦使用Anaconda 這個(gè)科學(xué)計(jì)算版本，主要是因?yàn)樗詭б粋€(gè)包管理工具，可以解決有些包安裝錯(cuò)誤的問題。去Anaconda官網(wǎng)，選擇Python3.5版本，然后下載安裝。IDE
我使用的是PyCharm，是專門為Python開發(fā)的IDE。這是JetBrians的產(chǎn)品，點(diǎn)我下載。
三、爬蟲實(shí)戰(zhàn)改造
3.1 模擬下拉操作
要想實(shí)現(xiàn)網(wǎng)頁的下拉操作，需要使用Selenium的一個(gè)方法來執(zhí)行js代碼。該方法如下：driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
由此可見，使用execute_script方法可以調(diào)用JavaScript API在一個(gè)加載完成的頁面中去執(zhí)行js代碼。可以做任何你想做的操作哦，只要用js寫出來就可以了。
改造的爬蟲的第一步就是封裝一個(gè)下拉方法，這個(gè)方法要能控制下拉的次數(shù)，下拉后要有等待頁面加載的時(shí)間，以及做一些信息記錄（在看下面的代碼前自己先想一想啦）：
延伸閱讀
- ssh框架 2016-09-30
- 阿里移動(dòng)安全 [無線安全]玩轉(zhuǎn)無線電——不安全的藍(lán)牙鎖 2017-07-26
- 消息隊(duì)列NetMQ 原理分析4-Socket、Session、Option和Pipe 2024-03-26
- Selective Search for Object Recognition 論文筆記【圖片目標(biāo)分割】 2017-07-26
- 詞向量-LRWE模型-更好地識別反義詞同義詞 2017-07-26
- 從棧不平衡問題 理解 calling convention 2017-07-26
- php imagemagick 處理 圖片剪切、壓縮、合并、插入文本、背景色透明 2017-07-26
- Swift實(shí)現(xiàn)JSON轉(zhuǎn)Model - HandyJSON使用講解 2017-07-26
- 阿里移動(dòng)安全 Android端惡意鎖屏勒索應(yīng)用分析 2017-07-26
- 集合結(jié)合數(shù)據(jù)結(jié)構(gòu)來看看(二) 2017-07-26
學(xué)習(xí)是年輕人改變自己的最好方式