這里是通過(guò)爬取伯樂(lè)在線的全部文章為例子，讓自己先對(duì)scrapy進(jìn)行一個(gè)整理的理解
該例子中的詳細(xì)代碼會(huì)放到我的github地址：https://github.com/pythonsite/spider/tree/master/jobboleSpider
注：這個(gè)文章并不會(huì)對(duì)詳細(xì)的用法進(jìn)行講解，是為了讓對(duì)scrapy各個(gè)功能有個(gè)了解，建立整體的印象。
在學(xué)習(xí)Scrapy框架之前，我們先通過(guò)一個(gè)實(shí)際的爬蟲(chóng)例子來(lái)理解，后面我們會(huì)對(duì)每個(gè)功能進(jìn)行詳細(xì)的理解。
這里的例子是爬取http://blog.jobbole.com/all-posts/ 伯樂(lè)在線的全部文章數(shù)據(jù)
分析要爬去的目標(biāo)站信息
先看如下圖，首先我們要獲取下圖中所有文章的連接，然后是進(jìn)入每個(gè)文章連接爬取每個(gè)文章的詳細(xì)內(nèi)容。
每個(gè)文章中需要爬取文章標(biāo)題，發(fā)表日期，以及標(biāo)簽，贊賞收藏，評(píng)論數(shù)，文章內(nèi)容。
