scrapy note

command

全局命令:

  • startproject ：在 project_name 文件夾下創(chuàng)建一個(gè)名為 project_name 的Scrapy項(xiàng)目。

    scrapy startproject myproject

  • settings：在項(xiàng)目中運(yùn)行時(shí)，該命令將會輸出項(xiàng)目的設(shè)定值，否則輸出Scrapy默認(rèn)設(shè)定。

  • runspider：在未創(chuàng)建項(xiàng)目的情況下，運(yùn)行一個(gè)編寫在Python文件中的spider。

  • shell：以給定的URL(如果給出)或者空(沒有給出URL)啟動Scrapy shell。

  • fetch：使用Scrapy下載器(downloader)下載給定的URL，并將獲取到的內(nèi)容送到標(biāo)準(zhǔn)輸出。

    scrapy fetch --nolog --headers http://www.example.com/

  • view：在瀏覽器中打開給定的URL，并以Scrapy spider獲取到的形式展現(xiàn)。

    scrapy view http://www.example.com/some/page.html

  • version：輸出Scrapy版本。

項(xiàng)目(Project-only)命令: