Scrapy

今天介绍可以用于数据挖掘，检测，自动化测试的框架Scrapy，它主要是一个快速，高层次的屏幕抓取和网站抓取的框架
主要部分有以下几个：
Scrapy
用来处理整个系统的数据流处理, 触发事务(框架核心)
Scheduler
用来接受Scrapy发过来的请求, 压入队列中, 并在Scrapy再次请求的时候返回. 可以想像成一个URL（抓取网页的网址或者说是链接）的优先队列, 由它来决定下一个要抓取的网址是什么, 同时去除重复的网址
Downloader
用于下载网页内容, 并将网页内容返回给Spiders(Scrapy下载器是建立在twisted这个高效的异步模型上的)
Spiders
Spiders是主要干活的, 用于从特定的网页中提取自己需要的信息, 即所谓的实体(Item)。用户也可以从中提取出链接,让Scrapy继续抓取下一个页面
Pipeline
负责处理Spiders从网页中抽取的实体，主要的功能是持久化实体、验证实体的有效性、清除不需要的信息。当页面被Spiders解析后，将被发送到Pipeline，并经过几个特定的次序处理数据。
Downloader Middlewares
位于Scrapy和Downloader之间的框架，主要是处理Scrapy与Downloader之间的请求及响应。
Spider Middlewares
介于Scrapy和Spiders之间的框架，主要工作是处理Spiders的响应输入和请求输出。
Scheduler Middlewares
介于Scrapy和Scheduler之间的中间件，从Scrapy发送到Scheduler的请求和响应。

运行流程如下：
1.Scrapy从Scheduler中取出一个链接(URL)用于接下来的抓取
2.Scrapy把URL封装成一个请求(Request)传给Downloader
3.Downloader把资源下载下来，并封装成应答包(Response)
4.Spider解析Response
5.解析出实体（Item）,则交给Pipeline进行进一步的处理
6.解析出的是链接（URL）,则把URL交给Scheduler等待抓取

基本命令
1.scrapy startproject project_name
2.scrapy shell "http://www.baidu.com"
3.scrapy view "http://www.baidu.com"
4.scrapy version [-v]
5.scrapy setting [options]
6.scrapy runspider ytl.py
7.scrapy fetch [url]
8.scrapy bench
项目命令
scrapy genspider -l
scrapy genspider -d basic
scrapy genspider -t basic ytl baidu.com
scrapy crawl ytl
scrapy check ytl
scrapy list ytl
scrapy edit ytl
scrapy deploy
parse—获取给定的URL使用相应的spider分析处理
语法：scrapy parse [options]
前置条件：项目需要存在
示例：scrapy parse “http://www.yetianlian.com/” -c parse
如果提供–callbac选项，可以自动检测spider中的解析方法进行处理。支持以下的选项：
–spider=SPIDER: 没有指定spider的情况下其程序搜索，用这个选项可以强行指定某个spider
–a NAME=VALUE: 用来设定spider需要的参数，可以多个
–callback或-c: 指定spider里面用于处理response的函数,没有强行制定的话，默认使用parse函数
–pipelines:用来指定后续的pipelines,可以灵活定制
–rules或-r: 通过CrawlSpider设定的规则来选取对应的函数当作解析response的回调函数
–noitems: 不显示抓取的items
–nolinks: 不显示提取的链接
–nocolour: 输出的结果不要高亮显示（不建议用）
–depth或-d: 设置爬取深度，默认为1
–verbose或-v: 显示被爬取的每层的相关信息

项目结构
project_name/
scrapy.cfg###项目的主配置信息。（真正爬虫相关的配置信息在settings.py文件中）
project_name/
init.py
items.py###设置数据存储模板，用于结构化数据，如：Django的Model
　　　　　　　middlewares.py

   pipelines.py###数据处理行为，如：一般结构化的数据持久化
   settings.py###配置文件，如：递归的层数、并发数，延迟下载等
   spiders/
       __init__.py
       爬虫1.py
       爬虫2.py
       爬虫3.py

其中setting.py具体如下：
#项目名称
BOT_NAME = 'DemoScrapy'
#爬虫的位置
SPIDER_MODULES = ['DemoScrapy.spiders']
#新建爬虫的位置
NEWSPIDER_MODULE = 'DemoScrapy.spiders'
#浏览器信息设置
USER_AGENT = 'DemoScrapy (+http://www.yourdomain.com)'
#是否遵守robots.txt规则
ROBOTSTXT_OBEY = True
#并发数，默认16
CONCURRENT_REQUESTS = 32
#下载延迟，每个请求等待3秒
DOWNLOAD_DELAY = 3
#启用COOKIES
COOKIES_ENABLED = False
#默认的请求报头
DEFAULT_REQUEST_HEADERS = {}
spiders 爬虫目录
创建文件，编写爬虫规则
注意：一般创建爬虫文件时，以网站域名命名