Scrapy shell

用来调试Scrapy 项目代码的 命令行工具，启动的时候预定义了Scrapy的一些对象

 

设置 shell

Scrapy 的shell是基于运行环境中的python 解释器shell

本质上就是通过命令调用shell，并在启动的时候预定义需要使用的对象

scrapy允许通过在项目配置文件”scrapy.cfg”中进行配置来指定解释器shell，例如：

[settings]

shell = ipython

 

启动 shell

启动Scrapy shell的命令语法格式：scrapy shell [option] [url|file]

url 就是你想要爬取的网址，分析本地文件时一定要带上路径，scrapy shell默认当作url

 

 

 

Spider类

运行流程

首先生成初始请求以爬取第一个URL，并指定要使用从这些请求下载的响应调用的回调函数

在回调函数中，解析响应（网页）并返回，Item对象、Request对象或这些对象的可迭代的dicts

最后，从蜘蛛返回的项目通常会持久保存到数据库（在某些项目管道中）或导出写入文件

 

属性

name：　　　　　  　spider的名称、必须是唯一的

start_urls：　　　  　  起始urls、初始的Request请求来源

customer_settings：　自定义设置、运行此蜘蛛时将覆盖项目范围的设置。必须将其定义为类属性，因为在实例化之前更新了设置

logger：　　　　　　 使用Spider创建的Python日志器

 

方法

from_crawler：创建spider的类方法

start_requests：开始请求、生成request交给引擎下载返回response

parse：默认的回调方法，在子类中必须要重写

close：spider关闭时调用

 

 

 

CrawlSpider类

Spider类　　　　   是匹配url，然后返回request请求

CrawlSpider类　　 根据url规则，自动生成request请求

 

创建CrawlSpider类爬虫文件

crapy genspider -t crawl 爬虫名 域名

 

LinkExtractor参数

allow：正则表达式，满足的url会被提取出来

deny：正则表达式，满足的url不会被提取出来

estrict_xpaths：路径表达式，符合路径的标签提取出来

 

Rule参数

linkextractor：提取链接的实例对象

callback：回调函数

follow：指定是否应该从使用此规则提取的每个响应中跟踪链接

process_links：用于过滤连接的回调函数

process_request：用于过滤请求的回调函数

 

url去重