scrapy (三）各部分意义及框架示意图详解
一、 ? ? ?框架示意图
Scrapy ?由? ? Python? ? 编写 ? ? ， ? ? 是 ? ? 一个快速、高层次的屏幕抓取和 ?web ?抓取框架，用于抓取 ? web ? 站点并从页面中提取结构化的数据。 ? Scrapy ? 用途广泛，可以用于数据挖掘、监测和自动化测试。
?
? ?
?
1、Scrapy Engine(引擎): 引擎负责控制数据流在系统的所有组件中流动，并在相应动作发生时触发事件。
2、Scheduler(调度器): 调度器从引擎接受request并将他们入队，以便之后引擎请求他们时提供给引擎。
3、Downloader（下载器）： 下载器负责获取页面数据并提供给引擎，而后提供给spider。
4、Spider（爬虫）： Spider是Scrapy用户编写用于分析response并提取item(即获取到的item)或额外跟进的URL的类。 每个spider负责处理一个特定(或一些)网站。
5、Item Pipeline(管道)： Item Pipeline负责处理被spider提取出来的item。典型的处理有清理、 验证及持久化(例如存储到数据库中)。
6、Downloader Middlewares（下载中间件）： 下载器中间件是在引擎及下载器之间的特定钩子(specific hook)，处理Downloader传递给引擎的response。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
7、Spider Middlewares（Spider中间件）： Spider中间件是在引擎及Spider之间的特定钩子(specific hook)，处理spider的输入(response)和输出(items及requests)。 其提供了一个简便的机制，通过插入自定义代码来扩展Scrapy功能。
(2).最新版
1、引擎：怎么样，爬虫老弟，搞起来啊！
2、Spider：好啊，老哥，来来来，开始吧。今天就爬xxx网站怎么样
3、引擎：没问题，入口URL发过来！
4、Spider：呐，入口URL是https://ww.xxx测试数据。
5、引擎：调度器老弟，我这有request请求你帮我排序入队一下吧。
6、调度器：引擎老哥，这是我处理好的request。
7、引擎：下载器老弟，你按照下载中间件的设置帮我下载一下这个request请求。
8、下载器：可以了，这是下载好的东西。（如果失败：sorry，这个request下载失败了。然后引擎告诉调度器，这个request下载失败了，你记录一下，我们待会儿再下载）
9、引擎：爬虫老弟，这是下载好的东西，下载器已经按照下载中间件处理过了，你自己处理一下吧。
10、Spider：引擎老哥，我的数据处理完毕了，这里有两个结果，这个是我需要跟进的URL，还有这个是我获取到的Item数据。
11、引擎：管道老弟，我这儿有个item你帮我处理一下！
12、引擎：调度器老弟，这是需要跟进URL你帮我处理下。（然后从第四步开始循环，直到获取完需要全部信息）
?
?
二、爬虫人员的主要工作
?
1 ?、创建一个 ? Scrapy ? 项目
2 ?、定义提取的 ? Item
3 ?、编写爬取网站的? ? spider? ? 并提取? ? Item
4 ?、编写? ? Item Pipeline? ? 来存储提取到的 ? Item( ? 即数据 ? )
?
三、 ?scrapy ?基本流程
?
?
?
?
?
?
四、 ?scrapy? ?框架各部分详解
1、 ? ? ? ? ? ? Scrapy Items ? ? ? ? ? ? ?： ? ? ? 定义您想抓取的数据
import scrapy
class TorrentItem(scrapy.Item):
??? name = scrapy.Field()
2、spiders： ? ? ?编写提取数据的 ?Spider
1 ?） ? ? ： ? ? 定义初始 ?URL ? ?根网址 ? ? 、 ?? ?针对后续链接的规则以及从页面中提取数据的规则 ? ? （即写正则或 ?xpath ?等等） ? ? 。
2 ?） ? ? 执行 ?spider ?，获取数据
注 ? ? ： ? ? 运行 ?spider ?来获取网站的数据，并以 ? JSON ? 格式存入到 ? ?scraped_data.json ? ? ?文件中 ? :
terminal ?： ? scrapy crawl mininova -o scraped_data.json
3、编写 item? ? ? pipeline ? ? ? ?将 ?item存储到数据库中
注：
1 ? ?） ? ? 、 ? ?Item ?在 ? Spider ? 中被收集之后，它将会被传递到 ? Item Pipeline ? ，一些组件会按照一定的顺序执行对 ? Item ? 的处理 ? ? ；
2 ?） ? ? 每个 ?item pipeline ?组件 ? ( ? 有时称之为 ? “Item Pipeline”) ? 是实现了简单方法的 ? Python ? 类。他们接收到 ? Item ? 并通过它执行一些行为，同时也决定此 ? Item ? 是否继续通过 ? pipeline ? ，或是被丢弃而不再进行处理。
3 ?） ? ?item pipeline ?的一些典型应用：
a ? ?）清理 ?HTML ?数据
b ? ?）验证爬取的数据 ?( ?检查 ? item ? 包含某些字段 ? )
c ? ?）查重 ?( ?并丢弃 ? )
4 ?）将爬取结果保存到数据库中
4、编写自己的item pipeline
注：每个 ?item pipiline ?组件是一个独立的 ? Python ? 类，同时必须实现以下方法 ? :
1 ?） ? process_item(item, spider)每个 ?item pipeline ?组件都需要调用该方法，这个方法必须返回一个? ? Item ( ? 或任何继承类 ? ) ? 对象， 或是抛出? ? DropItem ? 异常，被丢弃的 ? item ? 将不会被之后的 ? pipeline ? 组件所处理。
参数 ?:
item (Item? ?对象 ? )? ? – 被爬取的 ? item
spider (Spider? ?对象 ? )? ? – 爬取该 ? item ? 的 ? spider
2 ?） ? open_spider(spider)当 ?spider ?被开启时，这个方法被调用。
参数 ?: ? spider (Spider? ?对象 ? )? ? – 被开启的 ? spider
3 ?） ? close_spider(spider)当 ?spider ?被关闭时，这个方法被调用
参数 ?: ? spider (Spider? ?对象 ? )? ? – 被关闭的 ? spider
5、查看提取到的数据
执行结束后，查看 ??scraped_data.json ,? ?将看到提取到的 ? item:
注 ? ?? ? ?： ?1 ? ?） ? ? 由于 ??selectors? ?返回 ? list,? ? 所以值都是以 ? list ? 存储的 ? ( ? 除了? ? url? ? 是直接赋值之外 ? ) ? 。
2 ? ?） ? ?? ? ? Item Loaders ? ? ? ? ?： ? ? 可以 ? ? 保存单个数据或者对数据执行额外的处理
?