Scrapy - 概述

Scrapy 是一个用 Python 编写的快速开源网络爬虫框架，用于借助基于 XPath 的选择器从网页中提取数据。

Scrapy 于 2008 年 6 月 26 日首次发布，采用 BSD 许可，里程碑版本 1.0 于 2015 年 6 月发布。

为什么使用 Scrapy？

• 它更容易构建和扩展大型爬虫项目。

• 它具有一种称为选择器的内置机制，用于从网站中提取数据。

• 它异步处理请求，速度很快。

• 它使用自动节流机制。

• 确保开发人员可访问性。

Scrapy 的功能

• Scrapy 是一个开源且免费使用的 Web 爬虫框架。

• Scrapy 以 JSON、CSV 和 XML 等格式生成 feed 导出。

• Scrapy 内置支持通过 XPath 或 CSS 表达式从源中选择和提取数据。

• 基于爬虫的 Scrapy，允许自动从网页中提取数据。

优点

• Scrapy 易于扩展、速度快且功能强大。

• 它是一个跨平台的应用程序框架（Windows、Linux、Mac OS 和 BSD）。

• Scrapy 请求是异步安排和处理的。

• Scrapy 带有内置服务 Scrapyd，允许使用 JSON Web 服务上传项目和控制蜘蛛。

• 可以抓取任何网站，尽管该网站没有用于原始数据访问的 API。

缺点

• Scrapy 仅适用于 Python 2.7。+

• 不同操作系统的安装不同。