Scrapy - Spiders

描述

Spider 是一个类，负责定义如何跟踪网站上的链接并从页面中提取信息。

Scrapy 的默认蜘蛛如下 −

scrapy.Spider

它是所有其他蜘蛛必须继承的蜘蛛。它具有以下类 −

class scrapy.spiders.Spider

下表显示了 scrapy.Spider 类的字段 −

Spider 参数

Spider 参数用于指定起始 URL，并使用带有 -a 选项的 crawl 命令传递，如下所示 −

scrapy crawl first_scrapy -a group = accessories

以下代码演示了蜘蛛如何接收参数 −

import scrapy 

class FirstSpider(scrapy.Spider): 
   name = "first" 
   
   def __init__(self, group = None, *args, **kwargs): 
      super(FirstSpider, self).__init__(*args, **kwargs) 
      self.start_urls = ["http://www.example.com/group/%s" % group]

通用蜘蛛

您可以使用通用蜘蛛来从中子类化您的蜘蛛。它们的目的是根据某些规则跟踪网站上的所有链接，以从所有页面中提取数据。

对于以下蜘蛛中使用的示例，我们假设我们有一个包含以下字段的项目 −

import scrapy 
from scrapy.item import Item, Field 
  
class First_scrapyItem(scrapy.Item): 
   product_title = Field() 
   product_link = Field() 
   product_description = Field() 

CrawlSpider

CrawlSpider 定义了一组规则，用于跟踪链接并抓取多个页面。它具有以下类 −

class scrapy.spiders.CrawlSpider

以下是 CrawlSpider 类 −

规则

它是定义爬虫如何跟踪链接的规则对象列表。

下表显示了 CrawlSpider 类的规则 −

parse_start_url(response)

它通过允许解析初始响应。

注意 − 确保在编写规则时将解析函数重命名为解析以外的名称，因为解析函数被 CrawlSpider 用于实现其逻辑。

让我们看看以下示例，蜘蛛开始抓取 demoexample.com 的主页，使用 parse_items 方法收集所有页面、链接和解析 −

import scrapy
from scrapy.spiders import CrawlSpider, Rule
from scrapy.linkextractors import LinkExtractor

class DemoSpider(CrawlSpider):
   name = "demo"
   allowed_domains = ["www.demoexample.com"]
   start_urls = ["http://www.demoexample.com"]
      
   rules = ( 
      Rule(LinkExtractor(allow =(), restrict_xpaths = ("//div[@class = 'next']",)),
         callback = "parse_item", follow = True),
   )
   
   def parse_item(self, response):
      item = DemoItem()
      item["product_title"] = response.xpath("a/text()").extract()
      item["product_link"] = response.xpath("a/@href").extract()
      item["product_description"] = response.xpath("div[@class = 'desc']/text()").extract()
      return items

XMLFeedSpider

它是从 XML 源抓取数据并遍历节点的蜘蛛的基类。它有以下类 −

class scrapy.spiders.XMLFeedSpider

下表显示用于设置迭代器和标签名称 −

CSVFeedSpider

它遍历其每一行，接收 CSV 文件作为响应，并调用 parse_row() 方法。它具有以下类 −

class scrapy.spiders.CSVFeedSpider

下表显示了可以设置的有关 CSV 文件的选项 −

CSVFeedSpider 示例

from scrapy.spiders import CSVFeedSpider
from demoproject.items import DemoItem  

class DemoSpider(CSVFeedSpider): 
   name = "demo" 
   allowed_domains = ["www.demoexample.com"] 
   start_urls = ["http://www.demoexample.com/feed.csv"] 
   delimiter = ";" 
   quotechar = "'" 
   headers = ["product_title", "product_link", "product_description"]  
   
   def parse_row(self, response, row): 
      self.logger.info("This is row: %r", row)  
      item = DemoItem() 
      item["product_title"] = row["product_title"] 
      item["product_link"] = row["product_link"] 
      item["product_description"] = row["product_description"] 
      return item

SitemapSpider

SitemapSpider 在 Sitemaps 的帮助下，通过从 robots.txt 中定位 URL 来抓取网站。它具有以下类 −

class scrapy.spiders.SitemapSpider

下表显示了 SitemapSpider 的字段 −

SitemapSpider 示例

以下 SitemapSpider 处理所有 URL −

from scrapy.spiders import SitemapSpider  

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/sitemap.xml"]  
   
   def parse(self, response): 
      # You can scrap items here

以下 SitemapSpider 使用回调来处理一些 URL −

from scrapy.spiders import SitemapSpider  

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/sitemap.xml"] 
   
   rules = [ 
      ("/item/", "parse_item"), 
      ("/group/", "parse_group"), 
   ]  
   
    def parse_item(self, response):
    # 您可以在此处删除项目
    
    def parse_group(self, response):
    # 您可以在此处删除组

以下代码显示 robots.txt 中 URL 包含 /sitemap_company 的站点地图−

from scrapy.spiders import SitemapSpider

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/robots.txt"] 
   rules = [ 
      ("/company/", "parse_company"), 
   ] 
   sitemap_follow = ["/sitemap_company"]  
   
   def parse_company(self, response): 
      # you can scrap company here 

您甚至可以将 SitemapSpider 与其他 URL 结合起来，如以下命令所示。

from scrapy.spiders import SitemapSpider  

class DemoSpider(SitemapSpider): 
   urls = ["http://www.demoexample.com/robots.txt"] 
   rules = [ 
      ("/company/", "parse_company"), 
   ]  
   
   other_urls = ["http://www.demoexample.com/contact-us"] 
   def start_requests(self): 
      requests = list(super(DemoSpider, self).start_requests()) 
      requests += [scrapy.Request(x, self.parse_other) for x in self.other_urls] 
      return requests 

   def parse_company(self, response): 
      # you can scrap company here... 

   def parse_other(self, response): 
      # you can scrap other here...