Scrapy - 请求和响应

描述

Scrapy 可以使用 Request 和 Response 对象抓取网站。请求对象通过系统，使用蜘蛛执行请求，并在返回响应对象时返回请求。

请求对象

请求对象是生成响应的 HTTP 请求。它具有以下类 −

class scrapy.http.Request(url[, callback, method = 'GET', headers, body, cookies, meta,
   encoding = 'utf-8', priority = 0, dont_filter = False, errback])

下表显示了 Request 对象的参数 −

将附加数据传递给回调函数

当响应作为其第一个参数下载时，将调用请求的回调函数。

例如 −

def parse_page1(self, response): 
   return scrapy.Request("http://www.something.com/some_page.html", 
      callback = self.parse_page2)  

def parse_page2(self, response): 
   self.logger.info("%s page visited", response.url) 

如果您想将参数传递给可调用函数并在第二个回调中接收这些参数，则可以使用 Request.meta 属性，如以下示例所示 −

def parse_page1(self, response): 
   item = DemoItem() 
   item['foremost_link'] = response.url 
   request = scrapy.Request("http://www.something.com/some_page.html", 
      callback = self.parse_page2) 
   request.meta['item'] = item 
   return request  

def parse_page2(self, response): 
   item = response.meta['item'] 
   item['other_link'] = response.url 
   return item

使用 errbacks 捕获请求处理中的异常

errback 是一个可调用函数，在处理请求时发生异常时调用。

以下示例演示了这一点 −

import scrapy  

from scrapy.spidermiddlewares.httperror import HttpError 
from twisted.internet.error import DNSLookupError 
from twisted.internet.error import TimeoutError, TCPTimedOutError  

class DemoSpider(scrapy.Spider): 
   name = "demo" 
   start_urls = [ 
      "http://www.httpbin.org/",              # HTTP 200 expected 
      "http://www.httpbin.org/status/404",    # Webpage not found  
      "http://www.httpbin.org/status/500",    # Internal server error 
      "http://www.httpbin.org:12345/",        # timeout expected 
      "http://www.httphttpbinbin.org/",       # DNS error expected 
   ]  
   
   def start_requests(self): 
      for u in self.start_urls: 
         yield scrapy.Request(u, callback = self.parse_httpbin, 
         errback = self.errback_httpbin, 
         dont_filter=True)  
   
   def parse_httpbin(self, response): 
      self.logger.info('Recieved response from {}'.format(response.url)) 
      # ...  
   
   def errback_httpbin(self, failure): 
      # logs failures 
      self.logger.error(repr(failure))  
      
      if failure.check(HttpError): 
         response = failure.value.response 
         self.logger.error("HttpError occurred on %s", response.url)  
      
      elif failure.check(DNSLookupError): 
         request = failure.request 
         self.logger.error("DNSLookupError occurred on %s", request.url) 

      elif failure.check(TimeoutError, TCPTimedOutError): 
         request = failure.request 
         self.logger.error("TimeoutError occurred on %s", request.url) 

Request.meta 特殊键

request.meta 特殊键是 Scrapy 识别的特殊元键列表。

下表显示了 Request.meta 的一些键 −

请求子类

您可以通过子类化请求类来实现自己的自定义功能。内置的请求子类如下 −

FormRequest 对象

FormRequest 类通过扩展基本请求来处理 HTML 表单。它具有以下类 −

class scrapy.http.FormRequest(url[,formdata, callback, method = 'GET', headers, body,
    cookies, meta, encoding = 'utf-8', priority = 0, dont_filter = False, errback])

以下是参数 −

formdata − 它是一个包含 HTML 表单数据的字典，该数据被分配给请求的主体。

注意 −其余参数与请求类相同，并在请求对象部分中进行了说明。

除了请求方法 −

classmethod from_response(response[, formname = None, formnumber = 0, formdata = None,
    formxpath = None, formcss = None, clickdata = None, dont_click = False, ...])

下表显示了上述类的参数 −

示例

以下是一些请求使用示例 −

使用 FormRequest 通过 HTTP POST 发送数据

以下代码演示了如何在您想要在蜘蛛中复制 HTML 表单 POST 时返回 FormRequest 对象 −

return [FormRequest(url = "http://www.something.com/post/action",
    formdata = {'firstname': 'John', 'lastname': 'dave'},
    callback = self.after_post)]

使用 FormRequest.from_response() 模拟用户登录

通常，网站使用元素来提供预填充的表单字段。

当您希望在抓取过程中自动填充这些字段时，可以使用 FormRequest.form_response() 方法。

以下示例演示了这一点。

import scrapy  
class DemoSpider(scrapy.Spider): 
   name = 'demo' 
   start_urls = ['http://www.something.com/users/login.php']  
   def parse(self, response): 
      return scrapy.FormRequest.from_response( 
         response, 
         formdata = {'username': 'admin', 'password': 'confidential'}, 
         callback = self.after_login 
      )  
   
   def after_login(self, response): 
      if "authentication failed" in response.body: 
         self.logger.error("Login failed") 
         return  
      # You can continue scraping here

响应对象

它是一个表示 HTTP 响应的对象，被提供给蜘蛛进行处理。它有以下类 −

class scrapy.http.Response(url[, status = 200, headers, body, flags])

下表显示了 Response 对象 − 的参数。

响应子类

您可以通过子类化响应类来实现自己的自定义功能。内置的响应子类如下 −

TextResponse 对象

TextResponse 对象用于二进制数据（如图像、声音等），能够对基本 Response 类进行编码。它具有以下类 −

class scrapy.http.TextResponse(url[, encoding[,status = 200, headers, body, flags]])

以下是参数 −

encoding − 它是一个带有编码的字符串，用于对响应进行编码。

注意 −其余参数与响应类相同，并在响应对象部分中解释。

下表显示了 TextResponse 对象除了响应方法之外支持的属性 −

下表显示了 TextResponse 对象除 response 方法之外支持的方法−

HtmlResponse对象

它是一个支持通过查看 HTML 的 meta httpequiv 属性进行编码和自动发现的对象。其参数与响应类相同，并在响应对象部分中进行了说明。它具有以下类 −

class scrapy.http.HtmlResponse(url[,status = 200, headers, body, flags])

XmlResponse 对象

它是一个支持通过查看 XML 行进行编码和自动发现的对象。其参数与响应类相同，并在响应对象部分中进行了说明。它具有以下类 −

class scrapy.http.XmlResponse(url[, status = 200, headers, body, flags])