Scrapy - 链接提取器
描述
顾名思义，链接提取器是使用 scrapy.http.Response 对象从网页中提取链接的对象。在 Scrapy 中，有内置的提取器，例如 scrapy.linkextractors 导入 LinkExtractor。您可以通过实现一个简单的接口，根据需要自定义自己的链接提取器。
每个链接提取器都有一个名为 extract_links 的公共方法，该方法包含一个 Response 对象并返回 scrapy.link.Link 对象列表。您只能实例化链接提取器一次，并多次调用 extract_links 方法来提取具有不同响应的链接。 CrawlSpiderclass 使用带有一组规则的链接提取器，其主要目的是提取链接。
内置链接提取器的参考
通常，链接提取器与 Scrapy 分组，并在 scrapy.linkextractors 模块中提供。默认情况下，链接提取器将是 LinkExtractor，其功能与 LxmlLinkExtractor 相同 −
from scrapy.linkextractors import LinkExtractor
LxmlLinkExtractor
class scrapy.linkextractors.lxmlhtml.LxmlLinkExtractor(allow = (), deny = (),
allow_domains = (), deny_domains = (), deny_extensions = None, restrict_xpaths = (),
restrict_css = (), tags = ('a', 'area'), attrs = ('href', ),
canonicalize = True, unique = True, process_value = None)
LxmlLinkExtractor 是一个强烈推荐的链接提取器，因为它具有方便的过滤选项并且可以与 lxml 强大的 HTMLParser 一起使用。
| Sr.No | 参数与说明 |
|---|---|
| 1 | allow（正则表达式（或列表）） 它允许单个表达式或一组表达式与要提取的 URL 匹配。如果没有提及，它将匹配所有链接。 |
| 2 | deny（正则表达式（或列表）） 它阻止或排除单个表达式或一组表达式，这些表达式或表达式应与不提取的 URL 匹配。如果没有提及或留空，则不会消除不需要的链接。 |
| 3 | allow_domains (str 或 list) 它允许单个字符串或字符串列表与要从中提取链接的域匹配。 |
| 4 | deny_domains (str 或 list) 它阻止或排除单个字符串或字符串列表与不从中提取链接的域匹配。 |
| 5 | deny_extensions (list) 提取链接时，它会阻止带有扩展名的字符串列表。如果未设置，则默认情况下将设置为 IGNORED_EXTENSIONS，其中包含 scrapy.linkextractors 包中的预定义列表。 |
| 6 | restrict_xpaths (str 或 list) 这是一个 XPath 列表区域，将从该区域中提取响应中的链接。如果给定，则将仅从 XPath 选择的文本中提取链接。 |
| 7 | restrict_css (str 或 list) 其行为类似于 restrict_xpaths 参数，该参数将从响应内的 CSS 选定区域中提取链接。 |
| 8 | tags (str 或 list) 提取链接时应考虑的单个标签或标签列表。默认情况下，它将是 ('a', 'area')。 |
| 9 | attrs (list) 提取链接时应考虑单个属性或属性列表。默认情况下，它将是 ('href',)。 |
| 10 | canonicalize (boolean) 使用 scrapy.utils.url.canonicalize_url 将提取的 url 转换为标准格式。默认情况下，它将是 True。 |
| 11 | unique (boolean) 如果提取的链接重复，它将被使用。 |
| 12 | process_value (callable) 它是一个从扫描的标签和属性接收值的函数。接收到的值可能会被更改并返回，否则将不返回任何内容以拒绝链接。如果不使用，默认情况下它将是 lambda x: x。 |
示例
以下代码用于提取链接 −
<a href = "javascript:goToPage('../other/page.html'); return false">Link text</a>
以下代码函数可在 process_value 中使用 −
def process_value(val):
m = re.search("javascript:goToPage\('(.*?)'", val)
if m:
return m.group(1)
