Scrapy - 安装和环境设置

在本章中，我们将讨论如何安装和设置 Scrapy。Scrapy 必须与 Python 一起安装。

可以使用 pip 安装 Scrapy。要安装，请运行以下命令 −

pip install Scrapy

Windows

注意 − Windows 操作系统不支持 Python 3。

步骤 1 −从 Python 安装 Python 2.7>

通过将以下路径添加到 PATH − 来设置环境变量

C:\Python27\;C:\Python27\Scripts\;

您可以使用以下命令检查 Python 版本 −

python --version

步骤 2 − 安装 OpenSSL。

在您的环境变量中添加 C:\OpenSSL-Win32\bin。

注意 − OpenSSL 已预安装在除 Windows 之外的所有操作系统中。

步骤 3 − 安装 Visual C++ 2008 可再发行组件。

步骤 4 − 安装 pywin32。

步骤 5 −为 Python 2.7.9 之前的版本安装 pip。

您可以使用以下命令检查 pip 版本 −

pip --version

步骤 6 −要安装 scrapy，请运行以下命令 −

pip install Scrapy

Anaconda

如果您的计算机上安装了 anaconda 或 miniconda，请运行以下命令使用 conda 安装 Scrapy −

conda install -c scrapinghub scrapy

Scrapinghub 公司支持 Linux 的官方 conda 软件包， Windows 和 OS X。

注意 − 如果您在通过 pip 安装时遇到问题，建议使用上述命令安装 Scrapy。

Ubuntu 9.10 或更高版本

Ubuntu 操作系统上预安装了最新版本的 Python。使用 Scrapinghub 提供的 Ubuntu 软件包 aptgettable。要使用这些软件包 −

步骤 1 − 您需要将用于签署 Scrapy 软件包的 GPG 密钥导入 APT 密钥环 −

sudo apt-key adv --keyserver hkp://keyserver.ubuntu.com:80 --recv 627220E7

步骤 2 −接下来，使用以下命令创建 /etc/apt/sources.list.d/scrapy.list 文件 −

echo 'deb http://archive.scrapy.org/ubuntu scrapy main' | sudo tee
/etc/apt/sources.list.d/scrapy.list

步骤 3 − 更新软件包列表并安装 scrapy −

sudo apt-get update && sudo apt-get install scrapy

Archlinux

您可以使用以下命令从 AUR Scrapy 包安装 Scrapy −

yaourt -S scrapy

Mac OS X

使用以下命令安装 Xcode 命令行工具 −

xcode-select --install

不要使用系统 Python，而是安装一个与系统其余部分不冲突的新更新版本。

步骤 1 − 安装 homebrew。

步骤 2 −设置环境 PATH 变量以指定在系统软件包之前使用自制软件包 −

echo "export PATH = /usr/local/bin:/usr/local/sbin:$PATH" >> ~/.bashrc

步骤 3 − 为确保更改已完成，请使用以下命令重新加载 .bashrc −

source ~/.bashrc

步骤 4 − 接下来，使用以下命令安装 Python −

brew install python

步骤 5 − 使用以下命令安装 Scrapy −

pip install Scrapy