Amazon Web Services - 数据管道

AWS 数据管道 是一种 Web 服务，旨在让用户更轻松地集成跨多个 AWS 服务的数据并从单个位置进行分析。

使用 AWS 数据管道，可以从源访问数据、进行处理，然后将结果高效地传输到相应的 AWS 服务。

如何设置数据管道?

以下是设置数据管道的步骤 −

步骤 1 − 使用以下步骤创建管道。

• 登录 AWS 帐户。

• 使用此链接打开 AWS 数据管道控制台 − https://console.aws.amazon.com/datapipeline/

• 在导航栏中选择区域。

• 单击"创建新管道"按钮。

• 在相应字段中填写所需的详细信息。

  • 在"源"字段中，选择"使用模板构建"，然后选择此模板 −使用 ShellCommandActivity 入门。

• 仅当选择模板时，参数部分才会打开。保留 S3 输入文件夹和 Shell 命令以使用其默认值运行。单击 S3 输出文件夹旁边的文件夹图标，然后选择存储桶。

• 在计划中，保留值作为默认值。

• 在管道配置中，保留日志记录为启用状态。单击日志的 S3 位置下的文件夹图标并选择存储桶。

• 在"安全/访问"中，将 IAM 角色值保留为默认值。

• 单击"激活"按钮。

如何删除管道?

删除管道还将删除所有关联对象。

步骤 1 − 从管道列表中选择管道。

步骤 2 − 单击"操作"按钮，然后选择"删除"。

步骤 3 − 将打开确认提示窗口。单击删除。

AWS Data Pipeline 的功能

简单且经济高效 − 它的拖放功能使在控制台上创建管道变得容易。其可视化管道创建器提供了一个管道模板库。这些模板使创建管道(例如处理日志文件、将数据存档到 Amazon S3 等任务)变得更加容易。

可靠 − 其基础设施专为容错执行活动而设计。如果活动逻辑或数据源中发生故障，则 AWS Data Pipeline 会自动重试该活动。如果故障持续存在，则它将发送故障通知。我们甚至可以针对成功运行、失败、活动延迟等情况配置这些通知警报。

灵活 − AWS Data Pipeline 提供各种功能，例如调度、跟踪、错误处理等。它可以配置为执行操作，例如运行 Amazon EMR 作业、直接针对数据库执行 SQL 查询、执行在 Amazon EC2 上运行的自定义应用程序等。