Amazon Web Services - Kinesis
Amazon Kinesis 是一种托管的、可扩展的基于云的服务，允许实时处理每秒大量数据流。它专为实时应用程序而设计，允许开发人员从多个来源获取任意数量的数据，并可在 EC2 实例上运行的扩展和缩减。
它用于捕获、存储和处理来自大型分布式流(如事件日志和社交媒体源)的数据。处理数据后，Kinesis 会同时将其分发给多个消费者。
如何使用 Amazon KCL?
它用于我们需要快速移动数据并持续处理数据的情况。Amazon Kinesis 可用于以下情况 −
数据日志和数据源摄入 −我们无需等待对数据进行批处理，我们可以在数据生成后立即将数据推送到 Amazon Kinesis 流。它还可以在数据生产者发生故障时保护数据丢失。例如:系统和应用程序日志可以连续添加到流中，并在需要时在几秒钟内可用。
实时图表 − 我们可以使用 Amazon Kinesis 流提取图表/指标来创建报告结果。我们无需等待数据批处理。
实时数据分析 −我们可以使用 Amazon Kinesis 运行实时流数据分析。
Amazon Kinesis 的限制?
以下是使用 Amazon Kinesis Streams 时应牢记的某些限制 −
默认情况下，流的记录最多可访问 24 小时，通过启用延长数据保留，可以延长至 7 天。
一条记录中数据 blob(Base64 编码前的数据有效负载)的最大大小为 1 兆字节 (MB)。
一个分片每秒最多支持 1000 条 PUT 记录。
有关限制的更多信息，请访问以下链接 − https://docs.aws.amazon.com/kinesis/latest/dev/service-sizes-and-limits.html
如何使用 Amazon Kinesis?
以下是使用 Amazon Kinesis 的步骤 −
步骤 1 − 使用以下步骤设置 Kinesis Stream −
登录 AWS 账户。从 Amazon 管理控制台中选择 Amazon Kinesis。
单击"创建流"并填写所需的字段，例如流名称和分片数量。单击"创建"按钮。
流现在将在流列表中可见。
步骤 2 − 在 Kinesis 流上设置用户。创建新用户并为每个用户分配策略。(我们已经讨论了上述创建用户和为他们分配策略的过程)
步骤 3 − 将您的应用程序连接到 Amazon Kinesis;这里我们将 Zoomdata 连接到 Amazon Kinesis。以下是连接步骤。
以管理员身份登录 Zoomdata 并单击菜单中的来源。
选择 Kinesis 图标并填写所需的详细信息。单击下一步按钮。
在"Stream"选项卡上选择所需的流。
在"Fields"选项卡上，根据需要创建唯一的标签名称，然后单击下一步按钮。
在"Charts"选项卡上，启用数据图表。根据需要自定义设置，然后单击"完成"按钮保存设置。
Amazon Kinesis 的功能
实时处理 − 它允许实时收集和分析信息，例如股票交易价格，否则我们需要等待数据输出报告。
易于使用 − 使用 Amazon Kinesis，我们可以创建新流、设置其要求并快速开始流式传输数据。
高吞吐量、弹性 − 它允许实时收集和分析信息，例如股票交易价格，否则我们需要等待数据输出报告。
与其他 Amazon 服务集成 −它可以与 Amazon Redshift、Amazon S3 和 Amazon DynamoDB 集成。
构建 Kinesis 应用程序 − Amazon Kinesis 为开发人员提供客户端库，支持设计和运行实时数据处理应用程序。将 Amazon Kinesis 客户端库添加到 Java 应用程序，它会在有新数据可供处理时通知您。
经济高效 − Amazon Kinesis 对于任何规模的工作负载都具有成本效益。按使用量付费，并按小时支付所需的吞吐量。
