Amazon Kinesis Firehose 是将流数据加载到 AWS 的最简单方式。它可以捕捉、转换流数据并将其加载到 Amazon Kinesis Analytics、Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service,让您可以利用正在使用的现有商业智能工具和仪表板进行近乎实时的分析。这是一项完全托管的服务,可以自动扩展以匹配数据吞吐量,并且无需持续管理。它还可以在加载数据前对其进行批处理、压缩和加密,从而最大程度地减少目的地使用的存储量,同时提高安全性。
您可以从 AWS 管理控制台轻松创建 Firehose 传输流,通过单击几下对其进行配置,并开始将数据从成千上万个数据源发送到数据流中,以便不断将数据加载到 AWS 中 – 所有这些操作只需几分钟即可完成。
借助 Amazon Kinesis Firehose,您只需要为通过服务传送的数据流付费。没有最低费用和准备成本。
Amazon Kinesis Firehose 提供了一种简单的方式来捕获和加载流数据,只需在 AWS 管理控制台点击几下即可。您只需创建一个 Firehose 传输流,选择目的地,然后就可以开始同时发送来自成千上万个数据源的实时数据。该服务会处理按照您指定的间隔将数据持续加载到目的地所需的数据流管理工作,包括所有扩展、分片和监控操作。
Amazon Kinesis Firehose 与 Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service 紧密集成。通过 AWS 管理控制台,您可以将 Amazon Kinesis Firehose 指向 Amazon S3 存储桶、Amazon Redshift 表或 Amazon Elasticsearch 域。然后,您可以使用现有分析应用程序和工具来分析流数据。
Amazon Kinesis Firehose 能以近乎实时的方式捕获和加载数据。它可以在新数据发送至服务后 60 秒内将其加载到 Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service 中。因此,您可以更快访问新数据,更加迅速地对业务和运营事件作出反应。
Amazon Kinesis Firehose 是一项完全托管的服务,它会自动配置、管理和扩展加载流数据所需的计算、内存和网络资源。一经设置,Amazon Kinesis Firehose 便会不断加载到达的数据。
借助 Amazon Kinesis Firehose,您可以不断从消费类家电、嵌入式传感器和电视机顶盒等互连设备中捕获数据。Amazon Kinesis Firehose 可将数据加载到 Amazon Redshift,让您使客户能够近乎实时地访问指标、见解和仪表板。例如,Hello Inc. 这家生产消费型设备的公司从基于 Amazon Kinesis Streams 的嵌入式传感器收集并处理实时数据,并使用 Amazon Kinesis Firehose 将已处理的信息加载到 Amazon Redshift 中。Hello 的客户可以监控自己的睡眠模式、影响睡眠的条件(例如室内温度和湿度及基准平均值),从而提高睡眠质量。阅读案例研究 »
“借助 Firehose and Redshift,只需单击几次即可将原始流数据转变为高级实时见解。”
- Tim Bart,CTO,Hello Inc.
您可以从受众跟踪系统、广告交换平台侦听器/竞标器和广告服务器提取不同类型的数据记录,并将它们合并到同一流中。然后,您可以使用 Spark Streaming 以微批处理的形式执行数据转换和分析,也可以使用 AWS Lambda 按事件进行。借助 Amazon Kinesis Firehose,您可以将转换过的丰富汇总数据传输至其他分析和存储服务,包括 Amazon S3 和 Amazon Redshift。试用示例项目 »
您可以使用 Amazon Kinesis Firehose 传输有关数字内容的实时指标,使作者和营销人员能够以最有效的方式与其客户联系。您可以对数十亿条已压缩、加密并传输至 Amazon Elasticsearch Service 和 Amazon Redshift 的简短消息进行流式处理。借助 Amazon Elasticsearch Service 和 Amazon Redshift,您可以聚合、筛选和处理数据,并近乎实时地刷新内容性能仪表板。例如,Hearst Corporation 借助 Amazon Kinesis Streams、Amazon Kinesis Firehose、Amazon Redshift 和 Amazon Elasticsearch Service 构建了一个点击流分析平台,每日可传输和处理来自 300 多个 Hearst 网站 的 30TB 数据。借助该平台,Hearst 能够在数分钟内将来自网站点击的整个数据流转化为聚合数据,并将其提供给编辑。阅读案例研究 »
“如果没有 Amazon Kinesis,我不知道如何才能让我们的点击流数据管道正常运行。本来可能需要数周时间才能实现这项工程。但是,Kinesis Streams 和 Firehose 让整个流程变得极其简单、可靠。”
– Peter Jaffe,数据科学家,Hearst Corporation
要将数据从 Amazon DynamoDB 有效复制到 Amazon Aurora,需要创建一个可靠且可扩展的数据复制 (ETL) 流程。在这篇文章中,我向您展示了如何借助 AWS Lambda 和 Amazon Kinesis Firehose 使用无服务器架构创建此类流程。
去年,我发布了一篇 AWS 安全博客文章,介绍了如何优化和可视化安全组。今天的这篇文章与那篇文章一脉相通,在这篇文章中,我介绍了如何使用 Amazon Kinesis Firehose 和 AWS Lambda 来丰富 VPC 流日志数据集,并增强您优化安全组的能力。
在这篇文章中,我们首先会介绍如何设置 Amazon Elasticsearch Service 域。然后,我们将演示如何创建和连接使用预构建的 Lambda 函数来解析 Apache Web 日志的 Firehose 流。最后,我们将介绍如何使用 Amazon Kinesis Agent 加载数据,以及如何使用 Kibana 实现可视化。
这篇文章阐述了如何使用 Amazon Kinesis Firehose、AWS Lambda、Amazon S3、Amazon Athena 和 Amazon QuickSight 构建无服务器架构,以便收集、存储、查询流日志并实现流日志可视化。
Amazon Kinesis Firehose 是一项完全托管的服务,用于将实时流数据传输到 Amazon S3、Amazon Redshift 或 Amazon Elasticsearch Service (Amazon ES) 等目标位置。在这篇文章中,我会介绍传输流上的各种数据转换功能,这些功能可以无缝转换传入的源数据,并将转换后的数据传输到目标位置。
在这篇文章中,我会介绍如何使用 AWS 无服务器服务和托管服务来构建商业智能功能,以便对 IoT 设备数据进行流式处理。这些功能在几分钟内就可以开始运行,处理的数据规模在开始时很小,但能够轻松扩展到数百万台设备和数十亿条消息。
有关 Amazon Kinesis Firehose 和实时分析的博客文章的完整列表,请参阅博客文章页面 »