AWS 云
AWS 云
开始使用 Amazon Kinesis Firehose

Amazon Kinesis Firehose 是将流数据加载到 AWS 的最简单方式。它可以捕获流数据并自动将其加载到 Amazon Kinesis Analytics、Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service,从而借助您当前正在使用的商业智能工具和仪表板实现近乎实时的分析。这是一项完全托管的服务,可以自动扩展以匹配数据吞吐量,并且无需持续管理。它还可以在加载数据前对其进行批处理、压缩和加密,从而最大程度地减少目的地使用的存储量,同时提高安全性。

您可以从 AWS 管理控制台轻松创建 Firehose 传输流,通过单击几下对其进行配置,并开始将数据从成千上万个数据源发送到数据流中,以便不断将数据加载到 AWS 中 – 所有这些操作只需几分钟即可完成。

借助 Amazon Kinesis Firehose,您只需要为通过服务传送的数据流付费。没有最低费用和准备成本。

thumb-amazon-kinesis-firehose-video
KinesisAnalytics_LP_EasyToUse

Amazon Kinesis Firehose 提供了一种简单的方式来捕获和加载流数据,只需在 AWS 管理控制台点击几下即可。您只需创建一个 Firehose 传输流,选择目的地,然后就可以开始同时发送来自成千上万个数据源的实时数据。该服务会处理按照您指定的间隔将数据持续加载到目的地所需的数据流管理工作,包括所有扩展、分片和监控操作。

KinesisAnalytics_LP_FullyManaged

Amazon Kinesis Firehose 与 Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service 紧密集成。通过 AWS 管理控制台,您可以将 Amazon Kinesis Firehose 指向 Amazon S3 存储桶、Amazon Redshift 表或 Amazon Elasticsearch 域。然后,您可以使用现有分析应用程序和工具来分析流数据。

KinesisAnalytics_LP_AutomaticElasticity

Amazon Kinesis Firehose 会自动扩展,按每秒数 GB 的速率同时处理来自成千上万个数据源的流数据。无需采取干预或维护操作来保持数据吞吐量。

KinesisAnalytics_LP_RealTimeProcessing

Amazon Kinesis Firehose 能以近乎实时的方式捕获和加载数据。它可以在新数据发送至服务后 60 秒内将其加载到 Amazon S3、Amazon Redshift 和 Amazon Elasticsearch Service 中。因此,您可以更快访问新数据,更加迅速地对业务和运营事件作出反应。

benefit_Fully-Managed

Amazon Kinesis Firehose 是一项完全托管的服务,它会自动配置、管理和扩展加载流数据所需的计算、内存和网络资源。一经设置,Amazon Kinesis Firehose 便会不断加载到达的数据。

KinesisAnalytics_LP_PayForUse

对于 Amazon Kinesis Firehose,您只需为通过该服务传输的数据量付费。无最低费用,无需签订长期合约。

借助 Amazon Kinesis Firehose,您可以不断从消费类家电、嵌入式传感器和电视机顶盒等互连设备中捕获数据。Amazon Kinesis Firehose 可将数据加载到 Amazon Redshift,让您使客户能够近乎实时地访问指标、见解和仪表板。例如,Hello Inc. 这家生产消费型设备的公司从基于 Amazon Kinesis Streams 的嵌入式传感器收集并处理实时数据,并使用 Amazon Kinesis Firehose 将已处理的信息加载到 Amazon Redshift 中。Hello 的客户可以监控自己的睡眠模式、影响睡眠的条件(例如室内温度和湿度及基准平均值),从而提高睡眠质量。阅读案例研究 »

firehose-use-case-diagram-iot
hello_logo-2

“借助 Firehose and Redshift,只需单击几次即可将原始流数据转变为高级实时见解。”

- Tim Bart,CTO,Hello Inc.


您可以从受众跟踪系统、广告交换平台侦听器/竞标器和广告服务器提取不同类型的数据记录,并将它们合并到同一流中。然后,您可以使用 Spark Streaming 以微批处理的形式执行数据转换和分析,也可以使用 AWS Lambda 按事件进行。借助 Amazon Kinesis Firehose,您可以将转换过的丰富汇总数据传输至其他分析和存储服务,包括 Amazon S3 和 Amazon Redshift。试用示例项目 »

firehose-use-case-diagram-ad-tech

您可以使用 Amazon Kinesis Firehose 传输有关数字内容的实时指标,使作者和营销人员能够以最有效的方式与其客户联系。您可以对数十亿条已压缩、加密并传输至 Amazon Elasticsearch Service 和 Amazon Redshift 的简短消息进行流式处理。借助 Amazon Elasticsearch Service 和 Amazon Redshift,您可以聚合、筛选和处理数据,并近乎实时地刷新内容性能仪表板。例如,Hearst Corporation 借助 Amazon Kinesis Streams、Amazon Kinesis Firehose、Amazon Redshift 和 Amazon Elasticsearch Service 构建了一个点击流分析平台,每日可传输和处理来自 300 多个 Hearst 网站 的 30TB 数据。借助该平台,Hearst 能够在数分钟内将来自网站点击的整个数据流转化为聚合数据,并将其提供给编辑。阅读案例研究 »

firehose-use-case-diagram-digital-marketing
BigData_logo-hearst

“如果没有 Amazon Kinesis,我不知道如何才能让我们的点击流数据管道正常运行。本来可能需要数周时间才能实现这项工程。但是,Kinesis Streams 和 Firehose 让整个流程变得极其简单、可靠。”

– Peter Jaffe,数据科学家,Hearst Corporation

440x220_APN-Blog

在这篇客座文章中,MeetMe 的 Anton Slutsky 将讨论一种解决方案,即使用 Amazon Kinesis Firehose 优化和简化 MeetMe 上的大规模数据注入。MeetMe 是一个非常受欢迎的社交发现平台,每天可满足 100 多万个活跃用户的需求。MeetMe 的数据科学团队每天需要收集和存储约 0.5TB 的各种类型的数据,以便用于数据挖掘任务、面向业务的报告和高级分析。该团队选择 Amazon S3 作为目标存储设施,但他们面临的挑战是需要以一种稳健、可靠、可扩展且操作上经济实惠的方式收集大量实时数据。

阅读整篇文章 »

Amazon Kinesis Agent 是一款独立的 Java 软件应用程序,让您能够以一种简单且可靠的方式将数据发送至 Amazon Kinesis Streams 和 Amazon Kinesis Firehose。这款代理可监控一系列新数据的文件,并持续将其发送至 Kinesis Streams 或 Kinesis Firehose。它能够处理文件轮换、执行检查点操作并对故障进行复审。此外,它还支持 Amazon CloudWatch,以便您密切监控来自该代理的数据流并对其进行故障排除。

阅读整篇文章 »

在此博客文章中,我们使用 Twitter 公共流以近乎实时的方式来分析共和党和民主党候选人的表现。我们将向您展示如何集成 Amazon Kinesis Firehose、AWS Lambda(Python 函数)和 Amazon Elasticsearch Service 以创建近乎实时的端到端发现平台。

阅读整篇文章 »

有关 Amazon Kinesis Firehose 和实时分析的博客文章的完整列表,请参阅博客文章页面 »

有关 Amazon Kinesis Firehose 所有新功能的信息,请参阅新功能页面 »

Amazon Kinesis Firehose 非常易于上手。只需登录我们的控制台,然后单击几下,即可设置您的首个传输流。

 

立即开始试用