Amazon Kinesis 让您可以轻松地收集、处理和分析实时流数据,从而及时地了解新信息并快速做出反应。Amazon Kinesis 提供多种核心功能,可以经济高效地处理任意规模的流数据,同时具有很高的灵活性,让您可以选择最符合应用程序需求的工具。借助 Amazon Kinesis,您可以在数据库、数据湖和数据仓库中接收应用程序日志、网站点击流、IoT 遥测数据等实时数据,也可以使用这些数据构建自己的应用程序。借助 Amazon Kinesis,您可以对收到的数据进行实时处理和分析并做出响应,无需等到收集完全部数据后才开始进行处理。 请求为您的概念验证或评估提供支持 »
某些数据以前通过数据仓库批量处理的方式或通过 Hadoop 框架进行分析,而借助 Amazon Kinesis,您可以对此类数据进行实时分析。最常见的使用案例包括数据湖、数据科学和机器学习。您可以使用 Kinesis Firehose 将数据持续加载到 S3 数据湖中。您也可以在获得新数据时更频繁地更新机器学习模型,确保结果的准确性和可靠性。
Zillow 使用 Kinesis Streams 来收集公共记录数据和 MLS 报价,然后近乎实时地更新住宅估价,因此住宅的买卖双方都可以获得最新的住宅估价信息。Zillow 还使用 Kinesis Firehose 将上述数据发送到自己的 S3 数据湖,因此所有应用程序都可以使用最新的信息。阅读案例研究 »
Hearst 利用 Kinesis Streams、Kinesis Firehose 和 Amazon Elasticsearch Service 构建了一种点击流分析解决方案,每天可以传输和处理来自全球 300 多个 Hearst 网站 的 30TB 数据。借助该平台,Hearst 能够在数分钟内将来自网站点击的整个数据流转化为聚合数据,并将其提供给编辑。阅读案例研究 »
您可以将 Amazon Kinesis 用于实时应用程序,例如监控、欺诈识别和直播排行榜应用程序。您可以使用 Kinesis Streams 接收流数据,使用 Kinesis Analytics 处理流数据,然后使用 Kinesis Streams 将结果发送到任何数据存储或应用程序,端到端延迟只有几毫秒。这可以帮助您了解自己的客户、应用程序和产品的当前状态并迅速做出反应。
MLBAM 利用 Amazon Kinesis 来构建 Statcast 系统,该系统每个赛季可以分析数 PB 的数据并提供实时信息,帮助球迷、广播公司和球队了解美国职业棒球大联盟比赛的动态和球员表现。观看视频 »
Netflix 使用 Amazon Kinesis 来监控其所有应用程序之间的通信,从而快速发现和解决问题,让客户享受到正常运行时间很长、可用性很高的服务。
您可以使用 Amazon Kinesis 来处理来自消费电器、嵌入式传感器和电视机顶盒等 IoT 设备的流数据。然后您可以用编程方式使用这些数据,以便在传感器超过特定运行阈值时发送实时提醒或进行其他操作。
Sonos 使用 Amazon Kinesis 每周监控来自无线高保真音频设备的 10 亿次事件,为客户提供更好的听觉体验。 观看 re:Invent 会议活动 »
Hello Inc. 使用 Kinesis Streams 收集和处理来自床垫中的嵌入式传感器的实时数据,并使用 Kinesis Firehose 将已处理的信息加载到 Amazon Redshift 中。Hello 的客户可以监控自己的睡眠状态以及室内温度和湿度等影响睡眠的状况,最终获得更佳的睡眠。阅读案例研究 »
在 2016 年,AWS 引入了 EEK 堆栈 (Amazon Elasticsearch Service、Amazon Kinesis 和 Kibana,一个来自 Elastic 的开源插件) 作为 ELK (Amazon Elasticsearch Service、开源工具 Logstash 和 Kibana) 的替代方案,用于摄取和可视化 Apache 日志。EKK 堆栈的主要功能之一是通过 Amazon Kinesis Firehose 代理处理数据转换。在本文中,我们将介绍如何通过使用 AWS Lambda 处理 Amazon Kinesis Firehose 中的数据转换来优化 EKK 解决方案。
如果有一种用户友好的工具可以生成测试数据并将其发送到 Amazon Kinesis,是不是很棒?这种工具现在有了,就是 Amazon Kinesis Data Generator (KDG)。
Amazon Kinesis Firehose 是一项完全托管的服务,用于将实时流数据传输到 Amazon S3、Amazon Redshift 或 Amazon Elasticsearch Service (Amazon ES) 等目标位置。在这篇文章中,我会介绍传输流上的各种数据转换功能,这些功能可以无缝转换传入的源数据,并将转换后的数据传输到目标位置。
在本文中,我们利用展示了一个分析管道,该管道可使用 Amazon Kinesis Analytics 中提供的 RANDOM_CUT_FOREST 函数来实时检测 Web 流量流异常。
有关 Amazon Kinesis 和实时流分析的博客文章的完整列表,请参阅博客文章页面 »