如何确定我的 CloudWatch Logs 中的节流?

上次更新日期:2022 年 4 月 6 日

我在使用 Amazon CloudWatch Logs 时收到了 RequestLimitExceeded 或 ThrottlingException 错误,并且我的 API 调用被节流了。如何防止我的 CloudWatch Logs 中的节流?

简短描述

使用 CloudWatch Logs 时,您可能会超出 API 速率限制。发生这种情况时,您会收到 RequestLimitExceeded 或 ThrottlingException 错误,并且您的 API 调用被节流。您必须确定节流发生的位置和时间,以便解决这些错误并就提高速率限制做出明智的申请。

解决方法

访问 CloudWatch Logs 的日志时进行间歇性节流

您可以使用 FilterLogEvents 或 GetLogEvents API 调用来列出日志事件或日志流。这些 API 调用有硬限制,不符合提高限制的条件。这意味着,如果您使用 FilterLogEvents API 从指定的日志组中搜索日志事件,则默认 quaAPI 的默认配额为每个账户/区域每秒 5 个事务(TPS)。如果达到此限制,您将收到 RateExceeded 错误。

使用以下最佳做法来避免此使用案例中出现节流错误:

使用应用程序/脚本获取 CloudWatch Logs 数据时出现 ThrottlingException 错误

要收集 CloudWatch Logs,您可以开发一个收集器脚本。此脚本尝试调用 DescribeLogStream 或 GetLogEvents API,以在同一日志组中提取来自不同日志流或不同时间段的数据。FilterLogEvents、GetLogEvents 和 DescribeLogStreams 等 API 调用专为人工交互而非自动化设计,因此您会收到错误消息,并且 API 调用会被节流。

使用以下最佳实践以避免此使用案例中出现节流:

  • 进行 API 调用时,请使用指数回退和重试。有关更多信息,请参阅指数回退和抖动以及 AWS 中的错误重试和指数回退。
  • 随着时间的推移分发您的 API 调用。尝试随机安排操作,以便它们随时间分布。
  • 在连续的 API 调用之间添加睡眠间隔。在从同一脚本或应用程序发送的 API 调用之间添加一些延迟。如果 API 调用全都快速连续发送,则更有可能导致速率错误。
  • 在某些情况下,您可以使用 Splunk 等 SIEM 解决方案从 CloudWatch 中获取日志。SIEM 解决方案用于从多个系统收集数据并分析这些数据以检测异常行为。使用 Splunk 插件时,您可能会遇到 API 节流。为避免发生此问题,请使用 Amazon Kinesis Data Firehose 创建 CloudWatch Logs 订阅筛选条件,并将日志数据传输到 Splunk。有关更多信息,请参阅为适用于 Amazon Web Services 的 Splunk 附加组件配置 Kinesis 输入。

将 PutLogEvents API 调用与 Lambda 函数集成时出现节流错误

通过调用 PutLogEvents API,可以批量将日志上载到指定的日志流,每次 1MB。此 API 有两个速率限制:

  • 每个日志流每秒 5 个请求。其他请求被节流。此配额无法更改。
  • 每个区域每个账户每秒 800 个事务。这不适用于以下区域,以下区域的配额为每个区域每个账户每秒 1500 个事务:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)和欧洲(爱尔兰)。您可以请求提高配额。

如需了解更多信息和请求提高配额,请参阅 CloudWatch Logs 配额。

要将日志写入指定的日志流,必须在请求中包含序列令牌。这是从对上一次调用的响应中提取的。在某些情况下,您可以在调用 PutLogEvent 之前使用 DescribeLogStreams API 获取日志流的下一个序列令牌。PutLogEvent API 的限制比 DescribeLogsStream 高得多,这会导致节流。为了缓解这种情况,请使用 PutLogEvents API 来获取序列,而不是使用 DescribeLogStreams。在没有序列令牌的情况下使用 PutLogEvents API 时,您会收到 400 状态码,有了这个错误消息,您将获得下一个序列令牌。您可以通过 PutLogEvents API 再次使用此序列令牌。

使用以下提示可避免在此使用案例中出现节流:

  • 尝试在同一 API 调用中合并多个日志事件。
  • 将 API 调用分布到更多日志流上。
  • 应用重试逻辑使用指数回退和抖动。有关更多信息,请参阅管理和监控工作负载中的 API 节流。
  • 随着时间的推移均匀分发您的 API 调用。

管理您的 CloudWatch Logs 服务配额

AWS 确定服务配额以保护性能和确保可用性。CloudWatch 具有指标、告警、API 请求和警告电子邮件通知的配额。使用以下步骤可视化您的服务配额,并在达到阈值时设置告警:

  1. 打开 Service Quotas 控制台。
  2. 在导航窗格中,选择 AWS services(AWS 服务)。
  3. 从 AWS services(AWS 服务)列表中,搜索 Amazon CloudWatch Logs。
  4. 在 Service quotas(服务配额)列表中,您可以看到服务配额名称、应用的值(如果可用)、AWS 默认配额以及配额值是否可调。
  5. 要查看有关服务配额的更多信息(如描述),请选择配额名称。
  6. 选择配额名称后,您可以看到有关此配额的更多信息。例如,如果选择 GetLogEvents throttle limit in transactions per second [GetLogEvents 节流限制(每秒事务数)],您将看到:
    • 描述
    • 配额代码
    • 配额 ARN
    • 利用率:%
    • 应用的配额值
    • AWS 默认配额值
    • 可调:是/否
  7. 在 Amazon CloudWatch alarms(Amazon CloudWatch 告警)部分,选择 Create alarm(创建告警),然后输入 Alarm threshold(告警阈值)和 Alarm name(告警名称)。

这篇文章对您有帮助吗?


您是否需要账单或技术支持?