如何确定我的 CloudWatch Logs 中的节流?
上次更新日期:2022 年 4 月 6 日
我在使用 Amazon CloudWatch Logs 时收到了 RequestLimitExceeded 或 ThrottlingException 错误,并且我的 API 调用被节流了。如何防止我的 CloudWatch Logs 中的节流?
简短描述
使用 CloudWatch Logs 时,您可能会超出 API 速率限制。发生这种情况时,您会收到 RequestLimitExceeded 或 ThrottlingException 错误,并且您的 API 调用被节流。您必须确定节流发生的位置和时间,以便解决这些错误并就提高速率限制做出明智的申请。
解决方法
访问 CloudWatch Logs 的日志时进行间歇性节流
您可以使用 FilterLogEvents 或 GetLogEvents API 调用来列出日志事件或日志流。这些 API 调用有硬限制,不符合提高限制的条件。这意味着,如果您使用 FilterLogEvents API 从指定的日志组中搜索日志事件,则默认 quaAPI 的默认配额为每个账户/区域每秒 5 个事务(TPS)。如果达到此限制,您将收到 RateExceeded 错误。
使用以下最佳做法来避免此使用案例中出现节流错误:
- 使用订阅筛选条件立即从 CloudWatch Logs 中实时检索日志数据。有关更多信息,请参阅使用 CloudWatch Logs 订阅筛选条件和使用订阅实时处理日志数据。
- 使用 CloudWatch Logs Insights 快速从 CloudWatch Logs 中获取日志数据。您可以使用查询来筛选日志,以查看特定的日志组。
- 将日志数据导出到 Amazon Simple Storage Service(Amazon S3)以批量获取使用案例。不建议将此方法用于实时分析和处理,因为日志数据可能需要长达 12 小时才能从 CloudWatch Logs 中导出。
使用应用程序/脚本获取 CloudWatch Logs 数据时出现 ThrottlingException 错误
要收集 CloudWatch Logs,您可以开发一个收集器脚本。此脚本尝试调用 DescribeLogStream 或 GetLogEvents API,以在同一日志组中提取来自不同日志流或不同时间段的数据。FilterLogEvents、GetLogEvents 和 DescribeLogStreams 等 API 调用专为人工交互而非自动化设计,因此您会收到错误消息,并且 API 调用会被节流。
使用以下最佳实践以避免此使用案例中出现节流:
- 进行 API 调用时,请使用指数回退和重试。有关更多信息,请参阅指数回退和抖动以及 AWS 中的错误重试和指数回退。
- 随着时间的推移分发您的 API 调用。尝试随机安排操作,以便它们随时间分布。
- 在连续的 API 调用之间添加睡眠间隔。在从同一脚本或应用程序发送的 API 调用之间添加一些延迟。如果 API 调用全都快速连续发送,则更有可能导致速率错误。
- 在某些情况下,您可以使用 Splunk 等 SIEM 解决方案从 CloudWatch 中获取日志。SIEM 解决方案用于从多个系统收集数据并分析这些数据以检测异常行为。使用 Splunk 插件时,您可能会遇到 API 节流。为避免发生此问题,请使用 Amazon Kinesis Data Firehose 创建 CloudWatch Logs 订阅筛选条件,并将日志数据传输到 Splunk。有关更多信息,请参阅为适用于 Amazon Web Services 的 Splunk 附加组件配置 Kinesis 输入。
将 PutLogEvents API 调用与 Lambda 函数集成时出现节流错误
通过调用 PutLogEvents API,可以批量将日志上载到指定的日志流,每次 1MB。此 API 有两个速率限制:
- 每个日志流每秒 5 个请求。其他请求被节流。此配额无法更改。
- 每个区域每个账户每秒 800 个事务。这不适用于以下区域,以下区域的配额为每个区域每个账户每秒 1500 个事务:美国东部(弗吉尼亚北部)、美国西部(俄勒冈)和欧洲(爱尔兰)。您可以请求提高配额。
如需了解更多信息和请求提高配额,请参阅 CloudWatch Logs 配额。
要将日志写入指定的日志流,必须在请求中包含序列令牌。这是从对上一次调用的响应中提取的。在某些情况下,您可以在调用 PutLogEvent 之前使用 DescribeLogStreams API 获取日志流的下一个序列令牌。PutLogEvent API 的限制比 DescribeLogsStream 高得多,这会导致节流。为了缓解这种情况,请使用 PutLogEvents API 来获取序列,而不是使用 DescribeLogStreams。在没有序列令牌的情况下使用 PutLogEvents API 时,您会收到 400 状态码,有了这个错误消息,您将获得下一个序列令牌。您可以通过 PutLogEvents API 再次使用此序列令牌。
使用以下提示可避免在此使用案例中出现节流:
- 尝试在同一 API 调用中合并多个日志事件。
- 将 API 调用分布到更多日志流上。
- 应用重试逻辑使用指数回退和抖动。有关更多信息,请参阅管理和监控工作负载中的 API 节流。
- 随着时间的推移均匀分发您的 API 调用。
管理您的 CloudWatch Logs 服务配额
AWS 确定服务配额以保护性能和确保可用性。CloudWatch 具有指标、告警、API 请求和警告电子邮件通知的配额。使用以下步骤可视化您的服务配额,并在达到阈值时设置告警:
- 打开 Service Quotas 控制台。
- 在导航窗格中,选择 AWS services(AWS 服务)。
- 从 AWS services(AWS 服务)列表中,搜索 Amazon CloudWatch Logs。
- 在 Service quotas(服务配额)列表中,您可以看到服务配额名称、应用的值(如果可用)、AWS 默认配额以及配额值是否可调。
- 要查看有关服务配额的更多信息(如描述),请选择配额名称。
- 选择配额名称后,您可以看到有关此配额的更多信息。例如,如果选择 GetLogEvents throttle limit in transactions per second [GetLogEvents 节流限制(每秒事务数)],您将看到:
- 描述
- 配额代码
- 配额 ARN
- 利用率:%
- 应用的配额值
- AWS 默认配额值
- 可调:是/否
- 在 Amazon CloudWatch alarms(Amazon CloudWatch 告警)部分,选择 Create alarm(创建告警),然后输入 Alarm threshold(告警阈值)和 Alarm name(告警名称)。