使用 AWS Glue 时,您需要按小时费率(按秒计)为抓取程序(发现数据)和 ETL 作业(处理和加载数据)付费。对于 AWS Glue 数据目录,您需要为元数据的存储和访问支付简单月度费用。前 100 万个对象的存储和前 100 万次访问都是免费的。如果您预置了开发终端节点并以交互式方法开发 ETL 代码,那么您需要按小时费率付费(按秒计)。
-
ETL 作业和开发终端节点
-
数据目录存储和请求
-
抓取程序
-
ETL 作业和开发终端节点
-
使用 AWS Glue 时,您只需为 ETL 作业运行的时间付费。您无需管理任何资源和预付任何费用,也无需为启动或关闭时间付费。我们根据用于运行 ETL 作业的数据处理单元 (DPU) 的数量向您收取小时费率。一个数据处理单元 (DPU) 可提供 4 个 vCPU 和 16GB 内存。
AWS Glue 中有两种类型的作业:Apache Spark 和 Python shell。
Apache Spark 类型的 AWS Glue 作业需要至少 2 个 DPU。默认情况下,AWS Glue 会为每个 Apache Spark 作业分配 10 个 DPU。您需要针对每个 Apache Spark 类型的作业为每个 DPU 小时(以 1 秒为增量且向上舍入到最接近的秒数,持续时间至少为 10 分钟)支付 0.44 USD。
Python shell 类型的 AWS Glue 作业可以被分配 1 个 DPU 或 0.0625 个 DPU。默认情况下,AWS Glue 会为每个 Python shell 作业分配 0.0625 个 DPU。您需要针对每个 Python shell 类型的作业为每个 DPU 小时(以 1 秒为增量且向上舍入到最接近的秒数,持续时间至少为 1 分钟)支付 0.44 USD。
开发终端节点是可选项,仅当您选择使用开发终端节点以交互式方法开发您的 ETL 代码时才需要为其付费。我们根据您预置开发终端节点期间所用的数据处理单元小时数收取开发终端节点的费用。一个 AWS Glue 开发终端节点至少需要 2 个 DPU。默认情况下,AWS Glue 会为每个开发终端节点分配 5 个 DPU。您需要针对每个预置的开发终端节点为每个 DPU 小时 (以 1 秒为增量且向上舍入到最接近的秒数,持续时间至少为 10 分钟) 支付 0.44 USD。
定价
对于所有提供 AWS Glue 的 AWS 区域:
- 每个 Apache Spark 类型的 ETL 作业每 DPU 小时(按秒计,最少 10 分钟)0.44 USD
- 每个 Python shell 类型的 ETL 作业每 DPU 小时(按秒计,最少 1 分钟)0.44 USD
- 每个预置的开发终端节点每 DPU 小时(按秒计,最少 10 分钟)0.44 USD
额外费用
如果您的 ETL 数据来自 Amazon S3、Amazon RDS 或 Amazon Redshift 等数据源,则您需要按标准的请求和数据传输费率付费。如果您使用 Amazon CloudWatch,则需要按照 CloudWatch 日志和 CloudWatch 事件的标准费率付费。
-
数据目录存储和请求
-
借助 AWS Glue 数据目录,您最多可以免费存储 100 万个对象。如果存储的对象超过 100 万个,对于超出 100 万的部分,每月每 100000 个对象的费用为 1 USD。AWS Glue 数据目录中的对象可能是表格、表格版本、分区或数据库。
每月对 AWS Glue 数据目录的前 100 万个访问请求是免费的。如果您一个月的请求数超过 100 万个,对于超出 100 万的部分,每 100 万个请求的费用为 1 美元。一些常见的请求包括 CreateTable、CreatePartition、GetTable 和 GetPartitions。如需 AWS Glue 数据目录支持的请求的完整列表,请参阅我们的文档。
定价
对于所有提供 AWS Glue 的 AWS 区域:存储:- 前 100 万个对象的存储是免费的
- 对于超出 100 万的部分,每月每 100000 个对象 1 USD
请求:- 每月前 100 万个请求是免费的
- 对于超出 100 万的部分,每 100 万个请求 1 USD
-
抓取程序
-
用于发现数据和填充 AWS Glue 数据目录的 AWS Glue 抓取程序运行时按小时费率计费。我们根据用于运行抓取程序的数据处理单元 (DPU) 的数量向您收取小时费率。一个数据处理单元 (DPU) 可提供 4 个 vCPU 和 16GB 内存。您需要为每次抓取(以 1 秒为增量且向上舍入到最接近的秒数,持续时间至少为 10 分钟)付费。AWS Glue 抓取程序是可选项,您可以直接通过 API 填充 AWS Glue 数据目录。
定价
对于所有提供 AWS Glue 的 AWS 区域:
- 每次运行抓取程序的每个 DPU 小时(按秒计,最少 10 分钟)0.44 USD
- 每次运行抓取程序的每个 DPU 小时(按秒计,最少 10 分钟)0.44 USD
定价示例
ETL 作业示例:假设一个 Apache Spark 类型的 AWS Glue 作业运行了 10 分钟且使用了 6 个 DPU。1 个 DPU 小时的价格为 0.44 USD。由于您的作业运行了 10 分钟(即一小时的 1/6)并使用了 6 个 DPU,您需要支付的费用为 6 个 DPU * 1/6 小时 * 0.44 USD/DPU 小时,即 0.44 USD。
开发终端节点示例:现在来假设您预置了一个开发终端节点来连接您的笔记本电脑,从而以交互式方法开发您的 ETL 代码。此外,您为这个开发终端节点预置了 5 个 DPU。如果您让该开发终端节点运行了 24 分钟(即一小时的 2/5),则您需要支付的费用为 5 个 DPU * 2/5 小时 * 0.44 USD/DPU 小时,即 0.88 USD。
AWS Glue 数据目录免费套餐示例:让我们假设您在给定月份在 AWS Glue 数据目录中存储了 100 万个表格,并对这些表格发出了 100 万个访问请求。在这种情况下,您无需支付任何费用,因为您使用的资源均包含在 AWS Glue 数据目录免费套餐中。您每月可免费存储 100 万个对象和发出 100 万个请求。
AWS Glue 数据目录示例:现在来假设您每月仍存储了 100 万个表格,但您每月发出的请求数翻了一番,即 200 万个。假设您还使用了抓取程序来发现新表格,它们运行了 30 分钟,并使用了 2 个 DPU。
您的存储费用仍然为 0 USD,因为您存储的前 100 万个表格是免费的。您的前 100 万个请求也是免费的。您将需要为超出免费套餐的 100 万个请求付费,即 1 USD。抓取程序的费用为每个 DPU 小时 0.44 USD,因此您需要为其支付的费用为 2 个 DPU * 1/2 小时 * 0.44 USD/DPU 小时,即 0.44 USD。您在该月总共需要支付 1.44 USD。
查看全球区域表,详细了解 AWS Glue 的供应情况