Amazon FSx for Lustre 提供了一种经过优化的高性能文件系统,能够快速处理机器学习、高性能计算 (HPC)、视频处理、财务建模和电子设计自动化 (EDA) 等工作负载。这些工作负载一般需要通过快速且可扩展的文件系统界面呈现数据,并且通常具有存储在 Amazon S3 等长期数据存储上的数据集。
操作高性能文件系统通常需要具备专业知识和投入管理资本,同时需要您预置存储服务器并优化复杂的性能参数。借助 Amazon FSx,您可以启动和运行这样一个文件系统:提供对数据的亚毫秒级访问,并允许您以每秒高达数百 GB 的吞吐量和数百万 IOPS 的速度读取和写入数据。
Amazon FSx for Lustre 与 Amazon S3 以原生方式协作,让您可以轻松地使用高性能文件系统处理云数据集。当连接到 S3 存储桶时,FSx for Lustre 文件系统会以透明方式将 S3 对象呈现为文件,并允许您将结果写回 S3。您还可以将 FSx for Lustre 用作独立的高性能文件系统,从而将本地工作负载大批量迁移至云中。通过将本地数据复制到 FSx for Lustre 文件系统,在 AWS 上运行的计算实例可以快速处理这些数据。使用 Amazon FSx,您只需为实际使用的资源付费。没有最低承诺用量,没有前期硬件或软件成本,也没有其他费用。
优势
高性能且可扩展
Amazon FSx for Lustre 提供的性能可以满足各种高性能工作负载。FSx for Lustre 基于 Lustre 构建而成,后者是一个热门的高性能文件系统,针对数据处理进行了优化,具有亚毫秒级的延迟和可扩展到每秒数百 GB 的吞吐量。
无缝访问 S3 或本地数据
Amazon FSx 与 Amazon S3 以原生方式协作,让您可以轻松地使用高性能 POSIX 界面处理 S3 数据。当连接到 S3 存储桶时,FSx for Lustre 会以透明方式将 S3 对象呈现为文件。借助 FSx for Lustre,您可以随时将文件系统上经过更改的数据和新数据写回 S3 存储桶。FSx for Lustre 还允许您使用 Amazon Direct Connect 或 VPN 将本地工作负载大批量迁移至云中。
完全托管
Amazon FSx 是一种完全托管的服务,让您可以在云中轻松启动和运行高性能文件系统。您不需要再担心文件系统的硬件预置和维护、软件配置以及复杂的性能优化问题。只需几分钟,您就可以使用 AWS 管理控制台、AWS CLI 或 AWS 软件开发工具包创建并启动 Amazon FSx 文件系统。
经济高效
Amazon FSx for Lustre 可以帮助您优化高性能工作负载所需的存储成本:它可以提供高性价比的存储用于处理数据,并将长期数据存储在 Amazon S3 或其他低成本的长期数据存储中。FSx for Lustre 提供的高性能允许您更快地运行数据处理工作负载,从而减少在计算资源上花费的时间和资金。使用 FSx for Lustre,您只需为实际使用的资源付费。没有最低承诺用量或前期费用。
原生文件系统接口
Amazon FSx for Lustre 与 POSIX 兼容,因此您可以使用当前基于 Linux 的应用程序,无需进行任何更改。FSx for Lustre 提供原生文件系统接口,可以像任何文件系统一样与 Linux 操作系统配合使用。它还可以实现写后读一致性,并支持文件锁定。您可以使用 POSIX 权限和 Amazon Virtual Private Cloud (VPC) 权限控制对 FSx for Lustre 文件系统的访问。
安全且合规
Amazon FSx 会自动加密静态数据。如果您要符合法规要求,那么 FSx for Lustre 符合 PCI-DSS、ISO 和 SOC 标准以及 HIPAA 的规定。Amazon FSx 支持 Amazon Virtual Private Cloud (VPC),因此您可以在虚拟网络中启动 FSx for Lustre 文件系统资源。
工作原理
使用案例
机器学习
机器学习工作负载需要使用大量训练数据。这种工作负载通常使用共享文件存储,因为多个计算实例需要同时处理训练数据集。Amazon FSx 是机器学习工作负载的最佳选择,因为它可以提供具有高吞吐量、高一致性和低延迟的共享文件存储,用于处理 ML 训练数据集。
高性能计算 (HPC)
高性能计算 (HPC) 让科学家和工程师们能够解决复杂的计算密集型问题。与油气发现和基因组学工作负载一样,HPC 工作负载处理大量数据,而这些数据需要由具有高吞吐量的多个计算实例访问。Amazon FSx 是 HPC 工作负载的理想选择,因为它提供的文件系统针对短期高性能工作负载的性能和成本进行了优化,并且可以供数千个 EC2 实例访问。
媒体处理和转码
视频渲染、视觉效果和媒体制作等媒体数据处理工作流程需要使用计算和存储资源来处理创建的大量数据。Amazon FSx 可以实现处理、分发和分析数字媒体文件所需的高性能和低延迟。
自动驾驶汽车
开发自动驾驶汽车系统的客户一般通过对大量汽车传感器和摄像机数据进行仿真和训练来测试模型,以确保汽车安全。Amazon FSx for Lustre 使您能够通过标准文件系统以亚毫秒级的延迟、每秒数百 GB 的吞吐量和数千 IOPS 的速度从数百个节点同时访问这些数据。FSx for Lustre 允许您大规模运行模拟,实现每周运行数千次模拟,并加快模型开发。
大数据分析
包括欺诈检测和财务分析在内的大数据分析使用案例会产生大量数据,而这些数据需要高性能存储才能支持数据密集型应用程序。管理不断增加的数据量可能会产生高昂的费用,并且非常复杂。Amazon FSx for Lustre 的性能和成本经过优化,可以让您的组织更快地有所发现并实现价值。
电子设计自动化 (EDA)
EDA 是一种常见的高性能应用场景,用于模拟硅芯片生产设计阶段的性能和故障。FSx for Lustre 提供的性能和灵活性使您能够更快地创新、设计和验证新产品,并根据需要进行扩展。