AWS 可托管各种公用数据集并且任何人员都可以免费访问。
以前,查找、下载、自定义以及分析大数据集(如人类基因组的映射)需要几小时甚至几天才能完成。现在,任何人都可以通过 AWS 集中式数据存储库访问这些数据集,并且可以使用 Amazon EC2 实例或 Amazon EMR(托管 Hadoop)集群对其进行分析。AWS 希望通过托管这种重要数据,可以轻松快速地使用弹性计算资源对数据进行处理,从而以更快的速度实现更多的创新。
单击此处可获取详细的可用数据集列表。以下为一些常见公用数据集的示例:
- AWS 上的 Landsat:对 Landsat 8 卫星拍摄的中等分辨率地球陆地卫星图像进行持续采集
- AWS 上的 IRS 990 Filings:从 2011 年至今提交 IRS 的部分 990 电子报表中可以由计算机读取的数据
- AWS 上的 NEXRAD:来自下一代气象雷达 (NEXRAD) 网络的实时和存档数据
- NASA NEX:NASA 维护的地球科学数据集合,包括气候变化预测和地球表面的卫星图像
- Common Crawl Corpus:包含超过 50 亿网页的 Web 爬取数据语料库
- AWS 上的 TCGA:来自 The Cancer Genome Atlas (TCGA) 的原有的及处理过的基因组、转录组和表观基因组数据,可供符合条件的研究人员通过癌症基因组云进行访问
- AWS 上的 ICGC:完整的基因组序列数据,可供符合条件的研究人员通过 The International Cancer Genome Consortium (ICGC) 访问
- 1000 Genomes Project:人类遗传变异详图
- 3000 Rice Genome on AWS:3024 种大米的基因排序
- Multimedia Commons:将近 100M 图像和视频的集合,附带音频和可视功能与注释
- Google Books Ngrams:包含谷歌图书 n-gram 语料库的数据集
公用数据集采用以下两种可能的格式托管:Amazon Elastic Block Store (Amazon EBS) 快照和/或 Amazon Simple Storage Service (Amazon S3) 存储段。
访问以 Amazon EBS 快照形式托管的数据集的方法:注册一个 AWS 账户,启动 Amazon EC2 实例,并使用上面目录中所列的快照 ID 创建一个 Amazon EBS 卷。或者,您可以参阅 Amazon EC2 Getting Started Guide。
访问在 Amazon S3 中托管的公用数据集的方法:您可以发出简单的 HTTP 请求,使用 AWS 命令行工具和软件开发工具包(Ruby、Java、Python、.NET、PHP 等),使用 Amazon EC2 下载数据,或者使用 Hadoop 通过 Amazon EMR 处理数据。
如果您有任何问题或者希望加入我们的公用数据集社区,请发送电子邮件至 opendata@amazon.com 联系我们。