AWS 托管了各种公用数据集,且任何人都可以免费访问。

以前,查找、下载、自定义和分析大型数据集 (如人类基因组的映射) 需要几小时甚至几天才能完成。现在,任何人都可以通过 AWS 集中式数据存储库访问这些数据集,并且可以使用 Amazon EC2 实例或 Amazon EMR (托管 Hadoop) 群集对其进行分析。通过将此类重要数据托管在可以轻松快速地使用弹性计算资源对其进行处理的位置,AWS 希望能以更快的速度实现更多的创新。

以下为一些常见公用数据集示例:

  • AWS 上的 Landsat:地球陆地卫星图像集合,持续采集由 Landsat 8 卫星拍摄的中等分辨率图像
  • AWS 上的 SpaceNet:包含商业卫星影像和带标签训练数据的语料库,用于促进计算机视觉算法的创新发展
  • Terrain Tiles:一个全球数据集,提供裸地地形高度,平铺显示以便于使用,在 S3 上提供。
  • GDELT:超过 2.5 亿条记录,可从几乎每个国家/地区的每个角落监控全球的广播、出版物和 Web 新闻,每天更新。
  • NAIP:在美国大陆农作物生长季节捕获的 1 米航空图像
  • AWS 上的 IRS 990 Filings:从 2011 年至今提交 IRS 的部分 990 电子报表中可以由计算机读取的数据
  • AWS 上的 NEXRAD:来自下一代气象雷达 (NEXRAD) 网络的实时和存档数据
  • NASA NEX:由 NASA 维护的地球科学数据集,包括气候变化预测和地球表面的卫星图像
  • Common Crawl Corpus:包含超过 50 亿网页的 Web 爬取数据语料库
  • AWS 上的 TCGA:来自 The Cancer Genome Atlas (TCGA) 的原有的及处理过的基因组、转录组和表观基因组数据,可供符合条件的研究人员通过癌症基因组云进行访问
  • AWS 上的 ICGC:完整的基因组序列数据,可供符合条件的研究人员通过 The International Cancer Genome Consortium (ICGC) 访问
  • 1000 Genomes Project:人类遗传变异详图
  • 3000 Rice Genome on AWS:3024 种大米的基因排序
  • Genome in a Bottle (GIAB):有助于将整个人类基因组序列投入医学实践的某些参考基因组
  • Multimedia Commons:约 100M 的图像和视频的集合,附带影音功能和注释
  • Google Books Ngrams:包含 Google Books 的 n-gram 语料库的数据集

单击此处可查看其他公用数据集的列表。

公用数据集采用以下两种格式进行托管:Amazon Elastic Block Store (Amazon EBS) 快照和/或 Amazon Simple Storage Service (Amazon S3) 存储桶。

访问在 Amazon S3 中托管的公用数据集的方法:您可以发出简单的 HTTP 请求、使用 AWS 命令行工具和软件开发工具包 (Ruby、Java、Python、.NET、PHP 等)、使用 Amazon EC2 下载数据,或者使用 Hadoop 通过 Amazon EMR 处理数据。

访问以 Amazon EBS 快照形式托管的数据集的方法:注册一个 AWS 账户,启动 Amazon EC2 实例,并使用上方目录中所列的快照 ID 创建一个 Amazon EBS 卷。或者,您可以参阅 Amazon EC2 入门指南。

如果您有任何问题或者希望加入我们的公用数据集社区,请发送电子邮件至 opendata@amazon.com 联系我们。