На AWS размещены разнообразные публичные пакеты данных, бесплатный доступ к которым имеет любой пользователь.
В недалеком прошлом для размещения, загрузки, настройки и анализа больших пакетов данных, таких как данные проекта расшифровки генома человека, требовалось несколько часов, а то и дней. Теперь любой пользователь может получить доступ к этим пакетам данных через централизованный репозиторий данных AWS и анализировать их с помощью инстансов Amazon EC2 или кластеров Amazon EMR (размещенных на Hadoop). Размещая эти важные данные и обеспечивая скорость и простоту их обработки с использованием гибких вычислительных ресурсов, AWS стремится способствовать увеличению количества и ускорению инновационных процессов.
Вот несколько примеров популярных публичных пакетов данных.
- Landsat на AWS: постоянно пополняющаяся коллекция спутниковых изображений среднего разрешения всей территории Земли; изображения выполнены спутником Landsat 8.
- SpaceNet на AWS: собрание изображений с коммерческих спутников и маркированные учебные данные для стимулирования инноваций в развитии алгоритмов машинного зрения.
- Terrain Tiles: глобальный пакет данных, предоставляющий данные о высоте рельефа, разбитого для простоты использования на участки. Предоставляется в S3.
- GDELT : свыше четверти миллиарда записей, отражающих вещание по всему миру, печатные и Интернет-новости со всех уголков всех стран мира, обновляемых ежедневно.
- NAIP: аэроснимки континентальной части США с разрешением 1 метр, снятые во время вегетационного периода сельскохозяйственных культур.
- 990 документов IRS на AWS: машиночитаемые данные по 990 электронным формам, размещенным Федеральной налоговой службой США (IRS) с 2011 г. по настоящее время
- NEXRAD на AWS: данные в режиме реального времени и архивные данные сети метеорадаров нового поколения (NEXRAD).
- NASA NEX: коллекция научных данных о Земле, поддерживаемая НАСА; включает прогнозы изменения климата и спутниковые снимки поверхности Земли.
- Common Crawl Corpus: фонд данных, полученных при работе в Интернете поискового робота; включает более 5 миллиардов веб-страниц.
- TCGA на AWS: исходные и обработанные геномные, транскриптомные и эпидемиологические данные из Атласа ракового генома (TCGA), доступные квалифицированным исследователям через облако Cancer Genomics
- ICGC на AWS: данные последовательности полного генома, доступные квалифицированным исследователям посредством Международного консорциума генома рака (ICGC)
- Проект «1000 геномов»: подробная карта генетических вариаций человека
- 3000 геномов риса на AWS: геномные последовательности 3024 сортов риса
- Multimedia Commons: коллекция из почти 100 миллионов изображений и видео с аудио- и визуальными компонентами и аннотациями.
- Google Books Ngrams: пакет данных, содержащий N-граммы собраний книг Google Books.
Список других публичных пакетов данных доступен здесь.
Публичные пакеты данных размещаются в двух возможных форматах: снимки состояния Amazon Elastic Block Store (Amazon EBS) и/или хранилища Amazon Simple Storage Service (Amazon S3).
Доступ к публичным пакетам данных, размещенным в Amazon S3: можно выполнять простые HTTP запросы, использовать инструменты командной строки CLT и SDK от AWS (Ruby, Java, Python, .NET, PHP и т. д.), загрузить данные, используя Amazon EC2 или использовать Hadoop для обработки данных с помощью Amazon EMR.
Доступ к данным, размещенным в формате снимков состояния Amazon EBS: зарегистрируйте аккаунт на AWS, запустите инстанс Amazon EC2 и создайте том Amazon EBS, используя идентификаторы снимков, перечисленные в каталоге выше. См. также Руководство по началу работы с Amazon EC2.
Если у вас есть вопросы или вы хотите войти в сообщество публичных пакетов данных, свяжитесь с нами по адресу opendata@amazon.com.
