Amazon Web Services ブログ

新機能 – Amazon S3 Replication が複数の宛先バケットのサポートを開始しました

Amazon Simple Storage Service (S3) は、2019 年にローンチされた S3 Same-Region Replication (SRR)、および 2015 年から利用され続けている S3 Cross-Region Replication (CRR) などの数多くのレプリケーションタイプをサポートします。本日、AWS は複数の宛先バケットに対する S3 Replication のサポートを発表します。これにより、S3 Replication は、1 つのソースバケットから複数の宛先バケットにデータをレプリケートできるようになりました。S3 Replication (複数宛先) を使用すると、同じ AWS リージョン内のデータの場合は S3 SRR、異なる AWS リージョンにまたがるデータの場合は S3 CRR を使用してデータをレプリケートでき、これらの組み合わせを使用することもできます。 このローンチまでは、異なる S3 バケットにあるデータの複数のコピーを作成する必要がある場合、S3 イベントを監視し、作成されたオブジェクトを識別して、各宛先バケットにオブジェクトをコピーするための AWS Lambda 関数を使用することによって、独自の S3 Replication サービスを構築しなければなりませんでした。 このローンチによって、複数の宛先全体へのデータのレプリケーションに独自のソリューションを開発する必要がなくなります。S3 Replication (複数宛先) の柔軟性は、用途に応じて異なるストレージクラス、異なる暗号化タイプ、または異なるアカウント全体でデータの複数のコピーを保存するために利用できます。さらに、複数の宛先にレプリケートするときは、CloudWatch メトリクスを使用して各リージョンペアのレプリケーションの進行状況を追跡できます。 S3 Replication (複数宛先) […]

Read More

Amazon S3 アップデート – 強力な書き込み後の読み取り整合性

2006 年に S3 をローンチした当時、私はその事実上無制限の容量 (「あらゆる数のブロックを簡単に保存…」)、99.99% の可用性を実現するように設計されており、データが複数の場所に透過的に保存される耐久性に優れたストレージを提供するという事実について説明しました。このローンチ以来、AWS のお客様は、バックアップと復元、データアーカイブ、エンタープライズアプリケーション、ウェブサイト、ビッグデータ、そして最終集計で 10,000 個を超えたデータレイクといった、驚くほど多様な方法で S3 を使用しておられます。 S3、およびその他の大規模な分散システムの興味深い (時には分かりにくいこともある) 側面のひとつに、一般に結果整合性として知られているものがあります。要するに、PUT などのデータを格納または変更する S3 API 関数を呼び出した後には、データが受け入れられ、永続的に保存されたものの、まだどの GET または LIST リクエストも参照できない短い期間があるということです。これは、以下の図のようになります。 S3 のこの側面は、書き込み直後に最新のデータにアクセスする必要があるビッグデータワークロード (そのほとんどが Amazon EMR を使用) とデータレイクにとって極めて困難なものになり得ます。お客様がクラウドでビッグデータワークロードを実行できるようにするため、Amazon EMR は EMRFS Consistent View、およびオープンソースの Hadoop デベロッパーは S3Guard を構築して、これらのアプリケーションに強力な整合性レイヤーを提供しました。 S3 の整合性が強力になりました 前置きが長くなってしまいましたが、良いニュースをいくつかお知らせしたいと思います! 本日から、S3 の GET、PUT、LIST 操作のすべて、およびオブジェクトタグ、ACL、またはメタデータを変更する操作に強力な整合性が適用されます。書き込む内容をすぐさま読み取ることができるようになり、LIST の結果はバケットの内容を正確に反映するようになります。これは、既存および新規の S3 オブジェクトすべてに適用され、全リージョンで機能し、追加料金なしでご利用いただけます! パフォーマンスへの影響はなく、必要に応じてオブジェクトを毎秒何百回でも更新でき、グローバルな依存関係はありません。 この改善はデータレイクにとってすばらしいメリットですが、他のアプリケーションタイプにもメリットがあります。強力な整合性を備えた S3 により、オンプレミスワークロードの移行と AWS へのストレージもこれまで以上に容易になります。 私たちは、お客様がそれぞれのビッグデータワークロードでこの更新を活用できることを確実にするため、Amazon […]

Read More
Amazon ECS Anywhere のご紹介

Amazon ECS Anywhere のご紹介

この記事は、Introducing Amazon ECS Anywhere を翻訳したものです。 2014 年、AWS は EC2 インスタンス上で稼働する様々な規模のコンテナの管理を簡潔にするために Amazon Elastic Container Service (Amazon ECS) を発表しました。Amazon ECS の採用が増えるにつれて、お客様は「Undifferentiated Heavy Lifting」(差別化につながらない重労働) である、コンテナを実行するための EC2 インスタンスの管理を取り除くという新しい問題に対応していました 。そして 2018 年、AWS はコンテナを実行するためのインフラストラクチャの管理が不要なサーバーレスプラットフォームである AWS Fargate を発表しました。 この 2 年間、お客様は Amazon ECS を利用したコンテナのデプロイが、より多くの場所で行える柔軟性を求めていました。AWS リージョンの外部で、他の連携するサービスの近くでアプリケーションを実行するようなユースケースが増えていました。2019 年と 2020 年に、AWS は Amazon ECS のタスクを AWS リージョンの外部で実行可能にするオプションに関する一連の発表を行いました。AWS Outposts は、AWS が所有・管理するハードウェアを利用して、AWS のインフラストラクチャ、サービス、API、そしてツールをお客様のオンプレミス環境に拡張します。AWS Wavelength と AWS Local […]

Read More

AWSが支えるCOVID-19との闘い③─刻々と変わる可視化ニーズをAWSクラウドでどう実現したか?― IQVIAジャパンに訊くELT処理・BIダッシュボードの実装・運用

全4回に渡ってお届けする連載ブログ「AWSが支えるCOVID-19との闘い」。前回に引き続き、第3回では、システム実装を担当したIQVIAジャパン様に実装の工夫、AWSクラウドによるサーバーレスな実装の詳細についてご説明いただきます。 プロジェクトへの参画と難局打開を志すデータサイエンティストによるチーム結成 「LINEパーソナルサポートに集積された情報を解析して都道府県にフィードバックしたいが、これを手伝ってもらうことは可能か?」と宮田先生から電話いただいたのは土曜の朝でした。新型コロナウィルスという難局の打開に貢献したいと思っていた矢先だったので即決で快諾しました。 すぐに社内のデータサイエンティストや技術者に声をかけたところ、休日だったにも関わらず、皆から参加表明の返信があったのに感動したのを覚えています。 まずは都道府県へのフィードバック内容を決める必要があったので、慶應義塾大学の先生方と打ち合わせを繰り返しながら、フィードバックレポートのイメージ(図1参照)を数日で作り上げました。 図1:実装前の議論に利用したフィードバックレポートの提案資料 当初は週単位でのレポートでのフィードバックを想定していましたが、陽性患者数が急増するという切迫した状況だったため、「日単位での更新」「都道府県のユーザーによる自由解析」が望ましいというのが関係者の総意となりました。 そこで、IQVIAジャパンは医療ビッグデータの解析ツールを多く開発していたので、そのノウハウを活かしたBIツールによるダッシュボード開発を慶應義塾大学に提案し、その方針について快諾いただいたところから開発が始まりました。 各都道府県に迅速に展開できるBIツール/ダッシュボードの選定 開発にあたってまず決断しなければならなかったのは、各都道府県に公開するダッシュボードを何で作るか、ということでした。社内に豊富なナレッジが蓄積されたBIツールを中心に検討していたところ、AWS に造詣の深い部門からAmazon QuickSight (WEB/ブラウザベースのクラウド駆動の高速なビジネスインテリジェンスサービス)の機能および、SPICE (インメモリ計算エンジン) によるパフォーマンス向上について情報共有をしてもらったことをきっかけに、QuickSight に興味を持つようになりました。データ処理基盤と同じプラットフォームのサービスの一つとして運用できる点にも魅力があり、プロトタイピングという位置づけで QuickSight を使ったレポートを作り始めました。 実際に作業を始めてみると、Web ベースでありながら、動作はデスクトップのソフトウェアと同じくらい軽快で、操作結果がリアルタイムにフィードバックされるので、開発効率という観点では嬉しい驚きでした。また、ダッシュボード、チャート、フィルタなどの機能は他の BI ツールと遜色なく、一部の複雑なビジュアルを除いて機能面で困ることはありませんでした。このため、当初想定していたよりも形になるスピードが速く、また各方面からのフィードバックが良かったこともあって、QuickSight で開発を維持することに決めた、という経緯がありました。 都道府県の担当者の方々からは、公開当初から「直感的で分かりやすい」というフィードバックをいただいていました(図2参照)。アマゾン ウェブ サービス ジャパンのコンサルタントから、QuickSight 自体、ユーザーが直感的・探索的に操作できることを重視してデザインしていると伺いましたが、今回はこのデザインポリシーがうまく機能した好例と言えます。 この分かりやすさを最大化するため、表示する内容にもこだわりました。1つのダッシュボードに掲載する情報を都度十分に吟味し、回答者数・有症率・推定感染率という指標を、デモグラフィック・時系列・地理の3つの観点に分類して表示することで、1つ1つのダッシュボードが明確なメッセージを提供するようになっています。 図2:Quicksightにより各都道府県の担当者へ提供したダッシュボード(サンプル) 一方、各都道府県が他県のデータが見られないようにしたい、というセキュリティ要件もありました。これについては QuicksightのRLS機能(Row-Level Security:行レベルセキュリティ)や QuickSight の動的パラメータ機能を使うことで実現でき、わずか数クリックの設定だけで実装できるため、優位性がある機能だと思います。 ビジュアル面では、プリセットされたテーマの中から「Midnight」を選択し、ダークネイビーをバックにネオン系のアクセントカラーという今風のテーマのおかげで、デザイナーが設計したかのようなモダンなダッシュボードを数クリックで作ることができました。 ダッシュボードの裏側のデータ処理は、データの規模や開発効率、運用のしやすさを考慮して、Amazon Relational Database Service(RDS)(クラウド上で稼働するリレーショナルデータベース) を使用した SQL ベースの ELT処理 (Extract:抽出、 Load:書き出し、Transform:変換 )で実装し始めました。33都道府県向け(11月末時点:自治体や省庁の公式アカウント一覧)のダッシュボードに必要な機能のうち、実に3分の2を、ボランティアの開発者2~3名と少ないメンバーでかつ、開始から2ヶ月というスピードで提供できたのは、QuickSight のWEBベースで開発/共有できる使い勝手の良さとインメモリエンジンSPICEによる動作の軽さ、形にこだわらず結果を出力し、先生方のフィードバックをすぐに反映する事を優先した実装メンバーの方式選択の賜物と言えます。ただ、その裏でバッチ処理のコントロールはすべて手動で行っていました。想定外のデータの混入によるエラーなどで開発者が夜間や土日を使ってサポートしていたこともあり、その負担の軽減が大きな課題でした。 運用負荷低減やユーザニーズへの柔軟な対応の為にサーバーレスアーキテクチャへ移行 開発がひと段落したところ見計らって、AWS の Solution Architect にアドバイスをいただきながら、AWS Step […]

Read More

EC2 更新 – D3/D3en 高密度ストレージインスタンス

2012 年の HS1 や 2015 年の D2 を含む、高密度ストレージを持つ EC2 インスタンスを数世代立ち上げてきました。この名前から推測できるように、お客様は、データウェアハウス、データレイク、ネットワークファイルシステム、Hadoop クラスターなどに、非常に経済的なオンインスタンスストレージを大量に必要とする場合に、これらのインスタンスを利用しています。このようなワークロードには、大量の I/O とネットワークスループットが必要ですが、コンピューティング能力に対するストレージ比率が高いと正常に動作します。 新しい D3 インスタンスおよび D3en インスタンス 本日、D3 インスタンスおよび D3en インスタンスをローンチします。以前のインスタンスと同様に、これらのインスタンスにより、大量の低コストオンインスタンス HDD ストレージにアクセスできます。D3 インスタンスには 4 つのサイズがあり、最大 32 個の vCPU と 48 TB のストレージを利用できます。仕様は以下のとおりです。 インスタンス名 vCPU RAM HDD ストレージ ディスクスループットの総計 (128 KiB ブロック) ネットワーク帯域幅 EBS 最適化帯域幅 d3.xlarge 4 32 GiB 6 TB (3 x 2 […]

Read More

新しい EC2 M5zn インスタンス – クラウドで最速の Intel Xeon Scalable CPU

非常に高いコアあたりのパフォーマンスと高いメモリ対コア比をお求めのお客様のために、コンピューティング集約型の z1d インスタンスを 2018 年半ばにローンチしました。これにより、フロントエンドの電子設計自動化 (EDA)、保険数理、および CPU バウンドのリレーショナルデータベースワークロードを強化します。 補完的なユースケースに対応するため、お客様から、ローカル NVMe ストレージがなく、ネットワークスループットが高く、メモリ対 vCPU 比が低い、z1d のような高いコアごとのパフォーマンスを発揮する EC2 インスタンスを求められています。お客様から、この属性セットを持ったインスタンスを構築した場合、そのインスタンスはゲーム、金融アプリケーション、それに自動車、航空宇宙、エネルギー、電気通信産業、ハイパフォーマンスコンピューティング (HPC) で使用されるシミュレーションモデリングアプリケーションなどのワークロードに最適だとご指摘いただきました。 M5zn のご紹介 本日、z1d インスタンスの成功に基づき、M5zn インスタンスを 7 つのサイズでローンチします。このインスタンスは、最大 4.5 GHz のオールコアのターボクロック周波数を持つ、第 2 世代のカスタム Intel® Xeon® Scalable (カスケードレイク) プロセッサーを使用します。M5zn インスタンスは高頻度処理を特徴とし、汎用 M5 インスタンスの変形で、AWS Nitro System 上に構築されます。このインスタンスは、低レイテンシーの 100 Gbps ネットワークと Elastic Fabric Adapter (EFA) も備え、HPC や通信負荷の高いアプリケーションのパフォーマンスを向上させます。 次に、M5zn インスタンス (すべての VPC のみ、HVM […]

Read More

新機能 – Amazon EC2 R5b インスタンスは、3 倍高い EBS パフォーマンスを実現

2018 年 7 月、Amazon Elastic Compute Cloud (Amazon EC2) 向けにメモリ最適化された R5 インスタンスを発表しました。R5 インスタンスは、高機能データベース、ウェブ規模の分散インメモリキャッシュ、インメモリデータベース、リアルタイムのビッグデータ分析、およびその他のエンタープライズアプリケーションなどのメモリ集約型のアプリケーション向けに設計されています。 R5 インスタンスには、2 つの異なるブロックストレージオプションがあります。R5d インスタンスは、高速、低レイテンシーのローカルストレージにアクセスする必要があるアプリケーション向けに、最大 3.6 TB の NMVe インスタンスストレージを提供します。さらに、すべての R5b インスタンスは Amazon Elastic Block Store で動作します。Amazon EBS は、あらゆる規模のスループット集約型のワークロードとトランザクションを集中的に使用するワークロードの両方で、Amazon EC2 とともに使用できるように設計された、使いやすく、高性能で、可用性の高いブロックストレージサービスです。リレーショナルと非リレーショナル両方のデータベース、エンタープライズアプリケーション、コンテナ化されたアプリケーション、ビッグデータ分析エンジン、ファイルシステム、そしてメディアワークフローといった幅広いワークロードが、Amazon EBS では広範にデプロイされています。 本日、R5 インスタンスファミリーに新たに追加された R5b をご利用いただけるようになったことを発表します。新しい R5b インスタンスは AWS Nitro System によって起動され、EC2 で利用できる最高のネットワーク接続ストレージパフォーマンスを実現します。この新しいインスタンスは、最大 60 Gbps の EBS 帯域幅と 260,000 個/秒 (IOPS) の […]

Read More

近日公開 – EC2 C6gn インスタンス – AWS Graviton2 プロセッサーによる 100 Gbps ネットワーキング

AWS Graviton2 による Amazon Elastic Compute Cloud (EC2)インスタンスでワークロードを実行している Snap、NextRoll、Intuit、SmugMug、Honeycomb などのお客様からの素晴らしいフィードバックに基づき、本日、Arm ベースの幅広い Graviton2 ポートフォリオに加わる C6gn インスタンスを発表します。これにより、最大 100 Gbps のネットワーク帯域幅と、最大 38 Gbps の Amazon Elastic Block Store (EBS) 帯域幅を提供し、最大 40% 高いパケット処理パフォーマンス、それに現在の世代の x86 ベースのネットワーク最適化インスタンスと比較して最大 40% 高いコストパフォーマンスを実現します。 この新しいインスタンスタイプは、C6G インスタンスと比較して、4 倍のネットワーク帯域幅と 2 倍の EBS 帯域幅を提供し、4 倍のパケット処理パフォーマンスを実現します。つまり、ハイパフォーマンスコンピューティング (HPC)、ネットワークアプライアンス、リアルタイムビデオ通信、データ分析などの高いネットワーク帯域幅を必要とするワークロードを持つお客様は、最大かつ最も困難なアプリケーションを Arm に導入し、高いパフォーマンスとコスト最適化の利点を活かすことができます。 C6gn インスタンスは次の 8 つのサイズでご利用いただけます。 名前 vCPU メモリ (GiB) ネットワーク帯域幅 (Gbps) EBS […]

Read More

近日公開 – グラフィックワークロード用の AMD GPU を搭載した Amazon EC2 G4ad インスタンス

例えば、ゲームストリーミング、アニメーション、ビデオレンダリングなどの高性能グラフィックワークロードを抱えるお客様は、低コストで高いパフォーマンスをいつも求めています。本日、G4 インスタンスファミリーの新しい Amazon Elastic Compute Cloud (EC2) インスタンスが稼働し、まもなくご利用いただけるようになることをお知らせします。これにより、グラフィックスを多用するワークロードのパフォーマンスを向上させ、コストを削減できます。新しい G4ad インスタンスは、AMD の最新の Radeon Pro V520 GPU と第 2 世代 EPYC プロセッサを搭載し、EC2 で初めて AMD GPU を搭載しています。 2019年にリリースされ、NVIDIA T4 GPU を搭載した G4dn インスタンスは、以前は EC2 で最も費用対効果が高い GPU ベースのインスタンスでした。G4dn インスタンスは、本番稼働環境やグラフィックスを多用するアプリケーションでの機械学習モデルのデプロイに最適です。ただし、G4dn と比較して、新しい G4ad インスタンスは、前述のゲームストリーミング、リモートグラフィックスワークステーション、レンダリングシナリオなど、グラフィックスを多用するワークロードに対して、最大 45% 低い料金のパフォーマンスを実現します。同じサイズの G4dn インスタンスと比較して、G4ad インスタンスはパフォーマンスが最大 40% 向上しています。 G4dn インスタンスは、Tensor コアなどのハードウェア最適化が含まれているため、小規模機械学習 (ML) トレーニングや GPU ベースの ML 推論に最適なオプションであり続けます。さらに、G4dn インスタンスは、CUDA、CudNN、NVENC […]

Read More

Amazon EKS Distro: Amazon EKS で使用される Kubernetes ディストリビューション

顧客向けの革新的なソリューションの構築に集中したいので、Kubernetes インフラストラクチャを管理する面倒な作業に手間をかけたくないという声がお客様から寄せられています。そのため、Amazon Elastic Kubernetes Service (EKS) の人気が高まっています。このサービスをご利用いただくことで、Kubernetes の管理にかかる負担は解消され、お客様はメリットを享受できます。 ただし、すべてのカスタマーが Amazon EKS を使用するわけではありません。たとえば、既存のインフラストラクチャ投資、データの所在地要件、またはコンプライアンス義務があり、Kubernetes をオンプレミスで運用しなければならない場合があります。このような状況にあるお客様からは、アップデートの追跡、Kubernetes の互換性のあるバージョンと基盤となるコンポーネントの複雑なマトリックスの把握、互換性を確認するためのテスト、および Kubernetes リリース頻度 (3 ~ 4 か月の頻度である場合があります) の維持に多くの労力を費やしていることを伺っています。お客様が新しいバージョンのテストと見極めを適時に実行できない場合、破壊的変更、バージョンの互換性の問題、および重要なセキュリティパッチが不足している、サポートされていないバージョンの Kubernetes を実行する危険性があります。 当社は、AWS で Amazon EKS を提供しながら多くのことを学び、運用のセキュリティ、安定性、および信頼性を備えた Kubernetes を提供する方法を深く理解しています。本日、当社は、その知識を用いて構築した Amazon EKS Distro を皆さんと共有することを発表します。 EKS Distro は、Amazon EKS によってデプロイされたのと同じバージョンの Kubernetes のディストリビューションです。このディストリビューションを使用して、任意の場所に独自の Kubernetes クラスターを手動で作成できます。EKS Distro は、Amazon EKS によって使用されるオープンソース Kubernetes のインストール可能なビルドとコードを提供します。これには、依存関係や AWS が保守するパッチも含まれます。クラスターの作成と管理ツールを選択することで、Amazon Elastic Compute Cloud (EC2) […]

Read More