全般
AWS DataSync とは何ですか?
AWS DataSync は、AWS へのデータ移行を簡素化および加速し、オンプレミスのストレージ、エッジロケーション、他のクラウド、および AWS ストレージ間でデータを移行するオンラインデータ移行および検出サービスです。
AWS DataSync Discovery は、オンプレミスストレージのパフォーマンスと使用状況を可視化し、データを AWS ストレージサービスに移行するためのレコメンデーションを提供することで、移行計画を簡素化し、AWS へのデータ移行を加速するのに役立ちます。DataSync Discovery を使用すると、自動化されたデータ収集と分析を通じてオンプレミスのストレージのパフォーマンスとキャパシティの使用状況をより良く把握できるため、移行するデータを迅速に特定し、生成されたレコメンデーションを使用して、パフォーマンスとキャパシティのニーズに合った AWS ストレージサービスを選択できます。
オンラインデータ転送の場合、AWS DataSync は、オンプレミスストレージ、エッジロケーション、他のクラウドプロバイダー、および AWS Storage サービスとの間の大量のデータのコピーを簡略化、自動化、高速化します。DataSync は次との間でデータをコピーできます: Network File System (NFS) 共有、Server Message Block (SMB) 共有、Hadoop 分散ファイルシステム (HDFS)、セルフマネージドオブジェクトストレージ、Google Cloud Storage や Wasabi Cloud Storage などの他のクラウドのオブジェクトストレージ (サポートクラウドの詳細なリストをご覧ください)、Azure Files、Azure Blob Storage (Azure Data Lake Storage Gen2 を含む)、Snow 上の Amazon S3 互換ストレージ、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic File System (Amazon EFS) ファイルシステム、Amazon FSx for Windows File Server ファイルシステム、Amazon FSx for Lustre ファイルシステム、Amazon FSx for OpenZFS ファイルシステム、Amazon FSx for NetApp ONTAP ファイルシステム。
AWS DataSync を使用すべきなのはなぜですか?
AWS DataSync を使用すると、データを安全かつ迅速に検出して移行できます。DataSync Discovery を使用すると、オンプレミスのストレージ使用状況をより良く理解し、AWS への移行に関する推定コストとプランを知らせるレコメンデーションを受け取ることができます。データの移行では、DataSync を使用すると、オープンソースツールを使用してカスタムソリューションを構築したり、高価な商用ネットワークアクセラレーションソフトウェアのライセンスを取得して管理したりすることなく、数百万のファイルからなる大規模なデータセットをコピーすることができます。DataSync を使用して、AWS との間でアクティブなデータを移行したり、オンプレミスのストレージ容量を解放するためにデータをアーカイブしたり、ビジネス継続性を確保する目的で AWS にデータをレプリケートしたり、分析や処理を目的としてクラウドにデータを転送したりできます。
AWS DataSync Discovery はどのような問題を解決してくれますか?
AWS DataSync を使用すると、オンラインデータ転送の複雑さとコストが軽減され、オンプレミスストレージ、エッジロケーション、他のクラウドプロバイダー、AWS ストレージサービスとの間でデータセットを簡単に転送できます。DataSync は、Amazon S3 API、または他のクラウドストレージ API を使用して、HDFS クライアントとして、標準のストレージプロトコル (NFS、SMB) で既存のストレージシステムやデータソースに接続します。専用のネットワークプロトコルとスケールアウトアーキテクチャを使用して、ストレージシステムと AWS のサービス間のデータ転送を高速化します。DataSync は、ファイルとオブジェクトの移動、データ転送のスケジューリング、転送の進行状況のモニタリング、暗号化、データ転送の検証、お客様への問題の通知を処理します。
AWS DataSync はどのような問題を解決してくれますか?
AWS DataSync を使用すると、オンラインデータ転送の複雑さとコストが軽減され、オンプレミスストレージ、エッジロケーション、他のクラウドプロバイダー、AWS ストレージサービスとの間でデータセットを簡単に転送できます。DataSync は、Amazon S3 API、または他のクラウドストレージ API を使用して、HDFS クライアントとして、標準のストレージプロトコル (NFS、SMB) で既存のストレージシステムやデータソースに接続します。専用のネットワークプロトコルとスケールアウトアーキテクチャを使用して、ストレージシステムと AWS のサービス間のデータ転送を高速化します。DataSync は、ファイルとオブジェクトの移動、データ転送のスケジューリング、転送の進行状況のモニタリング、暗号化、データ転送の検証、お客様への問題の通知を処理します。
Discovery
AWS DataSync Discovery ではどのストレージシステムがサポートされていますか?
AWS DataSync Discovery は現在、ONTAP 9.7 以降を実行する NetApp FAS および AFF シリーズのアレイをサポートしています。今後、追加のストレージシステムのサポートが追加される予定です。
AWS DataSync Discovery は、ストレージシステムに関してどのような情報を収集しますか?
AWS DataSync Discovery は、ストレージ管理 API インターフェイスを使用して、ストレージシステムに関する情報と、パフォーマンスおよび使用状況のメトリクスを収集します。システム情報には、合計ストレージキャパシティ、ボリューム設定、エクスポート/共有名などの属性が含まれます。ストレージシステムのメトリクスには、ボリュームスループットや IOPS などのパフォーマンスと、割り当て済みキャパシティや使用済みキャパシティなどの使用状況メトリクスが含まれます。DataSync Discovery は、収集されたシステム情報とメトリクスを使用して、AWS Storage への移行に関するレコメンデーションを生成します。
AWS DataSync Discovery は、レコメンデーションをどのように決定しますか?
AWS DataSync Discovery は、オンプレミスのストレージシステムから収集されたデータを分析し、AWS ストレージサービスの機能、キャパシティ、およびパフォーマンス機能と照合します。必要に応じて、DataSync Discovery は、検討用に 1 つ以上の AWS ストレージサービスを推奨します。
AWS DataSync Discovery を本番システムで使用できますか? ユーザーやアプリケーションにどのような影響がありますか?
オンプレミスのストレージシステムで AWS DataSync Discovery を使用しても、ユーザーとアプリケーションに顕著な影響はありません。
AWS DataSync Discovery は、ストレージシステムに関して収集されたデータをどこに保存しますか?
収集されたデータは、DataSync サービスによって保存および管理されます。データは、AWS DataSync コンソールで表示するか、AWS CLI または AWS Software Development Kit (SDK) を使用してアクセスできます。
AWS DataSync Discovery は、検出ジョブによって収集されたデータをどの程度の期間保存しますか?
収集されたデータとレコメンデーションは、検出ジョブの終了後 60 日間保持されます。
データの移動
データはどこからどこへ移動できますか?
DataSync は次のストレージの場所のタイプをサポートしています: ネットワークファイルシステム (NFS) 共有、サーバーメッセージブロック (SMB) 共有、Hadoop 分散ファイルシステム (HDFS)、セルフマネージドオブジェクトストレージ、Google Cloud Storage や Wasabi Cloud Storage などの他のクラウドのオブジェクトストレージ (サポートクラウドの詳細なリストをご覧ください)、Azure Files、Azure Blob Storage (Azure Data Lake Storage Gen2 を含む)、Snow 上の Amazon S3 互換ストレージ、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic File System (Amazon EFS) ファイルシステム、Amazon FSx for Windows File Server ファイルシステム、Amazon FSx for Lustre ファイルシステム、Amazon FSx for OpenZFS ファイルシステム、および Amazon FSx for NetApp ONTAP ファイルシステム。
AWS DataSync を使用してデータを AWS に移行するにはどうすればよいですか?
AWS DataSync を使用して、オンプレミス、エッジ、または他のクラウドにあるデータを、Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS、および Amazon FSx for NetApp ONTAP に移行できます。DataSync を設定して、データセット全体の初期コピーを作成し、オンプレミスから AWS への最終的なカットオーバーまで、変更データの後続の増分転送をスケジュールします。また、DataSync には暗号化と整合性の検証が含まれているため、データは安全、無傷で、すぐに使用できる状態で転送されます。ネットワーク接続に依存するワークロードへの影響を最小限に抑えるために、移行を時間外に実行するようにスケジュールしたり、組み込みの帯域幅スロットルを構成して DataSync が使用するネットワーク帯域幅の量を制限したりできます。 DataSync は、類似したメタデータ構造を持つストレージシステム間でメタデータを保持し、エンドユーザーとアプリケーションをスムーズに移行して、ターゲットの AWS ストレージサービスを使用できるようにします。
移行のベストプラクティスとヒントについては、ストレージのブログ「Migrating storage with AWS DataSync」をお読みください。
AWS DataSync を使用してコールドデータをアーカイブするにはどうすればよいですか?
AWS DataSync を使用して、オンプレミスストレージシステムから、Amazon S3 Glacier Flexible Retrieval (旧称: S3 Glacier) または Amazon S3 Glacier Deep Archive などの耐久性のある安全な長期ストレージに、コールドデータを直接移動できます。DataSync の除外フィルターを使用して一時ファイルやフォルダのコピーを除外するか、包含フィルターまたはマニフェストを使用してソースの場所からファイルのサブセットのみをコピーします。ニーズに合わせて最も費用対効果の高いストレージサービスを選択できます。任意の S3 ストレージクラスにデータを転送したり、Amazon EFS 低頻度アクセスストレージクラス (EFS IA) にデータを保存するために EFS Lifecycle Management で DataSync を使用したりできます。組み込みのタスクスケジューリング機能を使用して、ログ、生映像、電子医療記録などのコンプライアンスまたは監査目的で保持する必要があるデータを定期的にアーカイブします。
AWS DataSync を使用して、ビジネスの継続性のためにデータを AWS にレプリケートするにはどうすればよいですか?
AWS DataSync を使用すると、あらゆる Amazon S3 ストレージクラスに定期的にファイルをレプリケートしたり、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS、または Amazon FSx for NetApp ONTAP にデータを送信して、スタンバイファイルシステムとして使用したりできます。組み込みのタスクスケジューリング機能を使用して、データセットへの変更が送信先ストレージに定期的にコピーされるようにします。AWS DataSync を利用したデータ保護の詳細については、この AWS ストレージブログをお読みください。
進行中のワークフローでのオンプレミスと AWS 間の定期的な転送に AWS DataSync を使用するにはどうすればよいですか?
AWS DataSync を使用して、オンプレミスシステムと AWS の間で継続的に転送して処理できます。DataSync は、アクティブなファイルを AWS にすばやく移動させる必要がある業界で重要なハイブリッドクラウドストレージワークフローを高速化するのに役立ちます。これには、ライフサイエンス業界での機械学習、メディアとエンターテインメント業界での動画制作、金融サービス業界でのビッグデータ分析、石油とガス業界での地震研究などがあります。DataSync はタイムリーな配信を提供し、依存するプロセスが遅延しないようにします。包含フィルターと除外フィルターまたはマニフェストを指定して、タスクを実行するたびに転送するファイルまたはオブジェクトを指定できます。
AWS DataSync を使用して、他のクラウドから AWS にデータをコピーすることはできますか?
はい。AWS DataSync を使用すると、Amazon S3 API を使用して Google Cloud Storage から、SMB プロトコルを使用して Azure Files から、または Azure Blob Storage (Azure Data Lake Storage Gen 2 を含む) からデータをコピーできます。Wasabi Cloud Storage、Oracle Cloud Storage、Cloudflare R2 Storage、DigitalOcean Spaces、Backblaze B2 Cloud Storage などの他のクラウドストレージからデータを移動することもできます (サポートされているクラウドの詳細なリスト をご覧ください)。 DataSync エージェントを簡単にクラウド環境または Amazon EC2 にデプロイし、転送元と転送先のロケーションを作成し、タスクを開始してデータのコピーを開始できます。 ハイブリッドおよびマルチクラウド環境向けの AWS ソリューションの詳細をご覧ください。
AWS DataSync を使用してデータレイクを構築できますか?
はい。AWS DataSync では、オンプレミスのデータセットや他のクラウドにあるデータを Amazon S3 に自動転送することで、簡単にデータレイクを構築することができます。DataSync では、Amazon S3 API、または他のクラウドストレージ API を使用して、HDFS クライアントとして、標準的なストレージプロトコル (NFS、SMB) で、データセット全体を簡単かつ迅速に転送することができます。最初にデータセットを転送した後、AWS への新しいデータの転送をスケジュールすることができます。また、DataSync には暗号化と整合性の検証が含まれているため、データは安全、無傷で、すぐに使用できる状態で転送されます。ネットワーク接続に依存するワークロードへの影響を最小限に抑えるために、移行を業務時間外に実行するようにスケジュールしたり、組み込みの帯域幅スロットルを構成して DataSync が使用するネットワーク帯域幅の量を制限したりすることができます。Amazon S3 にデータが保存されると、ネイティブの AWS のサービスを利用して、ビッグデータ分析、人工知能 (AI)、機械学習 (ML)、ハイパフォーマンスコンピューティング (HPC)、ならびにメディアデータ処理を行うアプリケーションを実行し、非構造化データセットからインサイトを得ることができます。 データレイクの構築と活用の詳細については、AWS データレイクストレージのウェブページをお読みください。
AWS DataSync を使用して AWS ストレージサービス間でデータを転送するにはどうすればよいですか?
DataSync を使用して、同じ AWS アカウント内の Amazon S3、Amazon EFS、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS、または Amazon FSx for NetApp ONTAP 間でファイルまたはオブジェクトを転送できます。同じ AWS リージョン内の AWS のサービス間、中国を除く異なる商用 AWS リージョン内のサービス間、または AWS GovCloud (米国東部と米国西部) リージョン間でデータを転送できます。これには DataSync エージェントをデプロイする必要はなく、AWS DataSync コンソール、AWS コマンドラインインターフェイス (CLI)、または AWS Software Development Kit (SDK) を使用してエンドツーエンドで設定できます。
AWS DataSync を使用して Amazon WorkDocs に移行できますか?
はい。AWS DataSync は、移行に使用する Amazon S3 バケットへのファイルのアップロードを自動化することにより、Amazon WorkDocs Migration Service のために必要なステップを加速します。DataSync を使用すると、ホームディレクトリや部署の共有物を WorkDocs に簡単にすばやく移行できます。 WorkDocs への移行に DataSync を使用する方法については、ブログ記事「AWS DataSync を使用してネットワークファイル共有を Amazon WorkDocs に移行する」をお読みください。
使用状況
AWS DataSync Discovery の使用を開始するにはどうすればよいですか?
オンプレミスの VM 環境に AWS DataSync エージェントをデプロイすることから始めます。 DataSync コンソール、CLI、または SDK を使用して、オンプレミスのストレージに接続するように DataSync Discovery を設定し、検出ジョブを実行して、パフォーマンス、キャパシティ、および使用状況のメトリクスとともにストレージシステムに関するデータを収集します。検出ジョブの実行中に、DataSync コンソールのダッシュボードからストレージシステムに関する情報を表示できます。検出ジョブが完了すると、収集されたデータが分析され、Amazon EFS、Amazon FSx、Amazon S3 などの AWS ストレージサービスに移行するためのレコメンデーションが生成されます。これらのレコメンデーションは、AWS Storage サービスの選択のガイドとして使用できます。また、AWS DataSync を使用してデータを移行できます。
AWS DataSync を使用してデータの移行を開始するにはどうすればよいですか?
AWS マネジメントコンソールで数回クリックするか、または AWS コマンドラインインターフェイス (CLI) を通じて、AWS DataSync を使用してデータを転送できます。開始するには、次の 3 つの手順を実行します。
1.オンプレミス、エッジ、または他のクラウドストレージシステムと AWS ストレージサービス間でデータを転送するには、エージェントをデプロイします。DataSync エージェントをデプロイし、マネジメントコンソールまたは API を介して AWS アカウントに関連付けます。エージェントは、NFS サーバー、SMB ファイル共有、Hadoop クラスター、またはセルフマネージドオブジェクトストレージもしくはクラウドオブジェクトストレージにアクセスして、データを読み込んだり、書き込んだりするために使用されます。 同じ AWS アカウント内の AWS ストレージサービス間でデータを転送するためにエージェントをデプロイする必要はありません。
2.データ転送タスクを作成する - データソースと宛先の場所、および目的のタスクのスケジューリングやタスクレポートの有効化など、転送を設定するために使用するオプションを指定することによって、タスクを作成します。
3.転送を開始 - タスクを開始し、コンソールまたは Amazon CloudWatch でデータ移動をモニタリングし、タスクレポートを使用して転送タスクを監査します。
AWS DataSync エージェントをデプロイするにはどうすればよいですか?
AWS DataSync のエージェントを、使用しているオンプレミスハイパーバイザー、パブリッククラウド環境、または Amazon EC2 にデプロイします。オンプレミスファイルサーバーまたは Snow 上の Amazon S3 互換ストレージとの間でデータをコピーするには、AWS コンソールからエージェント仮想マシンイメージをダウンロードし、オンプレミスの VMware ESXi、Linux カーネルベース仮想マシン (KVM)、または Microsoft Hyper-V ハイパーバイザーにデプロイします。NFS や SMB プロトコルを使用してファイルサーバーにアクセスしたり、Hadoop クラスターの NameNodes や DataNodes にアクセスしたり、Amazon S3 API を使用してオブジェクトストレージにアクセスしたりできるように、エージェントをデプロイする必要があります。 AWS Outposts バケットの S3 と AWS リージョンの S3 バケット間の転送を設定するには、エージェントを Outpost にデプロイします。
パブリッククラウド環境と AWS Storage の間でデータをコピーする場合、DataSync エージェントをクラウド環境または Amazon EC2 にデプロイすることができます。AWS DataSync は AWS DataSync エージェントと AWS ストレージサービスの間で転送中のデータを圧縮するため、パブリッククラウド環境に AWS DataSync エージェントをデプロイすることで送信費用を削減できる場合があります。
同じ AWS アカウント内の AWS ストレージサービス間でデータを転送するためにエージェントをデプロイする必要はありません。クラウド内のセルフマネージドファイルサーバーとの間、または異なる AWS アカウントの AWS ストレージサービス間でデータをコピーするには、DataSync エージェント AMI を使用して Amazon EC2 インスタンスを起動します。
AWS DataSync のエージェントのリソース要件はどのようなものですか?
エージェントを実行するために最低限必要なリソースは、こちらでご確認いただけます。
AWS DataSync データ転送タスクを開始するにはどうすればよいですか?
AWS DataSync は、AWS マネジメントコンソールまたは AWS コマンドラインインターフェイス (CLI) を使用してタスクを開始すると、データをコピーします。タスクが実行されるたびに、転送元と転送先で変更がスキャンされ、転送元と転送先でのデータとメタデータの相違のコピーが実行されます。変更された内容を判別するために使用する転送元の特性を設定し、特定のファイルやオブジェクトのデータを転送するための包含フィルターと除外フィルターまたはマニフェストを定義し、転送先のファイルまたはオブジェクトを転送元で変更したときに上書きするか、転送元で見つからなかった場合に削除するかを制御します。
基本モードと拡張モードのタスクはどのように異なりますか?
基本モードのタスクは、データセット内のファイルとオブジェクトの数についてのクォータの対象となります。基本モードでは、データセット内のファイルとオブジェクトを順番に準備、転送、検証するため、ほとんどのワークロードでは拡張モードよりも遅くなります。拡張モードでは、実質的に無制限の数のオブジェクトを含むデータセットを、基本モードよりも高いレベルのパフォーマンスで転送できます。拡張モードのタスクは、データのリスト、準備、転送、検証を並列で実行することで、データ転送プロセスを最適化および合理化します。また、強化されたメトリクスとレポート機能も使用できるため、大規模なデータ転送の追跡と管理がより容易になります。拡張モードは現在、Amazon S3 の場所の間の転送に使用できます。基本モードでは、現在使用可能なすべての DataSync の場所タイプがサポートされています。タスクモード間の違いの詳細なリストについては、DataSync ドキュメントをご覧ください。タスクモード間の料金の違いについては、DataSync の料金ページをご覧ください。
AWS DataSync は、データが適切にコピーされていることをどのように保証しますか?
AWS DataSync はデータを転送および保存する際に、宛先に書き込まれたデータが、ソースから読み取られたデータと一致するようにするために、完全性チェックを実施します。さらに、オプションの検証チェックを実行して、転送の終了時に送信元と送信先を比較できます。 DataSync は、送信元と送信先に保存されているデータのフルファイルチェックサムを計算して比較します。データセット全体を確認することも、DataSync が転送したファイルまたはオブジェクトのみを確認することもできます。
AWS DataSync によって転送されているデータのステータスを監査およびモニタリングするにはどうすればよいですか?
タスクレポートを使用して、すべてのタスク実行にわたる転送オペレーションを確認することで、データ転送プロセスを監査できます。タスクレポートを使用すると、タスクを実行するたびに、転送、スキップ、検証、削除されたすべてのファイルの概要レポートと詳細なレポートを取得できます。タスクレポートには、転送されたファイルとバイトの総数が表示され、サイズ、パス、タイムスタンプ、ファイルチェックサム、オブジェクトバージョン ID (該当する場合) などのファイル属性が含まれます。また、AWS Glue、Amazon Athena、Amazon QuickSight を使用して、タスクレポートを自動的にカタログ化、クエリ、視覚化して、データ転送プロセスに関する重要な情報を得ることができます。
AWS マネジメントコンソールまたは CLI を使用して、転送されているデータのステータスをモニタリングできます。Amazon CloudWatch メトリクスを使用すると、コピーされたファイルの数およびデータの量を確認できます。 また、個々のファイルの CloudWatch Logs へのログ記録を有効にすることで、特定の時間に転送されたデータや、DataSync によって実行されたコンテンツの完全性検証の結果を確認できます。
これらのソリューションを組み合わせることで、監査、モニタリング、レポート、トラブルシューティングが簡素化され、利害関係者にタイムリーに最新情報を提供できます。
AWS DataSync が転送するファイルとフォルダをフィルタリングできますか?
はい。タスク実行時に毎回転送されるファイル、フォルダ、オブジェクトを制限するため、除外フィルター、包含フィルター、またはその両方を指定できます。または、マニフェストを使用して、転送元の場所から転送するファイルまたはオブジェクトのサブセットを指定することもできます。
包含フィルターは、タスクの実行時に含めるべきファイルとフォルダパスまたはオブジェクトキーを指定し、転送元と転送先で DataSync がスキャンする範囲を制限します。除外フィルターは、コピーの対象から除外するファイルとフォルダパスまたはオブジェクトキーを指定します。 タスクの作成または更新時に、除外フィルターと包含フィルターの両方を設定できます。タスクの開始時には、タスクに設定されたフィルターを上書きして更新することができます。DataSync で一般的なフィルターを使用する方法については、この AWS ストレージのブログをお読みください。
マニフェストは、タスクの実行時に含めるべきファイルパスやオブジェクトキーを一覧表示する CSV 形式のファイルであり、転送元と転送先で DataSync がスキャンする範囲を制限します。タスクを作成または更新する場合、マニフェストファイルに数百万の転送元ファイルまたはオブジェクトを指定できます。DataSync は、マニフェストに一覧表示されているファイルのみを比較して転送します。タスクの開始時には、マニフェストファイルを上書きして更新することができます。Amazon S3 からデータをコピーする場合、転送する各オブジェクトの S3 バージョン ID をオプションで指定することもできます。詳細については、こちらのブログをご覧ください。
フィルターとマニフェストは一緒に使用できないことに注意してください。
マニフェストファイルの使用は包含フィルターの使用とどのように異なりますか?
マニフェストはソースの場所から転送されるファイルまたはオブジェクトの明示的なリストであり、包含フィルターはソースから転送されるファイルやフォルダのパターンを指定する文字列です。フィルター内のパターンと一致するファイルとフォルダのみがコピーされます。パターンは、ファイルまたはフォルダパス全体であっても、プレフィックスに一致するすべてのファイルまたはオブジェクトをコピーする必要があることを示すワイルドカード (*) 文字で終わるプレフィックスであってもかまいません。包含フィルターは、一部のファイルやオブジェクト、またはいくつかの特定のフォルダのみをコピーしたいお客様に最適です。自動化されたワークフローの一部として移動されたデータセットなど、よく知られているデータセットをお持ちのお客様は、マニフェストを使用することで、ファイルまたはオブジェクトストレージシステム全体をスキャンして変更を確認する必要がなくなります。マニフェストファイルを使用すると、お客様は転送する数百万の転送元ファイルまたはオブジェクトを指定でき、DataSync はマニフェストに一覧表示されているファイルのみを比較します。お客様は。マニフェストを使用して Amazon S3 バケットから特定のバージョンのオブジェクトをコピーすることもできます。
AWS DataSync をスケジュールに従って転送するように設定できますか?
はい。AWS DataSync コンソールまたは AWS コマンドラインインターフェイス (CLI) を使用して、繰り返し転送を管理するスクリプトを作成および実行する必要なく、タスクをスケジュールできます。タスクスケジューリングは、設定したスケジュールでタスクを自動的に実行します。コンソールには、毎時、毎日、または毎週のオプションが直接提供されます。これにより、データセットへの変更が自動的に検出され、送信先ストレージにコピーされることを保証できます。
AWS DataSync はファイルをコピーするときにディレクトリ構造を保持しますか?
はい。ファイルを転送するとき、AWS DataSync は転送先に転送元ロケーションの構造にあるものと同じディレクトリ構造を作成します。
AWS DataSync のタスクが中断されるとどうなりますか?
タスクが中断された場合 (ネットワーク接続が切断された、AWS DataSync のエージェントが再起動された場合など)、タスクの次の実行では、不足しているファイルが転送され、この実行が終わるとデータは完全かつ一貫性のあるものになります。タスクが開始されるたびに、増分コピーが実行され、変更部分だけが転送元から転送先に転送されます。
AWS Direct Connect で AWS DataSync を使用できますか?
Direct Connect リンクを使用する AWS DataSync により、パブリックサービスエンドポイント、またはプライベート VPC エンドポイントにアクセスできます。VPC エンドポイントを使用する場合、DataSync エージェントと AWS のサービス間で転送されるデータは、パブリックインターネットを通過せず、パブリック IP アドレスも必要ありません。これにより、ネットワーク経由でコピーするデータのセキュリティが向上します。 DataSync Discovery は現在、パブリックサービスエンドポイントでのみサポートされています。
AWS DataSync は VPC エンドポイントや AWS PrivateLink をサポートしますか?
はい。VPC エンドポイントは、データ移行のユースケース向けにサポートされています。オンプレミスまたはインクラウドのいずれかでデプロイされた AWS DataSync エージェントの間で転送されるデータが、パブリックのインターネットを通過せず、またはパブリックの IP アドレスを必要としないようにするために、VPC エンドポイントを使用できます。VPC エンドポイントを使用して、ネットワークトラフィックをAmazon Virtual Private Cloud (Amazon VPC) 内に維持することにより、データのセキュリティを強化できます。 DataSync のための VPC エンドポイントでは、サポートされている AWS サービスに VPC をプライベートに接続できるようにする、可用性の高いスケーラブルなテクノロジーである AWS PrivateLink を使用します。
AWS DataSync で VPC エンドポイントを使用するように設定するにはどうすればよいですか?
AWS DataSync で VPC エンドポイントを使用するには、選択した VPC で DataSync サービスの AWS PrivateLink インターフェイス VPC エンドポイントを作成し、DataSync エージェントを作成する際に、このエンドポイント Elastic Network Interface (ENI) を選択します。エージェントはこの ENI に接続して有効化され、その後、エージェントによって転送されたすべてのデータは設定された VPC 内に保持されます。VPC エンドポイントの設定は、AWS DataSync Console、AWS Command Line Interface (CLI)、もしくは AWS SDK のいずれかにより行えます。詳細については「Using AWS DataSync in a Virtual Private Cloud」をご参照ください。
AWS Storage 間の移行
AWS DataSync ではどの AWS ストレージサービスがサポートされますか?
AWS DataSync は、Amazon Simple Storage Service (Amazon S3)、Amazon Elastic File System (Amazon EFS)、Amazon FSx for Windows File Server、Amazon FSx for Lustre、Amazon FSx for OpenZFS、Amazon FSx for NetApp ONTAP との間でのデータ移行をサポートします。
Amazon S3 Glacier Instant Retrieval、Amazon S3 Glacier Flexible Retrieval (旧称: S3 Glacier)、Amazon S3 Glacier Deep Archive、または他の S3 ストレージクラスにデータをコピーできますか?
はい。AWS DataSync で使用する S3 バケットを設定する場合、DataSync がオブジェクトの保存に使用する S3 ストレージクラスを選択できます。DataSync は、S3 Standard、S3 Intelligent-Tiering、S3 Standard-Infrequent Access (S3 Standard-IA)、S3 One Zone-Infrequent Access (S3 One Zone-IA)、Amazon S3 Glacier Flexible Retrieval、Amazon S3 Glacier Instant Retrieval、Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive) へのデータの直接保存をサポートしています。Amazon S3 ストレージクラスの詳細については、「Amazon Simple Storage Service デベロッパーガイド」をご覧ください。
オブジェクトごとの最小課金容量より小さいオブジェクトは、S3 標準に保存されます。たとえば、サイズが 0 バイトでメタデータだけを保持するフォルダオブジェクトは、S3 標準に保存されます。当社のドキュメントの Amazon S3 ストレージクラスを使用する際の考慮事項と、DataSync を使用する場合の S3 リクエストコストの評価についてお読みください。最小課金キャパシティの詳細については、Amazon S3 の料金をご覧ください。
S3 標準 – IA および S3 1 ゾーン – IA ストレージクラスからデータをコピーできますか?
はい。AWS DataSync タスクのソースの場所として S3 を使用する場合、サービスは、コピー先にコピーする必要があるすべてのオブジェクトをバケットから取得します。S3 標準 – IA および S3 1 ゾーン – IA ストレージからオブジェクトを取得すると、オブジェクトのサイズに基づいて取得料金が発生します。ドキュメントで、Amazon S3 ストレージクラスを使用する際の考慮事項についてお読みください。
Amazon S3 Glacier Instant Retrieval からデータをコピーすることはできますか?Amazon S3 Glacier Flexible Retrieval (旧 S3 Glacier) と Amazon S3 Glacier Deep Archive からデータをコピーすることはできますか?
AWS DataSync タスクのソースの場所として S3 を使用する場合、サービスは、宛先にコピーする必要があるすべてのオブジェクトをバケットから取得しようとします。S3 Glacier Instant Retrieval ストレージクラスにアーカイブされているオブジェクトを取得すると、オブジェクトのサイズに応じて取り出し料金が高くなります。S3 Glacier Flexible Retrieval または S3 Glacier Deep Archive ストレージクラスにアーカイブされたオブジェクトを取得すると、エラーが発生します。アーカイブされたオブジェクトの取得エラーは DataSync によってログに記録され、タスク完了ステータスは失敗になります。当社のドキュメントで、Amazon S3 ストレージクラスを使用する際の考慮事項と DataSync を使用する際の S3 リクエストコストの評価についてお読みください。
AWS DataSync は、Amazon S3 バケットにどのようにアクセスしますか?
AWS DataSync は、お客様が提供する IAM ロールを引き受けます。ロールにアタッチするポリシーによって、ロールが実行できるアクションが決まります。DataSync が、お客様に代わってこのロールを自動生成するか、またはロールを手動で設定できます。
AWS DataSync は、Amazon S3 のオブジェクトとの間で、どのようにファイルやフォルダを変換しますか?
ファイルまたはフォルダを Amazon S3 にコピーした場合、ファイルまたはフォルダとオブジェクトの間に 1 対 1 の関係が生じます。ファイルやフォルダのタイムスタンプ、およびユーザー ID、グループ ID、および許可を含む POSIX 許可は、S3 のユーザーメタデータに保存されます。NFS 共有では、S3 ユーザーメタデータに保存されているファイルメタデータはファイルゲートウェイとの完全な相互運用性を備えており、AWS DataSync によって Amazon S3 に保存されているデータへのオンプレミスでのファイルベースアクセスが可能です。
DataSync が、このユーザーメタデータを含むオブジェクトを NFS サーバーにコピーして戻す際には、ファイルのメタデータは復元されます。NFS から S3 にコピーバックするときに、シンボリックリンクとハードリンクも復元されます。
SMB ファイル共有からコピーする際には、デフォルトの POSIX パーミッションが S3 のユーザーメタデータに保存されます。SMB ファイル共有にコピーして戻す際には、DataSync でそのファイル共有にアクセスできるように設定されていたユーザーに基づいて所有権が設定され、デフォルトのパーミッションが割り当てられます。
HDFS からコピーする際には、ファイルやフォルダのタイムスタンプ、ユーザーやグループの所有権、POSIX のパーミッションが S3 のユーザーメタデータに保存されます。Amazon S3 から HDFS にコピーして戻す際には、ファイルとフォルダのメタデータが復元されます。
DataSync のファイルとメタデータの保存の方法の詳細については、ドキュメントをご覧ください。
セルフマネージドオブジェクトストレージ、または Azure Blob Storage と Amazon S3 の間でオブジェクトを転送する場合、どのオブジェクトメタデータが保持されますか?
セルフマネージドオブジェクトストレージまたは Azure Blob Storage と Amazon S3 の間でオブジェクトを転送する場合、DataSync はオブジェクトをオブジェクトメタデータとタグとともにコピーします。
Amazon S3 バケット間でオブジェクトを転送するときに保持されるオブジェクトメタデータは何ですか?
Amazon S3 バケット間でオブジェクトを転送する場合、DataSync は、オブジェクトをオブジェクトメタデータとタグとともにコピーします。DataSync は、オブジェクト ACL や以前のオブジェクトバージョンなどの他のオブジェクト情報をコピーしません。
AWS DataSync で S3 ストレージクラスを使用する場合、どの Amazon S3 リクエストおよびストレージコストが適用されますか?
一部の S3 ストレージクラスには、データ取得、最小ストレージ容量、最小ストレージ期間など、コストに影響を及ぼす可能性のある動作があります。DataSync は、これらの要因に対処するためにデータの管理を自動化し、データ取得を最小限に抑える設定を提供します。
オブジェクトごとの最小容量が請求されるのを回避するために、AWS DataSync は小さなオブジェクトを S3 標準に自動的に保存します。データ取得料金を最小限に抑えるために、特定のタスクによって転送されたファイルのみを検証するように DataSync を構成できます。最小保存期間に関する料金を回避するために、DataSync にはオブジェクトを上書きおよび削除するための制御機能があります。当社のドキュメントの Amazon S3 ストレージクラスを使用する際のコストに関する考慮事項と、DataSync を使用する場合の S3 リクエストコストの評価についてお読みください。
オブジェクトを AWS Outposts の Amazon S3 バケットとの間でコピーすることはできますか?
はい。AWS Outposts の Amazon S3 と AWS リージョン内の Amazon S3 バケットとの間で、オブジェクトのコピーを実行できます。AWS DataSync では、オブジェクトとともにオブジェクトのメタデータとタグもコピーされます。DataSync が Outposts の Amazon S3 バケットにアクセスするには、Outpost に DataSync EC2 エージェントをデプロイします。
DataSync を Outposts の Amazon S3 に使用する場合、AWS リージョン内の Amazon S3 バケットとの間でのみデータを転送できます。DataSync タスクでサポートされているソースと宛先の詳細については、ドキュメントをご覧ください。
AWS DataSync は、Amazon EFS ファイルシステムにどのようにアクセスしますか?
AWS DataSync は、NFS プロトコルを使用して Amazon EFS ファイルシステムにアクセスします。DataSync サービスは、DataSync サービスによって管理される Elastic Network Interfaces (ENI) の VPC 内からファイルシステムをマウントすることで行われます。DataSync は、ユーザーの代わりにこうした ENI の作成、使用、削除を完全に管理します。 マウントターゲットまたは EFS アクセスポイントを使用して EFS ファイルシステムをマウントすることを選択できます。
AWS DataSync をすべての Amazon EFS ストレージクラスで使用できますか?
はい。AWS DataSync を使用してファイルを Amazon EFS にコピーし、EFS Lifecycle Management を設定して、一定期間アクセスされていないファイルを低頻度アクセス (IA) ストレージクラスに移行できます。
Amazon EFS ファイルシステムのリソースポリシーで AWS DataSync を使用するにはどうすればよいですか?
IAM アイデンティティポリシーとリソースポリシーの両方を使用して、クラウド環境のために最適化されたスケーラブルな方法で、Amazon EFS リソースへのクライアントアクセスを制御できます。EFS ファイルシステム用の DataSync ロケーションを作成するとき、DataSync が EFS にアクセスするときに仮定する IAM ロールを指定することができます。その後、EFS ファイルシステムポリシーを使用して、IAM ロールのアクセスを設定できます。DataSync は EFS ファイルシステムをルートユーザーとしてマウントするため、IAM ポリシーでは、elasticfilesystem:ClientRootAccess のアクションを許可する必要があります。
AWS DataSync を使用して、Amazon EFS ファイルシステムを別の AWS リージョンにレプリケートできますか?
はい。Amazon EFS が提供する組み込みレプリケーションに加えて、AWS DataSync を使用して、同じ AWS アカウント内の 2 番目の Amazon EFS ファイルシステムへの、Amazon EFS ファイルシステムの定期的なレプリケーションをスケジュールすることもできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
NFS 共有と Amazon EFS 間、または 2 つの Amazon EFS ファイルシステム間でデータをコピーするときにどのようなメタデータが保持されますか?
AWS DataSync は、ファイルとフォルダのタイムスタンプ、およびユーザー ID、グループ ID、許可を含む POSIX の許可をコピーします。詳細については、コピーされたメタデータの詳細なリストを当社のドキュメントでご覧ください。
HDFS と Amazon EFS の間でデータをコピーするときにどのようなメタデータが保持されますか?
AWS DataSync は、ファイルとフォルダのタイムスタンプと POSIX 許可をコピーし、ユーザー ID とグループ ID のデフォルト値を適用します。詳細については、コピーされたメタデータの詳細なリストを当社のドキュメントでご覧ください。
AWS DataSync は、Amazon FSx for Windows File Server ファイルシステムにどのようにアクセスしますか?
AWS DataSync は、SMB プロトコルを使用して Amazon FSx for Windows File Server ファイルシステムにアクセスし、AWS コンソールまたは CLI で設定したユーザー名とパスワードで認証します。DataSync サービスは、DataSync サービスによって管理される Elastic Network Interfaces (ENI) の VPC 内からファイルシステムをマウントすることで行われます。DataSync は、ユーザーの代わりにこうした ENI の作成、使用、削除を完全に管理します。
SMB 共有と Amazon FSx for Windows File Server ファイルシステム間、または 2 つの Amazon FSx ファイルシステム間でコピーする際、どのような Windows メタデータが転送されますか?
AWS DataSync は、ファイルのタイムスタンプ、ファイル所有者、標準ファイル属性、NTFS 随意アクセスリスト (DACL)、NTFS システムアクセスコントロールリスト (SACL) などの Windows メタデータをコピーします。 詳細については、コピーされたメタデータの詳細なリストを当社のドキュメントでご覧ください。
AWS DataSync を使用して、Amazon FSx for Windows File Server ファイルシステムを別の AWS リージョンにレプリケートできますか?
はい。AWS DataSync を使用して、同じ AWS アカウント内の 2 番目のファイルシステムへの Amazon FSx for Windows File Server ファイルシステムの定期的なレプリケーションをスケジュールできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
AWS DataSync は、Amazon FSx for Lustre ファイルシステムにどのようにアクセスしますか?
FSx for Lustre ファイルシステムとの間でコピーする DataSync タスクを作成すると、DataSync サービスは、ファイルシステムが配置されているのと同じ VPC とサブネットに Elastic Network Interfaces (ENI) を作成します。 DataSync はこれらの ENI を使用して、ルートユーザーとして Lustre プロトコルを使用して FSx for Lustre ファイルシステムにアクセスします。 FSx for Lustre ファイルシステム用の DataSync ロケーションリソースを作成する際に、ENI に適用するセキュリティグループを 5 つまで指定し、DataSync サービスからのアウトバウンドアクセスを設定することができます。 セキュリティグループは、FSx for Lustre が必要とするネットワークポート上のアウトバウンドトラフィックを許可するように設定する必要があります。 FSx for Lustre ファイルシステムのセキュリティグループは、FSx for Lustre ファイルシステムの DataSync ロケーションリソースに割り当てたセキュリティグループからのインバウンドアクセスを許可するように設定する必要があります。
NFS 共有または Amazon EFS ファイルシステムと Amazon FSx for Lustre の間、または 2 つの Amazon FSx for Lustre ファイルシステム間でデータをコピーする際、どのようなメタデータが保持されますか?
AWS DataSync は、ファイルとフォルダのタイムスタンプ、およびユーザー ID、グループ ID、許可を含む POSIX の許可をコピーします。詳細については、コピーされたメタデータの詳細なリストを当社のドキュメントでご覧ください。
AWS DataSync を使用して、ある FSx for Lustre ファイルシステムから別のファイルシステムにデータを移行することはできますか?
はい。AWS DataSync を使用して、FSx for Lustre ファイルシステムから同じ AWS アカウント内の 2 番目のファイルシステムにコピーできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
AWS DataSync を使用して、Amazon FSx for Lustre ファイルシステムを別の AWS リージョンにレプリケートできますか?
はい。AWS DataSync を使用して、同じ AWS アカウント内の 2 番目のファイルシステムへの Amazon FSx for Lustre ファイルシステムの定期的なレプリケーションをスケジュールできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
ある Amazon FSx for Lustre ファイルシステムから別のファイルシステムにコピーする際、DataSync はストライピングやレイアウトの設定をコピーしますか?
いいえ。ファイルは宛先のファイルシステム上のファイルレイアウトやストライピング設定を使用して書き込まれます。
AWS DataSync は、Amazon FSx for OpenZFS ファイルシステムにどのようにアクセスしますか?
FSx for OpenZFS ファイルシステムとの間でコピーする DataSync タスクを作成すると、DataSync サービスは、ファイルシステムが配置されているのと同じ VPC とサブネットに Elastic Network Interfaces (ENI) を作成します。 DataSync はこれらの ENI を使用して、ルートユーザーとして OpenZFS プロトコルを使用して FSx for OpenZFS ファイルシステムにアクセスします。 FSx for OpenZFS ファイルシステム用の DataSync ロケーションリソースを作成する際に、ENI に適用するセキュリティグループを 5 つまで指定し、DataSync サービスからのアウトバウンドアクセスを設定することができます。 セキュリティグループは、FSx for OpenZFS が必要とするネットワークポート上のアウトバウンドトラフィックを許可するように設定する必要があります。 FSx for OpenZFS ファイルシステムのセキュリティグループは、FSx for OpenZFS ファイルシステムの DataSync ロケーションリソースに割り当てたセキュリティグループからのインバウンドアクセスを許可するように設定する必要があります。
NFS 共有または Amazon EFS ファイルシステムと Amazon FSx for OpenZFS の間、または 2 つの Amazon FSx for OpenZFS ファイルシステム間でデータをコピーする際、どのようなメタデータが保持されますか?
AWS DataSync は、ファイルとフォルダのタイムスタンプ、およびユーザー ID、グループ ID、許可を含む POSIX の許可をコピーします。詳細については、コピーされたメタデータの詳細なリストを当社のドキュメントでご覧ください。
AWS DataSync を使用して、ある FSx for OpenZFS ファイルシステムから別のファイルシステムにデータを移行することはできますか?
はい。AWS DataSync を使用して、FSx for OpenZFS ファイルシステムから同じ AWS アカウント内の 2 番目のファイルシステムにコピーできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
AWS DataSync を使用して、Amazon FSx for OpenZFS ファイルシステムを別の AWS リージョンにレプリケートできますか?
はい。AWS DataSync を使用して、同じ AWS アカウント内の 2 番目のファイルシステムへの Amazon FSx for OpenZFS ファイルシステムの定期的なレプリケーションをスケジュールできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
AWS DataSync は、Amazon FSx for Netapp ONTAP ファイルシステムにどのようにアクセスしますか?
タスクを作成すると、DataSync は、Amazon FSx for NetApp ONTAP ファイルシステムが配置されているのと同じ VPC の優先サブネットに Elastic Network Interfaces (ENI) を作成します。優先サブネットは、FSx for ONTAP ファイルシステムを作成するときに設定され、DataSync はそのサブネットに作成した ENI を使用して、FSx for ONTAP ファイルシステムにアクセスします。FSx for ONTAP ファイルシステム用の DataSync Location リソースを作成する際に、ENI に適用するセキュリティグループを 5 つまで指定し、DataSync サービスからのアウトバウンドアクセスを設定することができます。FSx for ONTAP ファイルシステムのセキュリティグループを設定して、FSx for ONTAP ファイルシステムの DataSync Location リソースに割り当てたセキュリティグループからのインバウンドアクセスを許可するようにする必要があります。
AWS DataSync は、Amazon FSx for NetApp ONTAP でどのプロトコルバージョンを使用することができますか?
AWS DataSync は、NFSv3、SMB 2.1、SMB 3 の使用をサポートしています。DataSync は現在、FSx for ONTAP での NFSv4 以上の使用はサポートしていません。
Amazon FSx for NetApp ONTAP ファイルシステムとの間でデータをコピーするとき、AWS DataSync はファイルシステムのメタデータを保持しますか?
はい。AWS DataSync は NFS プロトコルを使用する場合、ファイルとフォルダのタイムスタンプ、およびユーザー ID、グループ ID、許可を含む POSIX の許可をコピーします。SMB プロトコルを使用する場合、DataSync はファイルおよびフォルダのタイムスタンプ、所有権、および ACL をコピーします。詳細については、コピーされたメタデータの詳細なリストを当社のドキュメントでご覧ください。
Amazon FSx for NetApp ONTAP にデータを移行する場合、どのプロトコルを使用すべきですか?
SMB プロトコルを通じてユーザーにサービスを提供する Windows サーバーまたは NAS 共有から移行する場合、DataSync SMB のソースの場所と、FSx for ONTAP の場所の SMB プロトコルを使用し、FSx for ONTAP ボリュームのセキュリティスタイルが NTFS 用に設定されているようにします。NFS プロトコルを介してユーザーにサービスを提供する Unix もしくは Linux サーバーまたは NAS 共有から移行する場合、DataSync NFS ソースロケーションと FSx for ONTAP ロケーションの NFS プロトコルを使用し、FSx for ONTAP ボリュームのセキュリティスタイルが Unix 用に設定されていることを確認します。マルチプロトコル移行では、ブログ「Amazon FSx for NetApp ONTAP によるマルチプロトコルワークロードの実現」で説明されているベストプラクティスを確認し、極めて高い忠実性でファイルシステムのメタデータをを保持するために SMB プロトコルを使用すべきです。FSx for ONTAP ボリュームのセキュリティスタイルの設定に関する詳細については、FSx for ONTAP ボリュームの管理に関するドキュメントをご覧ください。
AWS DataSync で異なるプロトコルを使用して、同じ Amazon FSx for NetApp ONTAP ファイルシステムにアクセスできますか?
はい。ただし、各プロトコル (NFS または SMB) のために、個別の DataSync の場所/タスクリソースを作成する必要があります。データの上書きやデータ検証の問題を避けるため、複数の DataSync タスクを使って同じボリュームパスに同時にコピーすることはお勧めしません (同じプロトコルを使う場合も、異なるプロトコルを使う場合も同じです)。
AWS DataSync を使用して、Amazon FSx for NetApp ONTAP iSCSI LUN との間でデータを転送することはできますか?
いいえ。DataSync は、NFS または SMB プロトコルを使用した FSx for ONTAP ボリュームとの間でのファイルデータのコピーのみをサポートします。
AWS DataSync を使用して、ある Amazon FSx for NetApp ONTAP ファイルシステムから別のファイルシステムにデータをコピーできますか?
はい。AWS DataSync を使用して、FSx for ONTAP ファイルシステムから同じ AWS アカウント内の 2 番目のファイルシステムにコピーできます。この機能は、同じリージョンとクロスリージョンの両方のデプロイで利用でき、DataSync エージェントを使用する必要はありません。
AWS DataSync を使用して、Amazon FSx for NetApp ONTAP ファイルシステムを、別の AWS リージョンにある別のファイルシステムにレプリケートすることはできますか?
DataSync はファイルシステム間でデータをレプリケートするために使用できますが、FSx for ONTAP ファイルシステム間でレプリケートするには NetApp SnapMirror を使用することをお勧めします。SnapMirror を使用すると、ファイルシステム内のファイルの数やサイズに関係なく、低い RPO を実現できます。
AWS DataSync でスナップショットディレクトリをコピーしないように設定するにはどうすればよいですか?
DataSync は、自動的に「.snapshot」という名前のフォルダを除外します。また、除外フィルターを使用して、指定したパターンに一致するファイルやフォルダをコピーしないようにすることも可能です。
AWS Snow ファミリーデバイス間の移動
Snow 上の Amazon S3 互換ストレージと AWS ストレージサービスの間でデータを移動するにはどうすればよいですか?
まず、オンプレミス環境に DataSync エージェントをデプロイします。AWS マネジメントコンソールまたは CLI を使用してエージェントをアクティブ化し、Amazon S3 互換ストレージ上のバケットと Amazon S3、Amazon EFS、または任意の Amazon FSx ファイルシステムの間でデータを移動するように DataSync タスクを設定します。
パフォーマンス
AWS DataSync は、どの程度高速にファイルシステムを AWS にコピーできますか?
AWS DataSync が特定のデータセットをコピーできる速度は、データの量、ソースと宛先のストレージから得られる I/O 帯域幅、使用可能なネットワーク帯域幅、およびネットワーク条件によって異なります。オンプレミスと AWS ストレージサービス間のデータ転送では、単一の DataSync タスクで 10 Gbps ネットワークリンクを完全に利用できます。
AWS DataSync のタスクが使用するネットワーク帯域幅の量を制御できますか?
はい。組み込みの帯域幅スロットルを設定することで、AWS DataSync が使用するネットワーク帯域幅の量を制御できます。 データ転送タスクの実行中に、この制限を増減できます。これにより、同じネットワーク接続に依存している他のユーザーやアプリケーションへの影響を最小限に抑えることができます。
AWS DataSync のパフォーマンスをモニタリングするにはどうすればよいですか?
AWS DataSync は Amazon CloudWatch メトリクスを生成して、転送プロセスの詳細な可視性を提供します。これらのメトリックを使用して、ファイルの数とコピーされたデータの量、およびファイルの検出と検証の進行状況を確認できます。DataSync コンソールで、これらのメトリクスを使用して CloudWatch グラフを直接表示できます。
AWS DataSync は、ソースファイルシステムのパフォーマンスに影響を及ぼしますか?
オンプレミスのファイルストアのキャパシティと、転送されるファイルの数量およびサイズによっては、AWS DataSync は、同じソースデータストアにアクセスする際に、他のクライアントの応答時間に影響を及ぼすことがあります。なぜなら、エージェントはそのストレージからデータを読み書きするからです。タスクの帯域幅制限を設定すると、ストレージシステムに対する I/O を制限することで、この影響を軽減できます。
セキュリティとコンプライアンス
AWS DataSync Discovery は、オンプレミスストレージにどのようにアクセスしますか?
AWS DataSync Discovery は、DataSync エージェントを使用して、ストレージシステムの管理/API インターフェイスにアクセスします。すべてのアクセス権は読み取り専用です。ストレージへのアクセスに使用される API の詳細については、DataSync のドキュメントをご覧ください。
AWS DataSync Discovery を使用する場合、オンプレミスストレージシステムの認証情報を指定するにはどうすればよいですか? また、それらはどのように保護されますか?
ストレージシステムを検出するように AWS DataSync Discovery を設定するときは、ストレージの API インターフェイスにアクセスするためのユーザー名とパスワードを指定します。その後、AWS DataSync Discovery は AWS Secrets Manager にシークレットを自動的に作成し、認証情報を保存します。DataSync Discovery が検出ジョブを実行すると、シークレットからパスワードを取得および再暗号化し、その暗号化されたパスワードをジョブに使用されるエージェントに送信します。パスワードは、ジョブの期間中のみエージェントのメモリに保持され、パスワードがメモリの外部に永続化されることはありません。
データは、転送中および保管中に暗号化されますか?
はい。転送元と転送先の間で転送されるすべてのデータは、Transport Layer Security (TLS、Secure Sockets Layer (SSL) の代替) を使用して暗号化されます。データは、AWS DataSync 自体に保持されることはありません。このサービスは、S3 バケットのデフォルトの暗号化、保管中のデータの Amazon EFS ファイルシステム暗号化、保管中および転送中の Amazon FSx 暗号化の使用をサポートしています。
AWS DataSync は、どのように NFS サーバーまたは SMB ファイル共有にアクセスしますか?
AWS DataSync は、IT 環境または Amazon EC2 にデプロイするエージェントを使用して、NFS または SMB プロトコルを通じてファイルにアクセスします。このエージェントは AWS 内の DataSync サービスエンドポイントに接続し、AWS マネジメントコンソールまたは CLI から安全に管理されます。
AWS DataSync は、どのように Hadoop クラスター上の HDFS にアクセスしますか?
AWS DataSync は、IT 環境または Amazon EC2 にデプロイするエージェントを使用して Hadoop クラスターにアクセスします。DataSync エージェントは HDFS クライアントとして動作し、クラスター内の NameNodes および DataNodes と通信します。タスクを開始すると、DataSync はプライマリ NameNode にクエリを実行し、クラスター上のファイルとフォルダの場所を特定します。その後、DataSync はクラスター内の DataNodes と通信して、ファイルやフォルダを HDFS へ、または HDFS からコピーします。
AWS DataSync は、Amazon S3 プロトコルをサポートするセルフマネージドストレージまたはクラウドオブジェクトストレージにどのようにアクセスしますか?
AWS DataSync は、お客様がデータセンターやパブリッククラウド環境、または Amazon EC2 にデプロイしたエージェントを使用して、Amazon S3 API を介してオブジェクトにアクセスします。このエージェントは AWS 内の DataSync サービスエンドポイントに接続し、AWS マネジメントコンソールまたは CLI から安全に管理されます。
AWS DataSync は、Azure Blob Storage コンテナにどのようにアクセスしますか?
AWS DataSync は、Azure 環境または Amazon EC2 にデプロイしたエージェントを使用して、Azure Blob Storage コンテナ内のオブジェクトにアクセスします。エージェントは AWS 内の DataSync サービスエンドポイントに接続し、AWS マネジメントコンソールまたは CLI から安全に管理されます。エージェントは、DataSync Azure Blob ロケーションの作成時に指定した SAS トークンを使用して Azure コンテナを認証します。
AWS DataSync では、宛先ストレージに接続するために VPN を設定する必要がありますか?
いいえ。自分の施設との間でデータをコピーする場合、VPN/トンネルをセットアップしたり、インバウンド接続を許可したりする必要はありません。AWS DataSync エージェントは、標準のネットワークポートを使用してファイアウォールを経由するように設定できます。また、VPC エンドポイントを使用して Amazon Virtual Private Cloud (Amazon VPC) 内に AWS DataSync をデプロイできるようになりました。VPC エンドポイントを使用する場合、DataSync エージェントと AWS のサービスの間で転送されるデータは、パブリックインターネットを通過したり、パブリック IP アドレスを必要としたりしません。
AWS DataSync エージェントは、どのように AWS に安全に接続しますか?
AWS DataSync エージェントは、選択した AWS リージョン内の DataSync サービスエンドポイントに接続します。公共インターネットのエンドポイント、Federal Information Processing Standards (FIPS) が承認したエンドポイント、もしくは自分の VPC にあるエンドポイントの内から、接続先を選択できます。エージェントをアクティブ化すると、エージェントが AWS アカウントに安全に関連付けられます。詳細については、「サービスエンドポイントの選択」および「エージェントのアクティブ化」をご覧ください。
AWS DataSync エージェントは、どのようにパッチ適用および更新されますか?
基盤となるオペレーティングシステムと AWS DataSync ソフトウェアパッケージの両方を含むエージェント VM の更新は、エージェントがアクティブ化されると AWS によって自動的に適用されます。更新は、エージェントがアイドル状態で、データ転送タスクを実行していないときに無停止で適用されます。
AWS DataSync は、どのコンプライアンスプログラムをサポートしていますか?
AWS には、クラウドで極めて長く運用されているコンプライアンスプログラムがあります。AWS は、お客様が要件をナビゲートできるように支援することを約束いたします。AWS DataSync は、世界および業界のセキュリティ基準に適合していると評価されています。DataSync は、PCI DSS、ISO 9001、27001、27017、27018、SOC 1、2、および 3 に準拠しており、さらに HIPAA 対応です。 DataSync は、FedRAMP Moderate の AWS 米国東部/西部リージョンおよび FedRamp High の AWS GovCloud (米国) リージョンでも承認されています。これにより、お客様が AWS のセキュリティを確認し、ご自身の義務を果たすことが容易になります。詳細とリソースについては、コンプライアンスページを参照してください。また、コンプライアンスプログラムによる対象範囲内のサービスのページにアクセスして、サービスおよび認定の詳細な一覧を参照することも可能です。
AWS DataSync は PCI に準拠していますか?
はい。AWS DataSync は PCI-DSS に準拠しており、支払いに関する情報の転送に使用できます。AWS Artifact で PCI コンプライアンスパッケージをダウンロードして、AWS で PCI 準拠を実現する方法の詳細をご覧いただけます。
AWS DataSync は HIPAA 対応ですか?
はい。AWS DataSync は HIPAA 対応です。つまり、AWS で HIPAA BAA を使用している場合、DataSync を使用して保護対象保健情報 (PHI) を転送できます。
AWS DataSync は、AWS 米国東部/西部で FedRAMP JAB Moderate Provisional Authorization を取得していますか?
はい。AWS DataSync は、米国東部/西部リージョンの Federal Risk and Authorization Management Program (FedRAMP) Moderate ベースラインに基づき、Joint Authorization Board (JAB) から Provisional Authority to Operate (P-ATO) を受け取りました。連邦または法人のお客様は、AWS 東部/西部リージョンの認証境界で AWS DataSync を使用して、影響度が中レベルのデータを取得できます。
AWS DataSync は、AWS GovCloud (米国) リージョンで FedRAMP JAB High Provisional Authorization を取得していますか?
はい。AWS DataSync は、米国 GovCloud リージョンの Federal Risk and Authorization Management Program (FedRAMP) High ベースラインに基づき、Joint Authorization Board (JAB) から Provisional Authority to Operate (P-ATO) を受け取りました。連邦または法人のお客様は、AWS GovCloud (米国) リージョンの認証境界で AWS DataSync を使用して、影響度の高いデータを取得できます。
AWS DataSync をいつ選択するか
AWS DataSync は、rsync や Amazon S3 コマンドラインインターフェイスなどのコマンドラインツールを使用するのとどのように異なりますか?
AWS DataSync は、AWS への大規模なアクティブデータセットの移動を完全に自動化および高速化します。Amazon S3、Amazon EFS、Amazon FSx、Amazon CloudWatch、およびAWS CloudTrail とネイティブに統合され、ストレージサービスへのシームレスで安全なアクセスを提供し、転送を詳細にモニタリングします。
DataSync は、専用のネットワークプロトコルとスケールアウトのアーキテクチャを使用して、データを転送します。 オンプレミスと AWS ストレージサービス間のデータ転送では、単一の DataSync タスクで 10 Gbps ネットワークリンクを完全に利用できます。
DataSync はデータ転送を完全に自動化します。再試行とネットワーク耐障害性メカニズム、ネットワークの最適化、組み込みのタスクスケジューリング、タスクレポートによる監査、DataSync API とコンソールによるモニタリング、CloudWatch メトリクスが組み込まれており、イベントおよびログを使って転送プロセスを詳細に確認できます。DataSync は、転送中と転送終了時の両方でデータの整合性検証を実行します。
DataSync はエンドツーエンドのセキュリティを提供し、AWS ストレージサービスと直接統合します。転送元と転送先の間で転送されるすべてのデータは TLS を介して暗号化され、AWS ストレージへのアクセスは IAM ロールなどの組み込みの AWS セキュリティメカニズムを介して有効になります。VPC エンドポイントを使用した DataSync が有効になり、組織と AWS の間で転送されるデータがパブリックインターネットを通過せず、ネットワークを介してコピーされるデータのセキュリティがさらに向上します。
バケット間でオブジェクトを転送するには、どのような場合に AWS DataSync を使用しますか? また、S3 レプリケーションと S3 バッチオペレーションをどのような場合に実行しますか?
AWS は、バケット間でオブジェクトをコピーするための複数のツールを提供しています。
継続的なデータ配信、データパイプライン、データレイクの取り込み、および複数のバケット間でのデータの統合または分割には、AWS DataSync を使用します。
特定の宛先バケットへのデータの継続的なレプリケーションには、S3 レプリケーションを使用します。
S3 オブジェクトでの大規模なバッチオペレーションのために、S3 バッチオペレーションを使用します。これには、オブジェクトのコピー、オブジェクトタグやアクセスコントロールリスト (ACL) の設定、Amazon S3 Glacier Flexible Retrieval (旧称: S3 Glacier) からのオブジェクトの復元の開始、オブジェクトを使用してカスタムアクションを実行するための AWS Lambda 関数の呼び出し、S3 Object Lock のリーガルホールドの管理、S3 Object Lock の保持期間の管理が含まれます。
どのような場合に AWS DataSync を使用し、どのような場合に AWS Snowball Edge を使用しますか?
AWS DataSync は、オンラインデータ転送に最適です。DataSync を使用して、AWS との間でアクティブなデータの移行が可能です。分析や処理を目的としてクラウドにデータを転送したり、オンプレミスのストレージ容量を解放するためにデータをアーカイブし、ビジネス継続性を確保する目的で AWS にデータをレプリケートしたりできます。
AWS Snowball Edge は、帯域幅が制限されているお客様や、リモート環境、切断された環境、または厳しい環境からデータを転送するお客様のオフラインデータ転送に最適です。
どのような場合に AWS DataSync を使用し、どのような場合に AWS Storage Gateway を使用しますか?
AWS DataSync を使用して既存のデータを Amazon S3 に移行し、次に AWS Storage Gateway のファイルゲートウェイ設定を使用して、移行したデータに対するアクセスを保持し、オンプレミスのファイルベースアプリケーションからの継続的な更新に使用します。
DataSync とファイルゲートウェイの組み合わせを使用して、オンプレミスのインフラストラクチャを最小限に抑えながら、オンプレミスのアプリケーションをクラウドストレージにシームレスに接続できます。AWS DataSync を使用すると、AWS ストレージサービスへのオンラインデータ転送を自動化および高速化できます。 AWS DataSync を使用した最初のデータ転送フェーズの後、ファイルゲートウェイは、移行されたデータへの低レイテンシーアクセスをオンプレミスアプリケーションに提供します。NFS 共有で DataSync を使用する場合、ソースオンプレミスストレージからの POSIX メタデータが保持され、ファイルゲートウェイを使用してファイルにアクセスするときにソースストレージからのアクセス許可が適用されます。
どのような場合に AWS DataSync を使用し、どのような場合に Amazon S3 Transfer Acceleration を使用しますか?
アプリケーションが既に Amazon S3 API に統合されていて、大きなファイルを S3 に転送するためにより高いスループットが必要な場合、S3 Transfer Acceleration を使用できます。既存のストレージシステム (ネットワーク接続ストレージなど) や変更できない機器 (DNA シーケンサー、ビデオカメラなど) からデータを転送する場合や、複数の転送先が必要な場合は、AWS DataSync を使用します。DataSync はまた、組み込みの再試行とネットワーク耐障害性メカニズム、データの完全性の検証、および帯域幅のスロットリング、ニーズに合わせた柔軟な設定といった追加機能を提供することで、データ転送を自動化および簡素化します。
どのような場合に AWS DataSync を使用し、どのような場合に AWS Transfer Family を使用しますか?
現在 SFTP を使用して第三者とデータを交換している場合、AWS Transfer Family は、運用上の負担を軽減しながら、Amazon S3 との間での SFTP、FTPS、FTP、AS2 フルマネージド直接転送を提供します。
NFS サーバー、SMB ファイル共有、Hadoop クラスター、セルフマネージドまたはクラウドオブジェクトストレージ、Amazon S3、Amazon EFS、および Amazon FSx 間の高速で自動化されたデータ転送が必要な場合は、AWS DataSync を使用できます。DataSync は、アクティブなデータセットのオンライン移行、継続的に生成されるデータのタイムリーな転送、またはビジネス継続性のためのレプリケーションが必要なお客様に最適です。