AWS DataSync 기능

온라인 데이터 전송의 경우 AWS DataSync는 온프레미스 스토리지, 엣지 로케이션 또는 다른 클라우드 공급자 및 AWS 스토리지 서비스 간에 이루어지는 다량의 데이터 복사를 간소화, 자동화 및 가속화합니다. DataSync는 네트워크 파일 시스템(NFS) 공유, 서버 메시지 블록(SMB) 공유, Hadoop 분산 파일 시스템(HDFS), 자체 관리형 객체 스토리지, Google Cloud Storage와 Wasabi Cloud Storage 같은 다른 클라우드의 객체 스토리지(지원 클라우드에 대한 전체 목록 참조), Azure Files, Azure Blob Storage (including Azure Data Lake Storage Gen2), Snowball Edge의 Amazon S3 호환 스토리지, Amazon Simple Storage Service(Amazon S3), Amazon Elastic File System(Amazon EFS) 파일 시스템, Amazon FSx for Windows File Server 파일 시스템, Amazon FSx for Lustre 파일 시스템, Amazon FSx for OpenZFS 파일 시스템 및 Amazon FSx for NetApp ONTAP 파일 시스템 간에 데이터를 복사할 수 있습니다.

AWS DataSync는 스토리지 프로토콜과 결합되지 않은 AWS 디자인 전송 프로토콜을 배포하여 데이터 이동을 가속화합니다. 이 프로토콜은 네트워크를 통해 전송되는 데이터, 데이터 전송 방식 및 시기를 최적화합니다. DataSync가 수행하는 네트워크 최적화에는 인라인 데이터 검증과 암호화뿐만 아니라 증분 전송, 인라인 압축 및 스파스 파일 감지가 포함됩니다.

로컬 DataSync 에이전트와 클라우드 내 서비스 구성 요소 간의 연결은 다중 스레드 방식으로 이루어져 광역 네트워크(WAN)를 통한 성능을 극대화합니다. 온프레미스 환경과 AWS 간의 네트워크 링크를 통해 단일 DataSync 태스크에서 10Gbps를 완벽하게 활용할 수 있습니다.

DataSync 에이전트와 DataSync 서비스 간에 전송되는 모든 데이터는 전송 계층 보안(TLS)을 사용하여 암호화됩니다. DataSync는 Amazon S3 버킷에 대한 기본 저장 암호화의 사용을 지원합니다. 또한 DataSync는 Amazon EFS 및 Amazon FSx에 대해 저장 데이터와 전송 중 데이터의 암호화를 지원합니다.

DataSync는 데이터가 무결성을 유지한 채 도달하도록 보장합니다. 전송이 이루어질 때마다 서비스는 전송 대상 데이터와 저장 중 데이터 모두에 대해 무결성 점검을 수행합니다. 이러한 검사는 대상에 쓰인 데이터가 소스에서 읽은 데이터와 일치하는지 확인하고 일관성을 검증합니다.

AWS DataSync를 사용하여 AWS, 온프레미스 파일 시스템 및 기타 클라우드 스토리지 서비스 간에 데이터를 이동할 수 있습니다. AWS는 고객이 하이브리드 및 멀티클라우드 인프라와 애플리케이션을 간소화, 관리 및 제어할 수 있도록 클라우드 서비스를 지속적으로 확장해 왔습니다. 멀티클라우드 환경에서 운영하는 고객의 경우 이제 AWS DataSync로 다양한 클라우드의 스토리지 안팎으로 데이터를 이동할 수 있습니다. DataSync를 사용하면 Google Cloud Storage, Azure Files 및 Azure Blob Storage 지원 외에도 다른 클라우드의 S3 호환 스토리지와 Amazon S3 등의 AWS Storage 서비스 간에 객체 데이터를 대규모로 이동할 수 있습니다. 여기에는 특히 Wasabi Cloud, Oracle Cloud, Cloudflare, DigitalOcean Spaces 및 Backblaze의 객체 스토리지에 대한 지원이 포함됩니다.

자세히 알아보기:

• AWS DataSync를 통해 데이터가 저장되는 모든 곳에서 멀티클라우드 데이터 이동 간소화
• AWS DataSync를 사용하여 Amazon S3로 Google Cloud Storage 마이그레이션
• Google Cloud Storage를 사용하여 AWS DataSync 전송 구성
• Microsoft Azure Blob Storage를 사용하여 AWS DataSync 전송 구성
• AWS DataSync를 사용하여 Amazon S3로 Azure Blob Storage 마이그레이션
• AWS를 사용하여 Azure Files SMB 공유에서 AWS로 데이터를 이동하는 방법
• AWS DataSync를 사용하여 Amazon S3로 DigitalOcean Spaces 마이그레이션
• London Stock Exchange Group가 AWS DataSync를 사용하여 30PB의 시장 데이터를 마이그레이션한 방법
• AWS DataSync를 사용하여 Oracle Cloud Infrastructure 객체 스토리지를 Amazon S3로 마이그레이션

핫 데이터 또는 콜드 데이터 전송으로 인해 비즈니스 지연이 발생해서는 안 됩니다. DataSync는 세분화된 제어 기능을 통해 대역폭 소비를 최적화합니다. 업무 시간이 아닐 때는 전송 속도를 최대 10Gbps까지 조절하고, 다른 위치에서 네트워크 가용성을 필요로 하는 경우 제한을 설정할 수 있습니다.

DataSync 에이전트는 산업 표준 NFS 및 SMB 프로토콜을 사용하여 기존 스토리지 시스템에 연결되거나, Hadoop 클러스터에 HDFS 클라이언트로 연결되거나, Amazon S3 애플리케이션 프로그래밍 인터페이스(API)를 사용하여 자체 관리형 객체 스토리지 또는 Google Cloud Storage에 연결되거나, Blob API를 사용하여 Azure Blob Storage에 연결됩니다. 에이전트는 데이터를 빠르게 전송하고 지정된 Amazon S3 버킷, Amazon EFS 파일 시스템 또는 Amazon FSx for Windows File Server 파일 시스템 또는 Amazon FSx 파일 시스템에 데이터를 작성합니다.

파일 권한 및 메타데이터는 객체 및 데이터를 Amazon S3, Amazon EFS, Amazon FSx for Windows File Server, Amazon FSx for Lustre, Amazon FSx for OpenZFS 또는 Amazon FSx for NetApp ONTAP 간에 복사할 때 보존됩니다.

데이터를 Amazon S3에 복사할 때 DataSync는 각 파일을 1:1 비율로 단일 S3 개체로 변환하고, NFS 공유 또는 HDFS의 POSIX 메타데이터를 Amazon S3 개체 메타데이터로 보존합니다. 파일 시스템 메타데이터가 포함된 객체를 파일 형식으로 다시 복사하면 DataSync가 S3에 복사한 원본 파일 메타데이터가 복원됩니다.

DataSync는 예약 메커니즘을 기본적으로 제공하므로 데이터 전송 태스크를 주기적으로 실행하여 원본 스토리지 시스템에서 변경 사항을 감지하고 이를 대상으로 복사할 수 있습니다. 반복 전송을 관리하기 위해 스크립트를 작성하고 관리할 필요 없이 AWS DataSync 콘솔 또는 AWS Command Line Interface(CLI)를 사용하여 태스크를 예약할 수 있습니다. 태스크를 예약하면 AWS 콘솔에서 직접 제공되는 시간, 일 또는 주 단위 옵션을 사용하여 구성한 일정에 따라 자동으로 태스크가 실행됩니다.

DataSync 태스크 보고서는 전송, 생략, 확인 및 삭제된 모든 파일에 대한 요약 및 세부 보고서를 포함하는 JSON 형식의 출력 파일을 제공합니다. 따라서 각 태스크 실행에 대한 데이터 전송 작업을 쉽게 확인하고 감사할 수 있습니다. 태스크 보고서는 전송 태스크가 완료된 후 생성되며 Amazon S3 버킷에 저장됩니다. 따라서 AWS Glue, Amazon Athena 및 Amazon QuickSight와 같은 AWS 서비스를 간편하게 사용하여 태스크 보고서 출력을 자동으로 카탈로그화, 분석 및 시각화하여 모든 태스크 실행에서 데이터 전송 진행률을 확인할 수 있습니다. 태스크 보고서는 추적 및 감사를 단순화하여 일반적인 태스크 실행 추세 또는 실패 패턴을 쉽게 이해할 수 있도록 하고 데이터 전송 프로세스에 대한 중요한 인사이트를 제공합니다.

Amazon CloudWatch를 사용하여 현재 진행 중인 DataSync 전송의 상태를 모니터링하고 이전 데이터 전송 기록을 확인할 수 있습니다. CloudWatch 지표를 바탕으로 복사된 파일 수 또는 데이터의 크기를 확인할 수 있습니다. CloudWatch Logs에서는 특정 시점에 전송된 개별 파일에 대한 정보와 DataSync 무결성 확인의 결과를 조회할 수 있습니다. 따라서 모니터링, 보고 및 문제 해결이 간편해지고 이해 관계자에게 적시에 업데이트를 제공할 수 있습니다. 이와 더불어, 전송 작업이 완료될 때 CloudWatch Events를 트리거하여 종속 워크플로의 자동화를 지원할 수 있습니다. 감사가 필요할 때는 DataSync가 수행한 모든 작업을 기록하는 AWS CloudTrail을 참고할 수 있습니다.

AWS DataSync Discovery는 온프레미스 스토리지 성능 및 사용률에 대한 가시성과 Amazon FSx for NetApp ONTAP, Amazon FSx for Windows File Server 및 Amazon Elastic File System(EFS)과 같은 AWS 스토리지 서비스로 데이터를 마이그레이션할 때의 권장 사항을 제공합니다. 따라서 마이그레이션 계획 수립을 간소화하고 AWS로의 데이터 마이그레이션을 가속화하는 데 도움이 됩니다. DataSync Discovery를 사용하면 자동화된 데이터 수집 및 분석을 통해 온프레미스 스토리지 성능 및 용량 사용량을 더 잘 이해할 수 있습니다. 따라서 마이그레이션할 데이터를 빠르게 식별하고 생성된 권장 사항을 사용하여 성능 및 용량 요구 사항에 일치하는 AWS 스토리지 서비스를 선택할 수 있습니다.

AWS DataSync는 서비스 사용량에 대해서만 비용을 지불합니다. 소프트웨어 라이선스, 계약 또는 유지 관리 비용이 필요하지 않습니다. 따라서 고성능 스크립트 방식 전송을 수동으로 구축, 운영 및 최적화할 때보다 총 소유 비용(TCO)이 낮으며 상용 전송 도구를 구매하고 실행할 때의 총 비용보다 낮습니다.

AWS DataSync Discovery를 사용하면 최대 31일간 무료로 검색 작업을 실행하고 권장 사항을 받아볼 수 있습니다. DataSync Discovery는 수집된 데이터 및 관련 권장 사항을 작업 완료 후 60일간 보관합니다.

DataSync는 기본적으로 AWS 보안, 모니터링 및 감사 서비스와 함께 작동하여 데이터 이동을 간소화하며, IT, 스토리지 및 DevOps 팀에 일관된 관리 환경을 제공합니다. DataSync는 Amazon S3, Amazon EFS 및 Amazon FSx와 통합될 뿐 아니라, 파일을 Amazon VPC로 직접 이동하기 위해 AWS Virtual Private Cloud(VPC) 엔드포인트(AWS PrivateLink 기반)를 지원합니다. 다른 AWS 서비스와 마찬가지로 AWS Identity and Access Management(IAM)를 사용하여 DataSync 액세스를 안전하게 관리할 수 있습니다. 마찬가지로, IAM 역할을 구성하여 Amazon S3 버킷에 액세스하는 서비스를 제어할 수 있습니다.