No momento, o AWS DataSync Discovery é compatível com arrays das séries NetApp FAS e AFF que executam o ONTAP 9.7 ou versão posterior. O suporte para sistemas de armazenamento adicionais será adicionado ao longo do tempo.

O AWS DataSync Discovery usa a interface de API de gerenciamento de armazenamento para coletar informações sobre seu sistema de armazenamento com métricas de performance e utilização. As informações do sistema incluem atributos como capacidade total de armazenamento, configuração de volume, nomes de exportação/compartilhamento e muito mais. As métricas do sistema de armazenamento incluem performance, como throughput de volume e IOPS, e métricas de utilização, como capacidade alocada e usada. O DataSync Discovery usa as informações e métricas do sistema coletadas para gerar recomendações de migração para o armazenamento da AWS.

O AWS DataSync Discovery analisa os dados coletados do sistema de armazenamento on-premises e os compara com os recursos, a capacidade e as capacidades de performance dos serviços de armazenamento da AWS. Quando apropriado, o DataSync Discovery recomendará um ou mais serviços de armazenamento da AWS para que sejam considerados por você.

Não haverá impacto perceptível para usuários e aplicações quando o AWS DataSync Discovery for usado com seus sistemas de armazenamento on-premises.

Os dados coletados serão armazenados e gerenciados pelo serviço DataSync. Os dados podem ser visualizados no console do AWS DataSync ou acessados usando a AWS CLI ou o kit de desenvolvimento de software (SDK) da AWS.

Os dados e as recomendações coletados serão retidos por 60 dias após o término de um trabalho de descoberta.

O DataSync oferece suporte aos seguintes tipos de locais de armazenamento: compartilhamentos do Network File System (NFS), compartilhamentos do Server Message Block (SMB), Sistemas de Arquivos Distribuídos do Hadoop (HDFS), armazenamentos de objetos autogerenciados, armazenamentos de objetos em outras nuvens, como o Google Cloud Storage e o Wasabi Cloud Storage (consulte a lista completa de nuvens compatíveis), arquivos do Azure, armazenamento de Blobs do Azure (incluindo dados do Azure Data Lake Storage Gen2), armazenamentos compatíveis com o Amazon S3 no Snow, Amazon Simple Storage Service (Amazon S3), sistemas de arquivos do Amazon Elastic File System (Amazon EFS), sistemas de arquivos do Amazon FSx para Windows File Server, sistemas de arquivos do Amazon FSx para Lustre, sistemas de arquivos do Amazon FSx para OpenZFS e sistemas de arquivos do Amazon FSx para NetApp ONTAP.

É possível usar o AWS DataSync para migrar dados on-premises, na borda ou em outras nuvens para o Amazon S3, Amazon EFS, Amazon FSx para Windows File Server, Amazon FSx para Lustre, Amazon FSx para OpenZFS e o Amazon FSx para NetApp ONTAP. Configure o DataSync para fazer uma cópia inicial de todo o conjunto de dados e programe transferências incrementais subsequentes dos dados que são alterados até a migração final on-premises para a AWS. O DataSync inclui criptografia e validação de integridade para ajudar a assegurar que os dados cheguem seguros, intactos e prontos para uso. Para minimizar o impacto nas cargas de trabalho que dependem da sua conexão de rede, você pode programar sua migração para uma execução fora do horário comercial ou limitar a largura de banda de rede que o DataSync usa, configurando a aceleração de largura de banda integrada. O DataSync preserva os metadados entre os sistemas de armazenamento que apresentam estruturas de metadados semelhantes, permitindo uma transição fácil de usuários finais e aplicativos para utilizarem seu serviço alvo do AWS Storage.

Leia a postagem de blog “Migrating storage with AWS DataSync” para obter dicas e conhecer as práticas recomendadas sobre migração.

Você pode usar o AWS DataSync para transferir dados frios de sistemas de armazenamento on-premises diretamente para um armazenamento de longo prazo seguro e durável, como o Amazon S3 Glacier Flexible Retrieval (antigo S3 Glacier) ou o Amazon S3 Glacier Deep Archive. Use os filtros de exclusão do DataSync para excluir a cópia de arquivos e pastas temporários ou use filtros de inclusão ou manifestos para copiar somente um subconjunto de arquivos do seu local de origem. Você pode selecionar o serviço de armazenamento mais econômico correspondente às suas necessidades: transfira dados para qualquer classe de armazenamento do S3, ou use o DataSync com o EFS Lifecycle Management para armazenar dados na classe de armazenamento do Amazon EFS Infrequent Access storage class (EFS IA). Use a funcionalidade interna de agendamento de tarefas para arquivar regularmente dados que devem ser mantidos para fins de conformidade ou auditoria, como registros, filmagens ou registros médicos eletrônicos. 

Com o AWS DataSync, você pode replicar arquivos periodicamente em qualquer classe de armazenamento do Amazon S3 ou enviar os dados para o Amazon EFS, o Amazon FSx para Windows File Server, o Amazon FSx para Lustre, o Amazon FSx para OpenZFS ou o Amazon FSx para NetApp ONTAP para um sistema de arquivos em espera. Use a funcionalidade de agendamento de tarefas interna para garantir que as alterações no conjunto de dados sejam copiadas regularmente para o armazenamento de destino. Leia esta postagem de blog sobre o armazenamento da AWS para compreender melhor a proteção de dados usando o AWS DataSync.

Você pode usar o AWS DataSync para transferências contínuas de sistemas on-premises para dentro ou fora da AWS para processamento. O DataSync pode ajudar a acelerar seus fluxos de trabalho essenciais de armazenamento na nuvem híbrida nos setores que precisam migrar arquivos ativos para a AWS rapidamente. Isso inclui machine learning em ciências biológicas, produção de vídeo em mídia e entretenimento, análise de big data em serviços financeiros e pesquisa sísmica em petróleo e gás. O DataSync fornece entregas oportunas para garantir processos dependentes não se atrasem. Você pode especificar filtros de inclusão e exclusão ou manifestos para especificar quais arquivos ou objetos devem ser transferidos sempre que sua tarefa for executada.

Sim. Ao usar o AWS DataSync, é possível copiar dados do Google Cloud Storage usando a API do Amazon S3, dos Arquivos do Azure usando o protocolo SMB ou do Armazenamento de Blobs do Azure (incluindo o Azure Data Lake Storage Gen 2). Também é possível mover dados de outros armazenamentos em nuvem, como Wasabi Cloud Storage, Oracle Cloud Storage, Cloudflare R2 Storage, DigitalOcean Spaces e Backblaze B2 Cloud Storage (consulte a lista completa de nuvens compatíveis). Implante o agente do DataSync em seu ambiente de nuvem ou no Amazon EC2, crie seus locais de origem e destino e, em seguida, inicie sua tarefa para começar a copiar dados. Saiba mais sobre as soluções da AWS para ambientes híbridos e multinuvem.

Sim. Com o AWS DataSync, você pode criar facilmente seu data lake automatizando a transferência de conjuntos de dados on-premises ou dados em outras nuvens para o Amazon S3. O DataSync permite uma transferência simples e rápida de todo o seu conjunto de dados usando protocolos de armazenamento padrão (NFS ou SMB), como um cliente HDFS, usando a API do Amazon S3, ou usando outras APIs de armazenamento em nuvem. Depois de transferir seu conjunto de dados inicial, você pode programar transferências subsequentes de novos dados para a AWS. O DataSync inclui criptografia e validação de integridade para ajudar a assegurar que os dados cheguem seguros, intactos e prontos para uso. Para minimizar o impacto nas cargas de trabalho que dependem da sua conexão de rede, você pode programar tarefas de transferência para uma execução fora do horário comercial ou limitar a largura de banda de rede que o DataSync usa, configurando a aceleração de largura de banda integrada. Depois que seus dados chegarem ao Amazon S3, você poderá usar os serviços nativos da AWS para executar aplicativos de análise de big data, inteligência artificial (IA), machine learning (ML), computação de alta performance (HPC) e processamento de dados de mídia para obter informações de seus conjuntos de dados desestruturados. Leia a página da Web de armazenamento do data lake da AWS para saber mais sobre a criação e utilização do seu data lake.

Você pode usar o DataSync para transferir arquivos ou objetos entre o Simple Storage Service (Amazon S3), o Amazon EFS, o Amazon FSx para Windows File Server, o Amazon FSx para Lustre, o Amazon FSx para OpenZFS ou o Amazon FSx para NetApp ONTAP na mesma conta da AWS. É possível transferir dados entre os produtos da AWS na mesma região da AWS, entre serviços em diferentes regiões comerciais da AWS, com exceção da China, ou entre regiões AWS GovCloud (Leste dos EUA e Oeste dos EUA). Isso não exige a implantação de um agente do DataSync, e pode ser configurado de ponta a ponta usando o console do AWS DataSync, a Command Line Interface (CLI – Interface de linhas de comando) da AWS ou o Software Development Kit (SDK – Kit de desenvolvimento de software) da AWS.

Sim. O AWS DataSync acelera uma etapa necessária para o Amazon WorkDocs Migration Service automatizando o upload de arquivos para o bucket do Amazon S3 que é usado para a migração. Ele facilita e agiliza a migração de diretórios iniciais e compartilhamentos departamentais para o WorkDocs. Para saber mais sobre como usar o DataSync para migrações para o WorkDocs, leia o blog “Migrating network file shares to Amazon WorkDocs using AWS DataSync”.

Comece a usar com a implantação de um atendente do AWS DataSync em seu ambiente de VM on-premises. Usando o console do DataSync, a CLI ou o SDK, configure o DataSync Discovery para se conectar ao armazenamento on-premises e execute trabalhos de descoberta para coletar dados sobre seu sistema de armazenamento junto com métricas de performance, capacidade e uso. Enquanto seus trabalhos de descoberta são executados, as informações sobre seus sistemas de armazenamento podem ser visualizadas em painéis no console do DataSync. Após a conclusão de um trabalho de descoberta, os dados coletados são analisados para criar recomendações de migração para serviços do AWS Storage como Amazon EFS, Amazon FSx e Amazon S3. Essas recomendações podem ser usadas para orientar a seleção de serviços do AWS Storage. Você pode usar o AWS DataSync para migrar os dados.

Com alguns cliques, você pode transferir dados usando o AWS DataSync no Console de Gerenciamento da AWS ou por meio da interface de linhas de comandos (CLI) da AWS. Para começar, siga as 3 etapas a seguir:

1. Para transferir dados entre sistemas de armazenamento on-premises, de borda ou outros sistemas de armazenamento em nuvem e serviços do AWS Storage, implante um atendente: implante um atendente do DataSync e associe-o à sua conta da AWS por meio do Console de gerenciamento ou da API. O atendente será usado para acessar seu servidor NFS, compartilhamento de arquivos SMB, cluster Hadoop ou armazenamento de objetos autogerenciado ou em nuvem para leitura e gravação de dados. A implantação de um atendente não é necessária para transferir dados entre serviços do AWS Storage dentro da mesma conta da AWS.

2. Crie uma tarefa de transferência de dados: comece a criação de tarefas especificando a localização da fonte e do destino de dados e todas as opções que você deseja usar para configurar a transferência, como programar a tarefa e ativar os relatórios de tarefas.

3. Inicie a transferência: comece a tarefa, monitore a movimentação de dados no console ou com o Amazon CloudWatch, e audite as tarefas de transferência usando relatórios de tarefas.

Você implanta um atendente do AWS DataSync em seu hipervisor on-premises, em seu ambiente de nuvem pública ou no Amazon EC2. Para copiar dados de ou em um servidor de arquivos on-premises ou armazenamento compatível com o Amazon S3 on Snow, baixe a imagem de máquina virtual do agente no Console da AWS e implante-o no hipervisor VMware ESXi, na máquina virtual baseada em kernel (KVM) do Linux ou no Microsoft Hyper-V on-premises. É necessário que o atendente seja implantado para que possa acessar seu servidor de arquivos usando o protocolo NFS, SMB, acessar NameNodes e DataNodes em seu cluster do Hadoop ou acessar seu armazenamento de objetos usando a API do Amazon S3. Para configurar transferências entre seu S3 nos buckets do AWS Outposts ou do S3 em regiões da AWS, implante o atendente em seu Outpost.

Ao copiar dados entre seu ambiente de nuvem pública e o armazenamento da AWS, você pode implantar o atendente do DataSync em seu ambiente de nuvem ou no Amazon EC2. Como o AWS DataSync compacta dados em trânsito entre o atendente do AWS DataSync e os serviços de armazenamento da AWS, você poderá reduzir as taxas de saída implantando o atendente do AWS DataSync em seu ambiente de nuvem pública.  

Não é necessária a implantação de um atendente para transferir dados entre serviços de armazenamento da AWS dentro da mesma conta da AWS. Para copiar dados para ou de um servidor de arquivos autogerenciado na nuvem, ou entre serviços do AWS Storage em diferentes contas da AWS, execute uma instância do Amazon EC2 usando uma AMI do agente do DataSync.

Os recursos mínimos necessários para executar o atendente estão relacionados aqui.

O AWS DataSync copia dados quando você inicia uma tarefa usando o Console de Gerenciamento da AWS ou a interface de linhas de comandos (CLI) da AWS. Em cada execução, a tarefa verifica a existência de alterações na origem e no destino e copia todas as diferenças de dados e metadados entre a origem e o destino. Você pode configurar quais características da origem são usadas para determinar o que foi alterado, definir filtros de inclusão e exclusão ou manifestos para transferir dados específicos de arquivos e objetos e controlar se os arquivos ou objetos no destino devem ser sobrescritos quando alterados na origem ou excluídos quando não encontrados na origem.

Uma tarefa do modo Básico está sujeita a cotas para a quantidade de arquivos e objetos em um conjunto de dados. O modo Básico prepara, transfere e verifica sequencialmente arquivos e objetos em um conjunto de dados, tornando-o mais lento do que o modo Avançado para a maioria das workloads. Com o modo Avançado, você pode transferir conjuntos de dados com números virtualmente ilimitados de objetos em níveis de performance mais altos do que o modo Básico. As tarefas do modo Avançado otimizam e simplificam o processo de transferência de dados listando, preparando, transferindo e verificando dados de maneira paralela. Você também obtém métricas aprimoradas e recursos de geração de relatórios, o que facilita o rastreamento e o gerenciamento de grandes transferências de dados. Atualmente, o modo Avançado está disponível para transferências entre locais do Amazon S3. O modo Básico é compatível com todos os tipos de locais do DataSync disponíveis atualmente. Consulte a documentação do DataSync para obter uma lista detalhada das diferenças entre os modos de tarefas. Consulte a Página de preços do DataSync para conhecer as variações de preços entre os modos de tarefas.

Enquanto transfere e armazena os dados, o AWS DataSync executa verificações de integridade que determinam se os dados gravados no destino correspondem aos que estão sendo lidos na origem. Além disso, uma verificação de verificação opcional pode ser executada para comparar a origem e o destino no final da transferência. O DataSync irá calcular e comparar as somas de verificação de arquivo completo dos dados armazenados na origem e no destino. É possível verificar todo o conjunto de dados ou apenas os arquivos ou objetos que o DataSync transferiu.

Você pode usar relatórios de tarefas para auditar seus processos de transferência de dados verificando as operações de transferência em todas as execuções de tarefas. Usando relatórios de tarefas, você pode obter um relatório resumido junto com relatórios detalhados de todos os arquivos transferidos, ignorados, verificados e excluídos para cada execução de tarefa. Os relatórios de tarefas fornecem o número total de arquivos e bytes transferidos e incluem atributos de arquivo, como tamanho, caminho, registros de data e hora, somas de verificação de arquivos e IDs de versão do objeto, quando aplicável. Você também pode utilizar o AWS Glue, o Amazon Athena e o Amazon QuickSight para catalogar, consultar e visualizar automaticamente relatórios de tarefas para obter informações críticas sobre seus processos de transferência de dados.

Você pode usar o Console de Gerenciamento da AWS ou a CLI para monitorar o status e o progresso dos dados que estão sendo transferidos. O Amazon CloudWatch Metrics pode ser usado para ver o número de arquivos e a quantidade de dados copiados. Você também pode ativar o registro em log de arquivos individuais para o CloudWatch Logs, para identificar o que foi transferido em determinado momento, bem como os resultados da verificação de integridade de conteúdo realizada pelo DataSync.

Juntas, essas soluções simplificam a auditoria, o monitoramento, a emissão de relatórios e a solução de problemas, além de permitir que você forneça atualizações oportunas às partes interessadas.

Sim. Você pode especificar um filtro de exclusão, um filtro de inclusão ou os dois tipos de filtros para limitar quais arquivos, pastas ou objetos são transferidos sempre que uma tarefa é executada. Como alternativa, você pode usar manifestos para especificar um subconjunto de arquivos ou objetos que devem ser transferidos do local de origem.

Filtros de inclusão especificam os caminhos de arquivos e pastas ou chaves de objeto que devem ser incluídos quando a tarefa é executada e limita o escopo do que é verificado pelo DataSync na origem e no destino. Filtros de exclusão especificam os caminhos de arquivos e pastas ou chaves de objeto que devem ser excluídos da cópia.  Ao criar ou atualizar uma tarefa, você pode configurar filtros de exclusão e inclusão. Ao iniciar uma tarefa, você pode substituir e atualizar os filtros configurados na tarefa. Leia esse blog de armazenamento da AWS para saber mais sobre como usar filtros comuns com o DataSync.

Um manifesto é um arquivo em formato CSV que lista os caminhos do arquivo ou as chaves de objeto que devem ser incluídas quando a tarefa é executada e limita o escopo do que é verificado pelo DataSync na origem e no destino. Ao criar ou atualizar uma tarefa, você pode fornecer um arquivo de manifesto com milhões de arquivos ou objetos de origem, e o DataSync só comparará e transferirá os arquivos listados nesse manifesto. Ao iniciar uma tarefa, você pode substituir e atualizar o arquivo de manifesto. Ao copiar dados do Amazon S3, você também pode especificar um ID de versão S3 opcional de cada objeto a ser transferido. Leia este blog para obter mais detalhes.

Observe que filtros e manifestos não podem ser usados juntos.

Enquanto um manifesto é uma lista explícita de arquivos ou objetos a serem transferidos do local de origem, um filtro de inclusão é uma string que especifica padrões de arquivos e pastas a serem transferidos da origem. Somente arquivos e pastas que corresponderem aos padrões no filtro são copiados. Um padrão pode ser um caminho inteiro de arquivo ou pasta ou um prefixo que termina com um caractere curinga (*), indicando que todos os arquivos ou objetos que corresponderem ao prefixo deverão ser copiados. Filtros de inclusão são ideais para clientes que desejam copiar apenas um pequeno conjunto de arquivos ou objetos ou algumas pastas específicas. Clientes com conjuntos de dados conhecidos, como aqueles movidos como parte de um fluxo de trabalho automatizado, podem usar manifestos para evitar a varredura de todo o sistema de armazenamento de arquivos ou objetos para determinar alterações. Usando um arquivo de manifesto, os clientes podem especificar milhões de arquivos ou objetos de origem a serem transferidos, e o DataSync só comparará os arquivos listados no manifesto. Os clientes também podem usar manifestos para copiar versões específicas de objetos do bucket do Amazon S3.

Sim. Você pode programar suas tarefas usando o AWS DataSync Console ou a AWS Command Line Interface (CLI), sem precisar gravar ou executar scripts para gerenciar as transferências repetidas. O agendamento de tarefas as executa automaticamente dentro do cronograma que você configura, com as opções horárias, diárias ou semanais fornecidas diretamente no Console. Isso permite que você garanta que as mudanças feitas no seu conjunto de dados sejam automaticamente detectadas e copiadas em seu armazenamento destino.

Sim. Na transferência de arquivos, o AWS DataSync cria uma estrutura de diretório no destino que é similar à estrutura do local de origem.

Se uma tarefa for interrompida (por exemplo, se a conexão de rede cair ou se o atendente do AWS DataSync for reiniciado), a execução seguinte dessa tarefa transferirá os arquivos que faltam. Os dados estarão completos e consistentes após essa execução. Cada vez que uma tarefa é iniciada, ele executa uma cópia incremental, transferindo para o destino apenas o que difere na origem.

Você pode usar o AWS DataSync com seu link do Direct Connect para acessar endpoints de serviços públicos ou endpoints da VPC privados. A usar os endpoints da VPC, os dados transferidos entre o agente do DataSync e os serviços da AWS não passam pela Internet pública nem usam endereços IP públicos, o que aumenta a segurança dos dados durante a cópia pela rede. No momento, o DataSync Discovery é compatível apenas com endpoints de serviço público.

Sim, endpoints da VPC são compatíveis com casos de uso de migração de dados. Você pode usar endpoints da VPC para evitar que os dados transferidos pelo atendente do AWS DataSync, sejam eles implantados no ambiente on-premises ou na nuvem, passem pela Internet pública ou precisem de endereços IP públicos. O uso de endpoints da VPC aumenta a segurança de seus dados, porque mantêm o tráfego de rede restrito à Amazon Virtual Private Cloud (Amazon VPC). Os endpoints da VPC do DataSync são desenvolvidos pelo AWS PrivateLink, uma tecnologia escalável altamente disponível que permite a conexão privada entre uma VPC e os serviços da AWS compatíveis.

Para usar endpoints da VPC com o AWS DataSync, basta criar um endpoint da VPC de interface do AWS PrivateLink para o serviço do DataSync na VPC de sua escolha. Depois, selecione a interface de rede elástica (ENI) desse endpoint ao criar seu atendente do DataSync. O agente se conectará a essa ENI na ativação e, a partir desse momento, todos os dados transferidos pelo agente permanecerão dentro da VPC configurada. Use o console do AWS DataSync, a interface da linha de comando da AWS (CLI) ou o AWS SDK para configurar VPC endpoints. Para saber mais, consulte Using AWS DataSync in a Virtual Private Cloud.

O AWS DataSync é compatível com a migração de dados de, para ou entre o Amazon Simple Storage Service (Amazon S3), o Amazon Elastic File System (Amazon EFS), o Amazon FSx para Windows File Server, o Amazon FSx para Lustre, o Amazon FSx para OpenZFS, e o Amazon FSx para NetApp ONTAP.

Sim. Ao configurar um bucket do S3 para uso com o AWS DataSync, é possível selecionar a classe de armazenamento do S3 que o DataSync usa para armazenar objetos. O DataSync oferece suporte ao armazenamento de dados diretamente para S3 Standard, S3 Intelligent-Tiering, S3 Standard-Infrequent Access (S3 Standard-IA), S3 One Zone-Infrequent Access (S3 One Zone-IA), Amazon S3 Glacier Instant Retrieval, Amazon S3 Glacier Flexible Retrieval e Amazon S3 Glacier Deep Archive (S3 Glacier Deep Archive). Mais informações sobre as classes de armazenamento do Amazon S3 podem ser encontradas no Guia do desenvolvedor do Amazon Simple Storage Service.

Objetos menores que a capacidade de carga mínima por objeto serão armazenados no S3 Standard. Por exemplo, os objetos de pasta, que têm tamanho de zero bytes e contêm somente metadados, serão armazenados na classe S3 Standard. Leia sobre as considerações ao trabalhar com as classes de armazenamento do Amazon S3 em nossa documentação e sobre a avaliação de custos de solicitações do S3 ao usar o DataSync. Para obter mais informações sobre o preço mínimo para as capacidades, consulte Preços do Amazon S3.

Sim. Ao usar o S3 como local de origem para uma tarefa do AWS DataSync, o serviço irá recuperar todos os objetos do bucket que precisam ser copiados para o destino. Recuperar objetos das classes de armazenamento S3 Standard-IA e S3 One Zone-IA incorrerá em uma taxa de recuperação baseada no tamanho dos objetos. Leia sobre as considerações ao trabalhar com as classes de armazenamento do Amazon S3 em nossa documentação.

Ao usar o S3 como o local de origem para uma tarefa do AWS DataSync, o serviço tentará recuperar todos os objetos do bucket que precisam ser copiados para o destino. A recuperação de objetos arquivados na classe de armazenamento S3 Glacier Instant Retrieval incorrerá em taxas de recuperação mais altas com base no tamanho dos objetos. A recuperação de objetos arquivados nas classes de armazenamento S3 Glacier Flexible Retrieval ou S3 Glacier Deep Archive resulta em um erro. Quaisquer erros que ocorrem na recuperação de objetos arquivados serão registrados pelo DataSync e resultarão em um status de falha na conclusão da tarefa. Leia sobre as considerações ao trabalhar com as classes de armazenamento do Amazon S3 e sobre a avaliação de custos de solicitações do S3 ao usar o DataSync em nossa documentação.

O AWS DataSync assume um perfil do IAM que você fornecer. A política que você anexar à função determina quais ações essa função pode executar. O DataSync pode gerar automaticamente esse perfil em seu nome ou você pode configurar um perfil manualmente.

Quando se copiam pastas e arquivos no Amazon S3, estabelece-se uma relação de um para um entre uma pasta ou arquivo e um objeto. Os carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os ID de usuário e de grupo, assim como as permissões, são armazenados nos metadados de usuário do S3. Para compartilhamentos NFS, os metadados de arquivos armazenados nos metadados de usuário do S3 podem interoperar totalmente com o Gateway de Arquivos, permitindo acesso on-premises baseado em arquivos aos dados armazenados no Amazon S3 pelo AWS DataSync.

Quando o DataSync copia objetos que contêm esses metadados de usuário num servidor NFS, os metadados do arquivo são restaurados. Links simbólicos e hard links também são recuperados em operações de cópia de retorno do NFS para o S3.

Quando ele copia dados de um compartilhamento de arquivos SMB, permissões POSIX padrão são armazenadas nos metadados de usuário do S3. Quando ele os copia para um compartilhamento de arquivos SMB, a propriedade se define com base no usuário configurado no DataSync para acessar esse compartilhamento para a atribuição das permissões padrão.

Ao copiar do HDFS, os carimbos de data/hora do arquivo e da pasta, propriedade do usuário e grupo e permissões POSIX são armazenados nos metadados do usuário do S3. Ao copiar do Amazon S3 de volta para o HDFS, os metadados de arquivos e pastas são armazenados.
 

Saiba mais sobre como o DataSync armazena arquivos e metadados em nossa documentação.

Na transferência de objetos entre o armazenamento de objetos autogerenciado ou o Armazenamento de Blobs do Azure e o Amazon S3, o DataSync copia objetos junto com seus metadados e etiquetas.

Ao transferir objetos entre buckets do Amazon S3, o DataSync copia os objetos juntamente com seus metadados e tags. O DataSync não copia outras informações dos objetos, como ACLs ou versões anteriores.

Algumas classes de armazenamento do S3 têm comportamentos que podem afetar seu custo, como recuperação de dados, recursos de armazenamento mínimo e durações mínimas de armazenamento. O DataSync automatiza o gerenciamento de dados para processar esses fatores e fornece as configurações para minimizar a recuperação de dados.

Para evitar cobranças de capacidade mínimas por objeto, o AWS DataSync automaticamente armazena objetos pequenos no S3 Standard. Para minimizar as taxas de recuperação de dados, você pode configurar o DataSync para verificar apenas os arquivos que foram transferidos por uma determinada tarefa. Para evitar cobranças relacionadas com a duração mínima de armazenamento, o DataSync tem controles para substituir e excluir objetos. Leia sobre as considerações de custo ao trabalhar com as classes de armazenamento do Amazon S3 em nossa documentação e sobre como avaliar os custos de solicitações do S3 ao usar o DataSync.

Sim. Você pode copiar objetos entre o Amazon S3 no AWS Outposts e os buckets do Amazon S3 nas regiões da AWS. O AWS DataSync copia objetos junto com metadados de objeto e tags de objeto. Para que o DataSync acesse seu Amazon S3 nos buckets do Outposts, Implante um atendente de EC2 do DataSync no seu Outposts.

Ao usar o DataSync com o Amazon S3 no Outposts, você só pode transferir dados de/para buckets do Amazon S3 nas regiões da AWS. Aprenda mais sobre as origens e os destinos com suporte para tarefas do DataSync em nossa documentação.

O AWS DataSync acessa sistemas de arquivos do Amazon EFS usando o protocolo NFS. O serviço DataSync monta seu sistema de arquivos de dentro da VPC em interfaces de rede elástica (ENIs) gerenciadas pelo serviço DataSync. O DataSync gerencia a criação, o uso e a exclusão dessas ENIs para você. Você pode montar seu sistema de arquivos EFS usando um destino de montagem ou um ponto de acesso do EFS.

Sim. Você pode usar o AWS DataSync para copiar arquivos para o Amazon EFS e configurar o gerenciamento do ciclo de vida do EFS para migrar arquivos que ainda não foram acessados por um período determinado de tempo para classes de armazenamento do Infrequent Access (IA).

Você pode usar políticas de identidade do IAM e políticas de recursos para controlar o acesso do cliente aos recursos do Amazon EFS de maneira escalável e otimizada para ambientes de nuvem. Ao criar um local do DataSync para seu sistema de arquivos EFS, é possível especificar um perfil do IAM que o DataSync assumirá ao acessar o EFS. Depois, você pode usar as políticas do sistema de arquivos EFS para configurar o acesso para o perfil do IAM. Como o DataSync monta sistemas de arquivos EFS como usuário raiz, sua política do IAM deve permitir esta ação: elasticfilesystem:ClientRootAccess.

Sim. Além da replicação integrada fornecida pelo Amazon EFS, você pode usar o AWS DataSync para programar a replicação periódica de seu sistema de arquivos da Amazon EFS para um segundo sistema de arquivos da Amazon EFS na mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

O AWS DataSync copia carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os IDs de usuário e de grupo, assim como as permissões. É possível obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

O AWS DataSync copia os carimbos de data/hora de arquivos e pastas e as permissões POSIX e aplica os valores padrão para IDs de usuário e IDs de grupo. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

O AWS DataSync acessa o sistema de arquivos do Amazon FSx para Windows File Server usando o protocolo SMB, autenticando com o nome de usuário e a senha configurados no Console da AWS ou na CLI. O serviço DataSync monta seu sistema de arquivos de dentro da VPC em interfaces de rede elástica (ENIs) gerenciadas pelo serviço DataSync. O DataSync gerencia a criação, o uso e a exclusão dessas ENIs para você.

O AWS DataSync copia metadados do Windows, incluindo carimbos de data/hora de arquivo, proprietário de arquivo, atributos de arquivo padrão, as listas de acesso discricionárias (DACLs) do NTFS e as listas de controle de acesso ao sistema (SACLs) do NTFS. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

Sim. Você pode usar o AWS DataSync para programar a replicação periódica do sistema de arquivos do Amazon FSx for Windows File Server para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

Quando você cria uma tarefa do DataSync para copiar de ou para o sistema de arquivos FSx for Lustre, o serviço DataSync criará interfaces de rede elásticas (ENIs) na mesma VPC e sub-rede em que seu sistema de arquivos está localizado.  O DataSync usa essas ENIs para acessar seu sistema de arquivos do FSx for Lustre usando o protocolo Lustre como usuário raiz.  Ao criar um recurso de localização do DataSync para o sistema de arquivos FSx for Lustre, você pode especificar até cinco grupos de segurança a serem aplicados às ENIs e configurar o acesso de saída a partir do serviço DataSync.  Os grupos de segurança devem ser configurados para permitir o tráfego de saída nas portas de rede exigidas pelo FSx para Lustre.  Os grupos de segurança no seu sistema de arquivos do FSx for Lustre devem ser configurados para permitir o acesso de entrada dos grupos de segurança que você atribuiu ao recurso de localização do DataSync para seu sistema de arquivos do FSx for Lustre.

O AWS DataSync copia carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os IDs de usuário e de grupo, assim como as permissões. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

Sim. Você pode usar o AWS DataSync para copiar do seu sistema de arquivos do FSx for Lustre para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não exige o uso de um agente do DataSync.

Sim. Você pode usar o AWS DataSync para programar a replicação periódica do sistema de arquivos do Amazon FSx for Lustre para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não exige o uso de um agente do DataSync.

Não. Os arquivos são gravados usando o layout do arquivo e a configuração de divisão no sistema de arquivos do destino.

Quando você cria uma tarefa do DataSync para copiar de ou para o sistema de arquivos FSx para OpenZFS, o serviço DataSync cria interfaces de rede elásticas (ENIs) na mesma VPC e sub-rede em que seu sistema de arquivos está localizado.  O DataSync usa essas ENIs para acessar seu sistema de arquivos do FSx for OpenZFS usando o protocolo OpenZFS como usuário raiz.  Ao criar um recurso de localização do DataSync para o sistema de arquivos FSx for OpenZFS, você pode especificar até cinco grupos de segurança a serem aplicados às ENIs e configurar o acesso de saída do serviço DataSync.  Os grupos de segurança devem ser configurados para permitir o tráfego de saída nas portas de rede exigidas pelo FSx para OpenZFS. Os grupos de segurança de seu sistema de arquivos do FSx for OpenZFS devem ser configurados para permitir o acesso de entrada dos grupos de segurança que você atribuiu ao recurso de localização do DataSync para seu sistema de arquivos do FSx for OpenZFS.

O AWS DataSync copia carimbos de data/hora e as permissões POSIX das pastas e arquivos, inclusive os IDs de usuário e de grupo, assim como as permissões. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

Sim. Você pode usar o AWS DataSync para copiar de seu sistema de arquivos do FSx for OpenZFS para um segundo sistema de arquivos na mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

Sim. Você pode usar o AWS DataSync para programar a replicação periódica do sistema de arquivos do Amazon FSx for OpenZFS para um segundo sistema de arquivos na mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não necessita do uso de um agente do DataSync.

Quando você cria uma tarefa, o DataSync gera interfaces de rede elásticas (ENIs) na sub-rede preferencial da mesma VPC em que o sistema de arquivos do Amazon FSx para NetApp ONTAP está localizado. A sub-rede preferencial é configurada quando você cria seu sistema de arquivos FSx para ONTAP, e o DataSync usa as ENIs que cria nessa sub-rede para acessar seu sistema de arquivos FSx para ONTAP. Ao criar um recurso de localização do DataSync para o sistema de arquivos FSx para ONTAP, você pode especificar até cinco grupos de segurança a serem aplicados às ENIs para configurar o acesso de saída do serviço DataSync. É necessário configurar os grupos de segurança de seu sistema de arquivos do FSx para ONTAP para permitir o acesso de entrada dos grupos de segurança que você atribuiu ao recurso de localização do DataSync para seu sistema de arquivos do FSx para ONTAP.

O AWS DataSync é compatível com o uso de NFSv3, SMB 2.1 e SMB 3. Atualmente, o DataSync não é compatível com o uso de NFSv4 ou posterior com o FSx para ONTAP.

Sim, o AWS DataSync copia carimbos de data/hora e as permissões POSIX de arquivos e pastas, inclusive os IDs de usuário e de grupo, assim como as permissões, durante o uso do protocolo NFS. Ao usar o protocolo SMB, o DataSync copia carimbos de data e hora, propriedade e ACLs de arquivos e pastas. Você pode obter mais informações e ver a lista completa de metadados copiados em nossa documentação.

Ao migrar de servidores Windows ou compartilhamentos NAS que atendem usuários por meio do protocolo SMB, use um local de origem DataSync SMB e o protocolo SMB para o local do FSx para ONTAP, garantindo que o estilo de segurança do volume do FSx para ONTAP esteja configurado para NTFS. Ao migrar de servidores Unix ou Linux ou compartilhamentos NAS que atendem usuários por meio do protocolo NFS, use um local de origem DataSync NFS e o protocolo NFS para o local do FSx para ONTAP, garantindo que o estilo de segurança do volume do FSx para ONTAP esteja configurado para Unix. Para migrações multiprotocolo, leia as práticas recomendadas apresentadas na publicação de blog Enabling multiprotocol workloads with Amazon FSx for NetApp ONTAP e use o protocolo SMB para preservar os metadados do sistema de arquivos com o máximo de fidelidade. Para obter mais informações sobre como configurar estilos de segurança para seus volumes do FSx para ONTAP, consulte a documentação sobre como gerenciar volumes do FSx para ONTAP.

Sim, mas você precisará criar um local e recurso de tarefa do DataSync separados para cada protocolo (NFS ou SMB). Para evitar problemas com substituição e verificação de dados, não recomendamos o uso de várias tarefas do DataSync para copiar para o mesmo caminho de volume ao mesmo tempo (usando o mesmo protocolo ou protocolos diferentes).

Não, o DataSync oferece suporte apenas a cópia de dados de arquivo de ou para volumes do FSx para ONTAP usando protocolos NFS ou SMB.

Sim. Você pode usar o AWS DataSync para copiar do seu sistema de arquivos do FSx para ONTAP para um segundo sistema de arquivos dentro da mesma conta da AWS. Essa funcionalidade está disponível para implantações na mesma região e entre regiões e não requer o uso de um agente do DataSync.

Embora você possa usar o DataSync para replicar dados entre seus sistemas de arquivos, recomendamos usar o NetApp SnapMirror para replicar entre seus sistemas de arquivos FSx para ONTAP. O SnapMirror permite que você obtenha RPOs baixos, qualquer que seja o número ou tamanho dos arquivos de seu sistema de arquivos.

O DataSync excluirá automaticamente as pastas denominadas “.snapshot”. Você também pode usar filtros de exclusão para evitar copiar arquivos e pastas que correspondam aos padrões especificados.

Comece implantando um atendente do DataSync em seu ambiente on-premises. Ative o agente usando o Console de Gerenciamento da AWS ou a CLI e configure sua tarefa do DataSync para migrar dados entre um bucket em seu armazenamento compatível com o Amazon S3 e o Amazon S3, Amazon EFS ou qualquer sistema de arquivos do Amazon FSx.

A velocidade da cópia de um conjunto de dados específico pelo AWS DataSync varia em função da quantidade de dados, da largura de banda de E/S nos armazenamentos de origem e de destino, da largura de banda da rede disponível e das condições da rede. Para a transferência de dados entre serviços on-premises e os do AWS Storage, uma única tarefa do DataSync é capaz de utilizar totalmente um link de rede de 10 Gbps.

Sim. Você pode controlar o volume da largura de banda da rede usada pelo AWS DataSync configurando o controle de utilização de largura de banda integrado. Você pode aumentar ou reduzir esse limite enquanto a tarefa de transferência de dados está em execução. Esse recurso permite que você reduza o impacto sobre outros usuários ou aplicações que dependem da mesma conexão de rede.

O AWS DataSync gera métricas do Amazon CloudWatch para fornecer visibilidade granular aos processos de transferência. Usando essas métricas, você pode ver o número de arquivos e a quantidade de dados que foram copiados, bem como o progresso da descoberta e verificação de arquivos. Você pode ver os Gráficos do CloudWatch com tais métricas diretamente no Console do DataSync.

Dependendo da capacidade do armazenamento de arquivos on-premises e da quantidade e tamanho dos arquivos a serem transferidos, o AWS DataSync pode afetar o tempo de resposta de outros clientes que acessam o mesmo datastore de origem, pois o atendente lê ou grava dados nesse sistema de armazenamento. A configuração de um limite de largura de banda para uma tarefa reduzirá esse impacto, limitando a E/S no sistema de armazenamento.

O AWS DataSync Discovery usa o agente do DataSync para acessar as interfaces de gerenciamento/API de seus sistemas de armazenamento. Todo o acesso é somente leitura. Consulte a documentação do DataSync para obter mais informações sobre as APIs usadas para acessar seu armazenamento.

Ao configurar o AWS DataSync Discovery para descobrir seu sistema de armazenamento, você fornece um nome de usuário e uma senha para acessar a interface da API do seu armazenamento. Em seguida, o AWS DataSync Discovery criará automaticamente um segredo no AWS Secrets Manager para armazenar as credenciais. Quando o DataSync Discovery executa um trabalho de descoberta, ele recupera a senha do segredo, criptografa-a novamente e envia a senha criptografada ao agente usado para seu trabalho. A senha é retida na memória do agente apenas durante o trabalho e, em nenhum momento, persiste fora da memória.

Sim. Todos os dados transferidos entre a origem e o destino são criptografados por meio do Transport Layer Security (TLS), que substituiu o Secure Sockets Layer (SSL). Os dados nunca são persistidos no próprio AWS DataSync. O serviço oferece suporte usando criptografia padrão para buckets do S3, criptografia de dados em repouso do sistema de arquivos do Amazon EFS e criptografia de dados em repouso e em trânsito do Amazon FSx.

Para acessar os seus arquivos por meio do protocolo NFS ou SMB, o AWS DataSync usa um atendente implantado no seu ambiente de TI ou no Amazon EC2. Esse agente se conecta aos endpoints do serviço do DataSync na AWS e é gerenciado com segurança a partir do Console de Gerenciamento da AWS ou da CLI.

O AWS DataSync utiliza um atendente, que você implanta no seu ambiente de TI ou no Amazon EC2 para acessar seu cluster do Hadoop. O agente DataSync atua como um cliente HDFS e se comunica com os NameNodes e DataNodes em seus clusters. Quando você inicia uma tarefa, o DataSync consulta o NameNode principal para determinar os locais de arquivos e pastas no cluster. O DataSync então se comunica com os DataNodes no cluster para copiar arquivos e pastas de ou para HDFS.

O AWS DataSync usa um atendente que você implanta em seu data center ou ambiente de nuvem pública ou no Amazon EC2 para acessar seus objetos usando a API do Amazon S3. Esse agente se conecta aos endpoints do serviço do DataSync na AWS e é gerenciado com segurança a partir do Console de Gerenciamento da AWS ou da CLI.

O AWS DataSync usa um atendente que você implanta em seu ambiente do Azure ou no Amazon EC2 para acessar objetos em seus contêineres de Armazenamento de Blobs do Azure. O atendente se conecta aos endpoints de serviço do DataSync na AWS e é gerenciado com segurança no Console de Gerenciamento da AWS ou na CLI. O atendente se autentica em seu contêiner do Azure usando um token SAS que você especifica ao criar um local do Blob do Azure no DataSync.

Não. Ao copiar dados de ou para os seus ambientes on-premises, não é necessário configurar uma VPN/túnel ou permitir conexões de chegada. O seu agente do AWS DataSync pode ser configurado para guiar em um firewall usando portas de rede padrão. Também é possível implantar o DataSync em sua Amazon Virtual Private Cloud (Amazon VPC) usando endpoints da VPC. A usar os VPC endpoints, os dados transferidos entre o agente do DataSync e os produtos da AWS não precisam passar pela Internet pública nem usar endereços IP públicos.

Seus atendentes do AWS DataSync se conectam aos endpoints de serviço da região da AWS que você selecionar. Você pode fazer com que ele se conecte a endpoints voltados para a internet pública, endpoints validados pelos Federal Information Processing Standards (FIPS – Padrões de processamento de informação federal) ou endpoints em uma das suas VPCs. Ativar seu agente o torna associado de forma segura à sua conta AWS. Para saber mais, consulte Escolha do seu endpoint de serviço e Ativação de seu atendente.

As atualizações na VM do atendente, incluindo o sistema operacional subjacente e os pacotes de software do AWS DataSync, são aplicados automaticamente aplicados pela AWS quando o atendente for ativado. As atualizações são aplicadas sem causar interrupções quando o agente está ocioso e sem executar uma tarefa de transferência de dados.

A AWS possui o programa de conformidade mais antigo na nuvem. E se compromete a ajudar clientes explorar seus requisitos. O AWS DataSync foi avaliado e cumpre padrões de segurança globais e setoriais. O DataSync está em conformidade com a PCI DSS, ISO 9001, 27001, 27017 e 27018; SOC 1, 2, e 3; além de ser qualificado pela HIPAA. O DataSync também está autorizado nas regiões da AWS Leste/Oeste dos EUA, com nível moderado do FedRAMP, e nas regiões da AWS GovCloud (EUA), com nível alto do FedRamp. Isso facilita a verificação da nossa segurança e o cumprimento de suas próprias obrigações. Para obter mais informações e recursos, acesse as nossas páginas de conformidade. Você também pode acessar a página Serviços no escopo do programa de conformidade para ver uma lista completa de serviços e certificações.

Sim. O AWS DataSync obedece ao PCI-DSS, o que significa que você pode usar o serviço para transferir informações de pagamento. Faça download do pacote de conformidade do PCI no AWS Artifact para saber mais sobre como alcançar a conformidade com o PCI na AWS.

Sim. O AWS DataSync é qualificado pela HIPAA, o que significa que, se você tiver um BAA da HIPAA com a AWS, poderá usar o DataSync para transferir Informações de saúde protegidas (PHI).

Sim. O AWS DataSync recebeu uma autorização provisória para operar (P-ATO – Provisional Authority to Operate) do Joint Authorization Board (JAB – Conselho de Autorização) sujeita à linha de base moderada do programa Federal Risk and Authorization Management Program (FedRAMP – Programa Federal de Gerenciamento de Risco e Autorização) nas regiões Leste/Oeste dos EUA. Se você é um cliente comercial ou federal, pode usar o AWS DataSync no limite de autorização da região Leste/Oeste da AWS com dados que tenham até o nível de impacto moderado.

Sim. O AWS DataSync recebeu uma autorização provisória para operar (P-ATO) do Joint Authorization Board (JAB) sujeita à linha de base alta do programa federal de gerenciamento de risco e autorização (FedRAMP) na região GovCloud dos EUA. Se você é um cliente comercial ou federal, pode usar o AWS DataSync no limite de autorização da região da AWS GovCloud (EUA) com dados que tenham até o nível de alto impacto.

O AWS DataSync automatiza e acelera completamente a transferência de grandes conjuntos de dados ativos para a AWS. Ele é integrado de forma nativa ao Amazon S3, ao Amazon EFS, ao Amazon FSx, ao Amazon CloudWatch e ao AWS CloudTrail, o que fornece acesso seguro e transparente aos seus serviços de armazenamento, bem como processos de monitoramento de transferências mais detalhados.

O DataSync usa um protocolo de rede com propósito específico e uma arquitetura com escalabilidade horizontal para transferir dados. Para a transferência de dados entre serviços on-premises e os do AWS Storage, uma única tarefa do DataSync é capaz de utilizar totalmente um link de rede de 10 Gbps.

O DataSync automatiza totalmente a transferência de dados. O serviço inclui mecanismos de novas tentativas e resiliência de rede, otimizações de rede, programadores de tarefas incorporados, auditoria por meio de relatórios de tarefas, monitoramento por meio da API e do console do DataSync e métricas, eventos e logs do CloudWatch, que fornecem visibilidade detalhada do processo de transferência. O DataSync executa verificação de integridade de dados durante e ao final da transferência.

O DataSync oferece segurança de ponta a ponta e se integra diretamente aos serviços de armazenamento da AWS. Todos os dados transferidos entre a origem e o destino são criptografados via TLS. O acesso ao armazenamento da AWS é habilitado mediante mecanismos de segurança incorporados da AWS, como perfis do IAM. O DataSync com VPC endpoints são ativados para garantir que dados transferidos entre uma organização e a AWS não passem pela Internet pública, o que aumenta a segurança dos dados durante a cópia pela rede.

A AWS fornece várias ferramentas para copiar objetos entre seus buckets.

Use o AWS DataSync para distribuição contínua de dados, pipelines de dados e ingestão de data lake, bem como para consolidar ou dividir dados entre vários buckets.

Use a Replicação do S3 para promover uma replicação contínua de dados para um bucket de destino específico.

Use as Operações em Lote do S3 para realizar operações em lote de grande escala em objetos do S3, como para copiar objetos, definir etiquetas de objetos ou listas de controle de acesso (ACLs), iniciar restaurações de objetos provenientes do Amazon S3 Glacier Flexible Retrieval (antigo S3 Glacier), invocar uma função do AWS Lambda para executar ações personalizadas usando seus objetos, gerenciar a retenção legal de Bloqueio de Objetos do S3 ou gerenciar datas de retenção de Bloqueio de Objetos do S3.

O AWS DataSync é ideal para transferências de dados on-line. Você pode usar o DataSync para migrar dados ativos para a AWS, transferir dados para a nuvem para análises e processamento, arquivar dados para liberar a capacidade de armazenamento on-premises ou replicar dados para a AWS para fins de continuidade de negócios.

O AWS Snowball Edge é recomendado para transferências de dados off-line, para clientes com restrições de largura de banda ou que transferem dados de ambientes remotos, desconectados ou severos. 

Use o AWS DataSync para migrar dados existentes para o Amazon S3, depois use a configuração do Gateway de Arquivos do AWS Storage Gateway para manter o acesso a dados migrados e atualizações em vigor das aplicações on-premises baseadas em arquivos.

Você pode usar uma combinação do DataSync e do File Gateway para minimizar sua infraestrutura on-premises e conectar de forma clara aplicações on-premises ao armazenamento na nuvem. O AWS DataSync permite que você automatize e acelere transferências de dados online para serviços de armazenamento da AWS. Após a fase inicial de transferência de dados usando o AWS DataSync, o File Gateway fornecerá aplicações on-premises com acesso de baixa latência para os dados transferidos. Ao usar o DataSync com compartilhamentos NFS, os metadados POSIX do armazenamento on-premises de origem são preservados, e as permissões do armazenamento de origem são aplicadas ao acessar seus arquivos usando o File Gateway.

Se as aplicações já estiverem integradas à API do Amazon S3 e você quiser aumentar a throughput pela migração de arquivos grandes para o S3, poderá usar a Aceleração de Transferências do S3. Se você quiser transferir dados de sistemas de armazenamento existentes (por exemplo, Network Attached Storage) ou de instrumentos que não podem ser alterados (por exemplo, sequenciadores de DNA, câmeras de vídeo), ou se quiser usar vários destinos, use o AWS DataSync. Além disso, o DataSync automatiza e simplifica a transferência de dados fornecendo funcionalidades adicionais, como mecanismos incorporados de novas tentativas e resiliência, verificação de integridade de dados e configurações flexíveis, para atender a necessidades específicas como controle de utilização de largura de banda etc.

Se você já usa SFTP para intercâmbio de dados com terceiros, o AWS Transfer Family propicia transferência totalmente gerenciada via SFTP, FTPS, FTP e AS2 diretamente de/para o Amazon S3, reduzindo a sobrecarga operacional.

Se quiser uma transferência de dados acelerada e automatizada entre servidores NFS, compartilhamentos de arquivos SMB, clusters do Hadoop, armazenamento de objetos autogerenciados ou na nuvem, o Amazon S3, o Amazon EFS e o Amazon FSx, você pode usar o AWS DataSync. O DataSync é ideal para clientes que precisam de migrações online para conjuntos de dados ativos, transferências em tempo hábil para dados gerados continuamente ou replicação para continuidade de negócios.