Apache Hadoop no Amazon EMR

O Amazon EMR instala e configura aplicações no projeto do Hadoop de modo programático, como o Hadoop MapReduce, o YARN, o HDFS e o Apache Tez nos nós do seu cluster.

O Hadoop MapReduce e o Tez, que são mecanismos de execução no ecossistema do Hadoop, processam cargas de trabalho usando estruturas que dividem os trabalhos em itens menores, os quais podem ser distribuídos entre os nós no seu cluster do Amazon EMR. Eles foram criados supondo que qualquer máquina no seu cluster possa falhar a qualquer momento, além de ter sido projetado com tolerância a falhas. Se um servidor executando uma tarefa falhar, o Hadoop reexecutará essa tarefa em outra máquina até a sua conclusão.

Você pode escrever programas do MapReduce e do Tez em Java, usar o Hadoop Streaming para executar scripts personalizados em paralelo, utilizar o Hive e o Pig para abstrações de nível superior no MapReduce e no Tez, ou outras ferramentas para interagir com o Hadoop.

A partir do Hadoop 2, o gerenciamento de recursos é feito pelo Yet Another Resource Negotiator (YARN). O YARN monitora todos os recursos no cluster, e garante que esses recursos sejam alocados de modo dinâmico para realizar as tarefas no trabalho de processamento. O YARN pode gerenciar as cargas de trabalho do Hadoop MapReduce e do Tez, como também de outras estruturas distribuídas, como o Apache Spark.

O uso do EMR File System (EMRFS) no cluster do Amazon EMR permite utilizar o Amazon S3 como a camada de dados do Hadoop. O Amazon S3 é altamente escalável, de baixo custo e projetado para oferecer resiliência, o que o torna um armazenamento de dados excelente para o processamento de big data. Ao armazenar dados no Amazon S3, você pode desassociar a camada de computação da camada de armazenamento, o que permite dimensionar o cluster do Amazon EMR de acordo com o volume de CPU e memória exigido para as suas cargas de trabalho, em vez de ter nós adicionais no cluster para maximizar o armazenamento nele. Além disso, você pode encerrar o cluster do Amazon EMR quando ele estiver inativo para economizar custos, enquanto seus dados permanecem no Amazon S3.

O EMRFS é otimizado para o Hadoop para ler e gravar diretamente em paralelo com o Amazon S3 apresentando boa performance, além de poder processar objetos criptografados com criptografia no lado do servidor e do cliente do Amazon S3. O EMRFS permite que você use o Amazon S3 como seu data lake, e o Hadoop no Amazon EMR pode ser usado como uma camada de consulta elástica.

O Hadoop também inclui um sistema de armazenamento distribuído, o Hadoop Distributed File System (HDFS), que armazena dados em discos locais do cluster em grandes blocos. O HDFS tem um fator de replicação configurável (com um padrão de 3 vezes), o que proporciona mais disponibilidade e resiliência. O HDFS monitora a replicação e balanceia dados nos nós, conforme os nós forem falhando e outros novos forem adicionados.

O HDFS é instalado automaticamente com o Hadoop no cluster do Amazon EMR, e é possível usá-lo junto com o Amazon S3 para armazenar dados de entrada e saída. Você pode facilmente criptografar o HDFS por meio de uma configuração de segurança do Amazon EMR. Além disso, o Amazon EMR configura o Hadoop para usar o HDFS e o disco local para dados intermediários criados durante os trabalhos do Hadoop MapReduce, mesmo se os dados de entrada estiverem localizados no Amazon S3.

Você pode inicializar um novo cluster do Hadoop de modo dinâmico e rápido ou adicionar servidores ao cluster do Amazon EMR atual, o que reduz bastante o tempo necessário para disponibilizar recursos para os seus usuários e cientistas de dados. O uso do Hadoop na plataforma da AWS pode aumentar drasticamente sua agilidade organizacional ao diminuir o custo e o tempo necessários para alocar recursos para testes e desenvolvimento.

A configuração, as redes, a instalação do servidor, a configuração de segurança e a manutenção administrativa contínua do Hadoop podem ser atividades complicadas e desafiadoras. Como serviço gerenciado, o Amazon EMR se encarrega dos requisitos de infraestrutura do Hadoop para que você possa concentrar-se nas suas principais atividades empresariais.

Você pode integrar facilmente o ambiente do Hadoop a outros serviços como o Amazon S3, o Amazon Kinesis, o Amazon Redshift e o Amazon DynamoDB para possibilitar movimentação, fluxos de trabalho e análises de dados entre os diversos serviços disponíveis na plataforma da AWS. Além disso, você pode usar o Catálogo de Dados do AWS Glue como um repositório gerenciado de metadados para o Apache Hive e o Apache Spark.

Por definição, muitos trabalhos do Hadoop atingem picos. Por exemplo, um trabalho do ETL pode ser executado por hora, dia ou mês, enquanto trabalhos de modelagem para empresas financeiras ou de sequenciamento genético podem ocorrer apenas algumas vezes por ano. O uso do Hadoop no Amazon EMR permite que você inicialize esses clusters de carga de trabalho facilmente, salve os resultados e encerre os recursos do Hadoop quando eles não forem mais necessários para evitar custos de infraestrutura desnecessários. O EMR6.x suporta o Hadoop 3, que permite que o YARN NodeManager lance contêineres diretamente ou no servidor do cluster EMR ou dentro de um contêiner Docker. Consulte nossa documentação para saber mais.

Ao usar o Hadoop no Amazon EMR, você tem a flexibilidade de executar clusters em qualquer número de zonas de disponibilidade em todas as regiões da AWS. Um possível problema ou ameaça em uma região ou zona pode ser facilmente contornado ao executar em minutos um cluster em outra zona.

O planejamento da capacidade antes da implantação de um ambiente do Hadoop com frequência resulta em recursos inativos dispendiosos ou limitações de recursos. Com o Amazon EMR, é possível criar clusters com a capacidade exigida em minutos e usar o Escalamento Gerenciado EMR para aumentar e reduzir a escala horizontal de modo dinâmico nos nós.