Introducción a Amazon EMR
Cómo usar EMR
Desarrolle su aplicación de procesamiento de datos
Puede utilizar Java, Hive (un idioma parecido a SQL), Pig (un lenguaje de procesamiento de datos), Cascading, Ruby, Perl, Python, R, PHP, C++ o Node.js. Amazon EMR ofrece códigos de muestra y tutoriales para que comience a utilizarlo rápidamente.
Cargue su aplicación y sus datos en Amazon S3
Si dispone de una gran cantidad de datos para la carga, es posible que quiera utilizar AWS Import/Export Snowball(para cargar datos con dispositivos de almacenamiento físico) o AWS Direct Connect (para establecer una conexión de red dedicada del centro de datos a AWS). Si lo prefiere, también puede escribir sus datos directamente en un clúster en ejecución.
Configure y lance el clúster
Con la Consola de administración de AWS, la CLI de AWS, los SDK o las API, especifique la cantidad de instancias de Amazon EC2 que desea aprovisionar en el clúster, los tipos de instancia que desea utilizar (estándar, con gran capacidad de memoria, de CPU, de E/S, etc.), las aplicaciones que desea instalar (Apache Spark, Apache Hive, Apache HBase, Presto, etc.) y la ubicación de las aplicaciones y los datos. Puede utilizar las acciones de arranque para instalar software adicional o cambiar la configuración predeterminada.
Monitorice el clúster
Puede monitorizar el estado y el progreso del clúster con la consola de administración, la interfaz de línea de comandos, los SDK o las API. EMR se integra en Amazon CloudWatch para monitorizar o generar alarmas y admite las herramientas conocidas de monitorización, como Ganglia. Puede agregar capacidad al clúster o quitarla en cualquier momento para administrar más o menos datos. Para solucionar problemas, utilice la interfaz gráfica de usuario de depuración sencilla que se incluye en la consola.
Recupere el resultado
Recupere el resultado de Amazon S3 o HDFS en el clúster. Visualice los datos con herramientas como Amazon QuickSight, Tableau y MicroStrategy. Amazon EMR terminará el clúster automáticamente cuando se complete el procesamiento. De forma alternativa, puede mantener la ejecución del clúster e incluir más trabajo.
¿Está preparado para lanzar su primer clúster?
Haga clic aquí para lanzar un clúster mediante la consola de administración de Amazon EMR. En la página Creación de clúster, vaya a la configuración del clúster avanzada y haga clic en el botón gris “Configurar aplicación de muestra” situado en el extremo superior derecho si desea ejecutar una aplicación de muestra con datos de muestra.