Características de Amazon OpenSearch Service

Comenzar a usar Amazon OpenSearch Service es fácil. Puede instalar y configurar el clúster de OpenSearch Service con la Consola de administración de AWS o con una única llamada a la API a través de la Interfaz de la línea de comandos de AWS (AWS CLI). Puede especificar la cantidad de instancias, los tipos de instancias y las opciones de almacenamiento, además de modificar o eliminar los clústeres existentes en cualquier momento.

OpenSearch Service facilita la actualización de los clústeres de OpenSearch y Elasticsearch (hasta la versión 7.10) a versiones más recientes sin tiempo de inactividad, mediante actualizaciones de versión locales. Las actualizaciones locales eliminan el arduo proceso de tomar una instantánea manual, restaurarla en un clúster que ejecute la versión más reciente y actualizar todas las referencias del punto de conexión.

OpenSearch Service incluye el monitoreo de eventos y las alertas integrados, lo que permite monitorear los datos almacenados en el clúster y enviar notificaciones automáticas de acuerdo con los límites preconfigurados. Creada con el complemento de alertas de OpenSearch, esta característica permite configurar y administrar las alertas mediante la interfaz de Kibana u OpenSearch Dashboards y la API de REST. Puede recibir notificaciones a través de webhooks personalizados, Slack, Amazon Simple Notification Service (Amazon SNS) y Amazon Chime. También puede consultar métricas del estado del clúster, como la cantidad de instancias, el estado del clúster, los documentos con función de búsqueda, la CPU y la memoria, así como el uso del disco para los datos y los nodos maestros mediante Amazon CloudWatch, sin costo adicional.

Con OpenSearch Service, no es necesario dominar el lenguaje específico de dominio (DSL) de consulta de OpenSearch. Escriba consultas SQL con OpenSearch SQL o utilice el procesamiento de lenguaje canalizado (PPL, Piped Processing Language) de OpenSearch, un lenguaje de consulta que le permite utilizar la sintaxis de canalización (|), para explorar, descubrir y consultar sus datos. OpenSearch Dashboards también incluye un banco de trabajo SQL y PPL.

OpenSearch Service ofrece OpenSearch Dashboards y Kibana incorporados (Elasticsearch versión 7.10 o anterior) e integración con Logstash, de modo que pueda capturar y visualizar los datos con las herramientas de código abierto que prefiera. Lleve a cabo análisis de rastreos con la ayuda de OpenSearch Service con el estándar OpenTelemetry de código abierto y siga usando su código existente con acceso directo a las API y los complementos de Elasticsearch, como Kuromoji, Phonetic Analysis, Ingest Processor Attachment, Ingest User Agent Processor y Mapper Murmur3.

Con OpenSearch Service, puede conectar de forma segura las aplicaciones al entorno administrado de Elasticsearch (versión 7.10 o anterior) u OpenSearch desde su Amazon Virtual Private Cloud (Amazon VPC) o a través de Internet público, mediante la configuración del acceso a la red con grupos de seguridad de VPC o políticas de acceso basadas en IP. También puede autenticar a los usuarios de forma segura y controlar el acceso mediante Amazon Cognito, AWS Identity and Access Management (IAM) o la autenticación básica mediante nombre de usuario y contraseña. OpenSearch Service usa el complemento de seguridad de OpenSearch, lo que le permite definir permisos pormenorizados para índices, documentos o campos. También puede ampliar Kibana con vistas de solo lectura y compatibilidad segura para varios usuarios. OpenSearch Service admite cifrado integrado para los datos en reposo y en tránsito, de forma que puede proteger sus datos cuando están almacenados en su dominio y en instantáneas automatizadas, así como cuando se transfieren entre nodos en su dominio. OpenSearch Service cumple los requisitos de HIPAA y las normas PCI DSS, SOC, ISO y FedRAMP, lo que facilita la creación de aplicaciones que satisfagan los requisitos de cumplimiento.

Sin servidor: aprovisione de manera automática y ajuste de forma continua para obtener tasas de ingesta de datos rápidas y tiempos de respuesta de milisegundos durante la demanda y los patrones de uso cambiantes con Amazon OpenSearch sin servidor.

El almacenamiento de acceso frecuente permite recuperar rápidamente los datos a los que se accede con frecuencia. UltraWarm es un nivel de almacenamiento de acceso intermedio que complementa el nivel de almacenamiento de acceso frecuente de OpenSearch Service, ya que proporciona almacenamiento menos costoso para los datos más antiguos a los cuales se accede con menos frecuencia, pero sigue ofreciendo una experiencia de consultas interactiva. UltraWarm almacena datos en Amazon Simple Storage Service (Amazon S3) y utiliza nodos personalizados y altamente optimizados, creados con fines específicos en AWS Nitro System, para almacenar en la memoria caché, ubicar en la memoria con anticipación y consultar esos datos.

Con UltraWarm, puede retener hasta 3 PB de datos en un único clúster de OpenSearch Service, a la vez que reduce el costo por GB en casi el 90 %, en comparación con el nivel de almacenamiento de acceso frecuente. También puede consultar y visualizar fácilmente los datos en su interfaz Kibana (versión 7.10 y anteriores) u OpenSearch Dashboards. Analice tanto sus datos de registro recientes (semanas) como los históricos (meses o años) sin tener que pasar horas o días restaurando registros archivados.

UltraWarm es un nivel de almacenamiento de acceso poco frecuente, totalmente administrado y de bajo costo para OpenSearch Service. Es compatible con OpenSearch, Elasticsearch (hasta la versión 7.10), OpenSearch Dashboards y Kibana (hasta la versión 7.10), lo que le permite analizar los datos con las mismas herramientas que ofrece actualmente OpenSearch Service. UltraWarm se integra sin problemas con las características existentes de OpenSearch Service, como las alertas integradas, las consultas SQL y más. 

UltraWarm le permite ampliar de forma rentable los datos que desea analizar en OpenSearch Service. Puede obtener información valiosa sobre los datos que anteriormente podrían haberse eliminado o archivado. Con UltraWarm, ahora puede retener de manera económica más datos para analizarlos de forma interactiva cuando lo desee.

OpenSearch Service admite dos niveles de almacenamiento integrados, de acceso frecuente y UltraWarm. El nivel de almacenamiento de acceso frecuente funciona con los nodos de datos que se utilizan para indexar, actualizar y proporcionar el acceso más rápido a los datos. Los nodos de UltraWarm complementan el nivel de almacenamiento de acceso frecuente con un nivel de solo lectura y bajo costo para datos más antiguos a los que se accede con menos frecuencia.

UltraWarm utiliza Amazon S3 para el almacenamiento que está diseñado para alcanzar una durabilidad del 99,999999999 % y elimina la necesidad de configurar una réplica de Elasticsearch para los datos de acceso intermedio. Además, si tiene más de un nodo de UltraWarm, en caso de que se produzca un error en uno de ellos, los demás nodos de UltraWarm accederán automáticamente a los datos según sea necesario.

UltraWarm admite hasta 3 PB de datos primarios. UltraWarm está diseñado para permitirle utilizar completamente el 100 % de este almacenamiento. Además, dado que UltraWarm almacena los datos en Amazon S3 para garantizar su durabilidad, no necesita utilizar almacenamiento adicional para las réplicas de Elasticsearch.

UltraWarm ofrece una experiencia interactiva en OpenSearch Dashboards y Kibana mediante la implementación de almacenamiento en caché pormenorizado de operaciones de E/S, captura previa y optimizaciones del motor de consulta para ofrecer un rendimiento similar al de las instancias de alta densidad que utilizan almacenamiento local.

Para comenzar a utilizar UltraWarm, cree un nuevo dominio de OpenSearch Service con UltraWarm habilitado a través de la consola, la CLI o las API. Una vez que se crea su dominio, puede mover los datos de un nivel de almacenamiento de acceso frecuente a UltraWarm con las API de OpenSearch o Elasticsearch. Para obtener más información, consulte la Guía para desarrolladores de OpenSearch Service.

El almacenamiento de acceso poco frecuente es la opción de almacenamiento de menor costo de OpenSearch Service, que le permite retener los datos a los que se accede con poca frecuencia en Amazon S3 y solo pagar por computación cuando lo necesite. El almacenamiento de acceso poco frecuente se basa en UltraWarm, que brinda nodos especializados para almacenar datos en Amazon S3 y utiliza una solución de caché sofisticada para proporcionar una experiencia interactiva. Al desacoplar los recursos de computación del almacenamiento, el almacenamiento de acceso poco frecuente le permite retener cualquier cantidad de datos en su dominio de OpenSearch Service a la vez que reduce el costo por GB casi al de los precios de almacenamiento de Amazon S3. Desconecte los datos históricos o a los que se accede con una frecuencia intermedia mientras no se utilizan y libere computación para ayudar a reducir los costos. En cuestión de segundos, descubra y adjunte de forma selectiva los datos fríos a los nodos UltraWarm de su dominio con la elección de una interfaz de Kibana (versión 7.10 y anteriores) o de OpenSearch Dashboards y unas API fáciles de usar. Con el almacenamiento en frío, puede consultar los datos fríos adjuntos con una experiencia interactiva y un rendimiento similares a los de sus datos de acceso intermedio o tibios.

OpenSearch incluye cierto código de Elasticsearch con licencia de Apache de Elasticsearch B.V. y otro código fuente. Elasticsearch B.V. no es el origen de ese otro código fuente. ELASTICSEARCH es una marca registrada de Elasticsearch B.V.

El almacenamiento de acceso poco frecuente es un nivel de almacenamiento de bajo costo completamente administrado para OpenSearch Service que le facilita el almacenamiento seguro y el análisis de sus registros históricos bajo demanda. El almacenamiento de acceso poco frecuente le permite desconectar completamente el almacenamiento de computación cuando no se analizan datos de forma activa y le permite mantener sus datos fácilmente disponibles a bajo costo. Los datos del almacenamiento de acceso poco frecuente están disponibles dentro del dominio de OpenSearch Service a través de sus nodos de UltraWarm. El almacenamiento de acceso poco frecuente se integra perfectamente con OpenSearch y OpenSearch Dashboards, así como con Elasticsearch (versión 7.9 y 7-10) y Kibana (versión 7.9 y 7.10). Permite analizar los datos con las mismas herramientas que ofrece actualmente OpenSearch Service.

El almacenamiento de acceso poco frecuente le permite ampliar de manera rentable el volumen de datos que desea analizar en OpenSearch Service y así obtener información valiosa sobre los datos que antes se podrían haber eliminado o archivado. El almacenamiento de acceso poco frecuente es ideal si tiene que llevar a cabo investigaciones o análisis forenses de sus datos más antiguos y desea utilizar todas las capacidades de OpenSearch Service para hacerlo, a un precio accesible. El almacenamiento de acceso poco frecuente está creado para escalar y está respaldado por Amazon S3. Encuentre y descubra los datos que necesita, adjúntelos a los nodos de UltraWarm en su clúster y póngalos a disposición para su análisis en segundos. Los datos de acceso poco frecuente adjuntos están sujetos a las políticas de control de acceso minucioso existentes que limitan el acceso a índices, documentos y campos.

Con el almacenamiento de acceso poco frecuente, OpenSearch Service admite tres niveles de almacenamiento integrados: de acceso frecuente, UltraWarm y de acceso poco frecuente. El nivel de acceso frecuente se utiliza para indexar, actualizar y proporcionar el acceso más rápido a los datos. UltraWarm proporciona una extensión perfecta de la capa de acceso frecuente al ofrecer nodos informáticos que ofrecen una experiencia interactiva de alto rendimiento para los datos que se almacenan de forma duradera en Amazon S3, y que actualmente admiten hasta 3 PB de datos en un solo dominio. Gracias al almacenamiento de acceso poco frecuente, ahora puede desconectar índices de UltraWarm mientras no están en uso y liberar computación para reducir costos. Con las API de almacenamiento de acceso poco frecuente y la interfaz de OpenSearch Dashboards y Kibana, puede detectar índices basados en patrones de índices y marcas de tiempo de datos para encontrar fácilmente lo que necesita para el análisis. Los datos pueden adjuntarse al dominio y estar listos para el análisis en cuestión de segundos. Cuando haya terminado con el análisis, basta con separar los datos para liberar de nuevo la computación. 

El almacenamiento de acceso poco frecuente está diseñado para ser escalable. Mientras que los límites de almacenamiento para los datos de acceso frecuente y semifrecuente siguen siendo de 3 PB, puede almacenar cualquier cantidad de datos en el almacenamiento de acceso poco frecuente.

El almacenamiento de acceso poco frecuente se basa en UltraWarm, que brinda nodos especializados para almacenar datos en Amazon S3 y utiliza una solución de caché sofisticada para proporcionar una experiencia interactiva. Los datos antiguos deben adjuntarse primero a los nodos de UltraWarm de su dominio de OpenSearch Service. Una vez adjuntados, los nodos de UltraWarm existentes impulsan las consultas en estos datos, lo que ofrece el mismo rendimiento que sus datos de acceso semifrecuente. Adjuntar índices sin actualizar a su dominio lleva unos segundos si hay suficiente capacidad de UltraWarm disponible para los datos solicitados. Si necesita capacidad adicional, es necesario agregar nodos de datos de UltraWarm, lo que puede tardar hasta algunos minutos.

Ayude a sus equipos de operaciones de seguridad (SecOps) a detectar posibles amenazas rápidamente y, al mismo tiempo, disponer de las herramientas necesarias para ayudar en las investigaciones de seguridad, todo ello con bajos costos de retención de datos. Proteja los datos de su empresa y detecte rápidamente posibles amenazas de seguridad. OpenSearch Service proporciona compatibilidad lista para usar con más de 2200 reglas de seguridad de Sigma de código abierto para detectar posibles amenazas de seguridad mediante el filtrado de los resultados de seguridad. Incluso puede personalizar o utilizar las reglas de Sigma predeterminadas para detectar rápidamente posibles amenazas a la seguridad y enviar alertas a un destino preseleccionado. Utilice la compatibilidad lista para usar con varias fuentes de registro, como Windows, Netflow, AWS CloudTrail, DNS y más. 

Los análisis de seguridad de OpenSearch están diseñados para ayudar a investigar, detectar, analizar y abordar las amenazas de seguridad que podrían poner en riesgo las operaciones de las funciones críticas de la empresa. Estas amenazas incluyen la posible exposición de datos confidenciales, los ciberataques y otros eventos de seguridad adversos. Incluye las herramientas y características necesarias para definir los parámetros de detección, generar alertas y responder de manera eficaz a las posibles amenazas.

Actualmente, se admiten ocho tipos de registros: los registros de NetFlow, los registros de DNS, los registros de acceso de Apache, los registros de Windows, los registros de AD/LDAP, los registros de sistemas Linux, los registros de AWS CloudTrail y los registros de acceso de Amazon S3.

Puede utilizar sus canalizaciones de ingesta existentes que envían datos en formato JSON a OpenSearch.

Sí, los análisis de seguridad de OpenSearch incluyen más de 2200 reglas de seguridad de Sigma para su uso inmediato con diferentes tipos de detectores de seguridad. Estas reglas se preseleccionan una vez que se proporciona una configuración mínima sobre el origen de registro.

Sí, se pueden agregar reglas personalizadas para los tipos de registro admitidos anteriormente. Estas reglas deben estar en formato de regla de Sigma y se pueden importar a OpenSearch antes de usarlas con un detector de seguridad.

Sí, los registros deben estar en formato JSON. Recomendamos enviarlos en formato ECS (Elastic Common Schema)

Los análisis de seguridad de OpenSearch están disponibles sin costo adicional ni tasas de licencia. Paga el mismo costo que pagaría por ingerir otros datos en OpenSearch Service.

Los análisis de seguridad vienen preinstalados con OpenSearch Service en la versión 2.5 o superior de OpenSearch.

Amazon Security Lake centraliza automáticamente los datos de seguridad de orígenes personalizados, locales y en la nube en un lago de datos diseñado especialmente que se almacena en su cuenta. Estos datos agregados se normalizan en un formato común, almacenado en buckets de S3. Estos datos se pueden incorporar a OpenSearch Service, que le permite visualizar, consultar y crear informes. Los análisis de seguridad proporcionan un motor de reglas de seguridad que puede ser de ayuda para detectar y alertar sobre posibles eventos de seguridad, así como para correlacionarlos con el objetivo de facilitar la investigación.

Sí, puede incorporar registros adicionales de Security Lake a OpenSearch y crear un detector para ejecutar las reglas pertinentes en los registros ingeridos.

OR1, la familia de instancias optimizadas de OpenSearch, que ofrece una mejora de hasta un 30 % en cuanto a la relación precio-rendimiento con respecto a las instancias existentes en los análisis de rendimiento internos y utiliza Amazon S3 para ofrecer 11 9 segundos de durabilidad. Con OR1, Amazon OpenSearch Service utiliza la innovación de OpenSearch y las tecnologías de AWS para reimaginar la forma en que los datos se indexan y almacenan en la nube. OR1 permite a los clientes escalar de manera más económica y confiable sus implementaciones de OpenSearch sin comprometer la experiencia de análisis interactivo que esperan. 

OR1, la familia de instancias optimizadas de OpenSearch para clústeres administrados de Amazon OpenSearch Service, ofrece una mejora de hasta un 30 % en cuanto a la relación precio-rendimiento con respecto a las instancias existentes en los análisis de rendimiento internos y utiliza Amazon S3 para ofrecer 11 9 segundos de durabilidad. Con OR1, Amazon OpenSearch Service utiliza la innovación de OpenSearch y las tecnologías de AWS para reimaginar la forma en que los datos se indexan y almacenan en la nube. OR1 permite a los clientes escalar de manera más económica y confiable sus implementaciones de OpenSearch sin comprometer la experiencia de análisis interactivo que esperan. OR1 ofrece precios de pago por uso y de instancias reservadas, con una tarifa por hora simple para las instancias y el almacenamiento aprovisionados.

Los clientes utilizan ampliamente Amazon OpenSearch Service para el análisis de registros operativos debido a su capacidad de ingerir grandes volúmenes de datos y, al mismo tiempo, proporcionar análisis completos e interactivos de estos datos. OR1, la familia de instancias optimizadas de OpenSearch, que ofrece una mejora de hasta un 30 % en cuanto a la relación precio-rendimiento con respecto a las instancias existentes en los análisis de rendimiento internos y utiliza Amazon S3 para ofrecer 11 9 segundos de durabilidad. Si ejecuta cargas de trabajo de análisis operativo de indexación pesadas, puede beneficiarse de la mejora del rendimiento y la eficiencia informática. Además, en caso de una falla, OpenSearch puede realizar una recuperación automática de datos hasta la última operación exitosa, lo que mejora la fiabilidad del dominio.

Amazon OpenSearch Service admite dos estrategias de replicación: la replicación lógica (de documentos) y la física (de segmentos). En el caso de la replicación lógica, los datos se indexan en todas las copias de forma individual, lo que lleva a la duplicación de esfuerzos. En el caso de la replicación física, los datos se indexan solo en la copia principal y se crean copias adicionales copiando los datos de la copia principal. OR1, las nuevas instancias para los clústeres administrados de Amazon OpenSearch Service, utilizan la replicación física para escribir datos en el almacenamiento remoto basado en Amazon S3. El repositorio Amazon S3, un almacén de datos muy duradero, sirve como fuente fiable para todas las operaciones de replicación y recuperación. El diseño innovador permite mejorar el rendimiento de la indexación y mejorar la postura de durabilidad de los dominios de Amazon OpenSearch Service.

Amazon OpenSearch Service admite nodos de administración de clústeres (nodos maestros), nodos de datos y nodos en caliente. En cuanto a los nodos de datos, los clientes pueden seleccionar entre instancias de uso general, optimizadas para memoria, optimizadas para computación, optimizadas para almacenamiento y, ahora, optimizadas para OpenSearch, según las características del rol y la carga de trabajo. Para los nodos calientes, Amazon OpenSearch Service proporciona instancias ultracalientes que están optimizadas para reducir el costo de almacenamiento de datos en caliente. OR1 es la primera opción de instancia de la nueva familia de instancias optimizadas de OpenSearch. Las OR1 están optimizadas para la memoria y están disponibles como nodos de datos. Las OR1 proporcionan un rendimiento de indexación mejorado en comparación con las instancias estándar optimizadas para memoria. Además, las OR1 proporcionan durabilidad de los datos sin depender de instantáneas y proporcionan una recuperación rápida y automatizada. Tanto las instancias OR1 como las de Ultrawarm utilizan un almacén local (EBS) y un almacén remoto (almacenamiento administrado, basado en Amazon S3) para almacenar los datos. En el caso de OR1, se guarda una copia de los datos tanto en el almacén local como en el almacén remoto, mientras que para Ultrawarm, para reducir los costos de almacenamiento, los datos se guardan principalmente en el almacén remoto y, según el patrón de acceso, los datos se trasladan al almacén local. 

Las instancias OR1 utilizan EBS como almacén local y Amazon S3 como almacén remoto. Todos los datos se escriben de forma sincrónica en el Amazon S3, diseñado para proporcionar una durabilidad de los datos del 99,999999999 % (11 9 s).

Las instancias OR1 se pueden utilizar como nodos de datos para todos los nuevos clústeres administrados por Amazon OpenSearch Service creados en la versión 2.11 o versiones posteriores de OpenSearch y que tengan habilitado el cifrado en reposo. En el momento del lanzamiento, las instancias OR1 no estarán disponibles para los clústeres administrados que se crearon con otras instancias para los nodos de datos. Para OR1, debe aprovisionar instancias de Graviton para los administradores de clústeres.

Si el índice aparezca en rojo, las instancias OR1 restauran automáticamente las particiones faltantes del almacén remoto (Amazon S3). El tiempo de recuperación varía según el volumen de datos que se van a recuperar. 

Libro electrónico de arquitectura de referencia 

Video: Herramientas para transformación de datos