Descubre cómo Splunk ITSI y Observabilidad Cloud resuelven incidentes eficientemente

Contenido

• Introducción
• Día en la vida de Total Muscle Inc
• Investigando un incidente
• Interacción entre sistemas
• Episodios y aprendizaje automático
• Impacto en los servicios
• Monitoreo del rendimiento de la aplicación
• Rastreo distribuido
• Análisis de causa raíz
• Selección de acciones y exploración
• Orquestación y automatización
• Resolución del incidente

Introducción

¡Hola a todos! Mi nombre es Nate y en este artículo, les mostraré un día en la vida en Total Muscle Inc, o como cariñosamente nos referimos, TMI. En TMI, nuestro objetivo es mantenernos ágiles y eficientes, haciendo uso de las mejores prácticas y herramientas para resolver incidentes de manera rápida y efectiva. Acompáñenme mientras investigamos un incidente reciente y descubrimos cómo nuestras soluciones tecnológicas nos ayudan en este proceso.

Día en la vida de Total Muscle Inc

Antes de sumergirnos en el incidente, déjenme darles una visión general de cómo funciona un día tíPico en TMI. Cada mañana, recibimos actualizaciones en nuestras pantallas con información sobre incidentes y tareas pendientes. Estas actualizaciones nos ayudan a priorizar nuestras actividades y proporcionan una visión general de las áreas que requieren atención. En este día en particular, tengo una incidencia que necesita ser atendida de inmediato. Sin perder tiempo, voy a sumergirme en la acción y resolverla.

Investigando un incidente

La incidencia que me ha sido asignada se encuentra en el sistema de Tickets de Servicenow. Ahí puedo ver información detallada sobre el incidente y las interacciones entre los diferentes sistemas. También tengo la capacidad de agregar otros miembros del equipo si es necesario y compartir información adicional en el canal de Slack correspondiente. Es importante revisar las anotaciones y recopilar toda la información relevante antes de continuar.

Interacción entre sistemas

Uno de los sistemas clave que utilizamos es el Servicio de Inteligencia IT (ITSI). Al acceder al sistema, puedo ver los episodios involucrados en este incidente en particular. Mediante el uso de aprendizaje automático, Splunk ayuda a reducir la cantidad de eventos y nos muestra los episodios relevantes por severidad. Aquí puedo ver que el incidente está afectando varios servicios críticos hasta llegar a los componentes de mayor facturación. Vamos a profundizar más en el servicio de pago, ya que parece ser la causa principal del problema.

Episodios y aprendizaje automático

Al analizar los episodios relacionados con el servicio de pago, podemos ver que ha habido una duración inusual y un aumento en el monitoreo de usuarios en tiempo real. Estos indicadores sugieren un problema potencial en el servicio. Para comprender mejor el impacto del incidente, exploraremos la topología y veremos cómo se está propagando a través de los diferentes componentes de la infraestructura.

Impacto en los servicios

Al observar la topología, identificamos que hay episodios críticos y de Alta severidad asociados al servicio de pago. Estos indican un posible impacto en los componentes clave de generación de ingresos. Aunque la situación parece preocupante, nos enfocaremos en el monitoreo del rendimiento de la aplicación para obtener más información.

Monitoreo del rendimiento de la aplicación

El monitoreo del rendimiento de la aplicación (APM) nos proporciona métricas y estadísticas detalladas sobre el comportamiento de la aplicación en tiempo real. Esta herramienta nos permite examinar los tiempos de carga y las sesiones de muestra para identificar problemas específicos. Utilizando la función de trazabilidad distribuida, podemos seguir el rastro desde el monitoreo de usuarios en tiempo real hasta el monitoreo del rendimiento de la aplicación para comprender mejor el impacto del incidente.

Rastreo distribuido

Al profundizar en el rastreo distribuido, podemos examinar las transacciones específicas y ver detalles como la carga de documentos y los errores de consola. Estos detalles nos brindan información valiosa sobre el rendimiento y los posibles problemas dentro de la aplicación. Además, podemos realizar un seguimiento completo del flujo de trabajo desde la perspectiva del negocio y centrarnos específicamente en el servicio de pago.

Análisis de causa raíz

Para identificar la causa raíz del problema, nos adentraremos en los registros del sistema. Aquí, podemos filtrar los registros en función de diferentes criterios, como el nombre del nodo. Al analizar los registros específicos del pod de interés, encontramos un error recurrente asociado al certificado SSL. Esto parece ser la causa raíz del problema y explica los errores en el procesamiento de pagos.

Selección de acciones y exploración

Con una mejor comprensión de la causa raíz, decidimos tomar medidas para solucionar el problema. Para monitorear futuros incidentes similares, configuramos un detector de cambio repentino en la tasa de errores utilizando Splunk APM. Esta función nos alertará en caso de un aumento significativo de errores, lo que nos permitirá actuar rápidamente. Además, utilizamos la automatización de Splunk Phantom para ejecutar tareas específicas, como reconstruir el servicio de pago afectado.

Orquestación y automatización

Splunk Phantom nos permite crear un flujo de trabajo de automatización para reconstruir el servicio de pago afectado. Utilizando un playbook predefinido, seguimos una serie de pasos detallados para solucionar el problema. Esta orquestación y automatización nos ayuda a minimizar el tiempo de inactividad y garantizar una respuesta rápida y efectiva ante incidentes similares en el futuro.

Resolución del incidente

Una vez que hemos tomado todas las medidas necesarias, resolvemos formalmente el incidente. Enviamos un mensaje al equipo del servicio de pago para informarles sobre la reconstrucción del Pod y proporcionarles toda la documentación necesaria. Con el incidente resuelto y el equipo debidamente informado, hemos completado nuestra misión de manera eficiente.

¡Gracias por acompañarme en este día en la vida de Total Muscle Inc! En TMI, trabajamos duro para mantenernos ágiles y resolver incidentes de manera efectiva utilizando nuestras herramientas y soluciones tecnológicas. Espero que esta experiencia les haya dado una idea de cómo enfrentamos y solucionamos problemas en nuestro entorno empresarial. ¡Sin más preámbulos, continúen con su día y disfruten del potencial de Splunk!

FAQ

Q: ¿Cómo se identificó la causa raíz del problema? A: Mediante el análisis de los registros del sistema de la aplicación, se identificó un error recurrente relacionado con un problema de certificado SSL en el procesamiento de pagos.

Q: ¿Se implementaron medidas para evitar futuros incidentes similares? A: Sí, se configuró un detector de cambio repentino en la tasa de errores utilizando Splunk APM. También se utilizó Splunk Phantom para automatizar la reconstrucción del servicio de pago afectado.

Q: ¿Cuál es el objetivo principal de Total Muscle Inc (TMI)? A: El objetivo principal de TMI es mantenerse ágil y eficiente en la resolución de incidentes, utilizando las mejores prácticas y soluciones tecnológicas disponibles.

Q: ¿Cuáles son las herramientas utilizadas por TMI para el monitoreo y solución de incidentes? A: TMI utiliza herramientas como Servicenow para la gestión de incidentes, Splunk para el análisis de datos y supervisión, Splunk APM para el monitoreo del rendimiento de la aplicación y Splunk Phantom para la orquestación y automatización de tareas.

Q: ¿Cómo se asegura TMI de que todos los miembros del equipo estén informados durante un incidente? A: TMI utiliza canales de comunicación como Slack y Servicenow para compartir información y actualizar a los miembros del equipo durante la resolución de incidentes.

Recursos adicionales

• Servicenow
• Splunk
• Splunk APM
• Splunk Phantom