Todo lo que necesitas saber sobre RAG (Generación Aumentada por Recuperación)

31 octubre, 2024

El papel de la IA en la gestión de servicios de TI

Los grandes modelos de lenguaje (LLMs), la generación aumentada por recuperación (RAG) y los grafos de conocimiento (KGs) están transformando nuestra forma de gestionar y utilizar grandes cantidades de datos. Comprender cada una de estas tecnologías y cómo interactúan puede proporcionar una visión más profunda de su potencial para transformar la gestión de servicios de TI (ITSM). Los LLMs son modelos avanzados de la IA entrenados en grandes cantidades de datos para generar textos similares a los humanos a partir de los datos de entrada que reciben. Cabe destacar que los grandes modelos de lenguaje en sí mismo no tienen memoria ni acceso a información en tiempo real. Además, los LLMs pueden perder enfoque y alucinar especialmente cuando se les da una entrada extensa.

Para abordar algunas limitaciones de los LLMs, la generación aumentada por recuperación (RAG) puede jugar un papel importante. RAG es una técnica que mejora las funciones de los LLMs al recuperar dinámicamente información externa de una base de conocimientos en el momento de la consulta. Esto permite que los LLMs accedan a información actualizada sobre la consulta y generen respuestas más precisas y relevantes.

Si bien RAG mejora significativamente los LLMs al proporcionarles acceso a datos externos, los grafos de conocimiento (KGs) ofrecen otra capa de sofisticación. Los KGs son bases de datos estructuradas que almacenan datos en una red interconectada de entidades y sus relaciones. Proporcionan una manera estructurada de representar el conocimiento en varios dominios, incluido el ITSM. Los KGs se pueden utilizar para mejorar aún más el rendimiento de los LLMs en casos donde RAG puede no ser suficiente, especialmente en escenarios complejos de resolución de problemas en múltiples pasos, comunes en ITSM. Al utilizar KGs, los sistemas pueden navegar por los puntos de datos conectados para extraer y utilizar información relevante al contexto de las necesidades específicas del usuario.

Juntos, los LLMs, RAG y KGs forman una combinación poderosa para los casos de uso en gestión de servicios de TI. Al aprovechar los LLMs por su poderosa capacidad de comprensión y generación de lenguaje, aumentarlos con RAG para la recuperación dinámica de información e incorporar KGs para proporcionar conocimientos contextuales profundos y estructurados, las plataformas ITSM pueden alcanzar niveles sin precedentes de automatización, precisión y eficiencia. En este blog tenemos como objetivo profundizar en los beneficios que estas tecnologías aportan a ITSM.

La IA avanzada en ITSM: ¿cómo funciona todo esto?

RAG

Esta imagen proporciona un ejemplo simplificado e hipotético de cómo los grandes modelos de lenguaje (LLMs), la generación aumentada por recuperación (RAG) y los grafos de conocimiento (KGs) pueden trabajar juntos para mejorar la gestión de servicios de TI (ITSM).

El sistema extrae información clave de una base de conocimientos y la plasma en un grafo de conocimiento, el cual ilustra cómo varios elementos como el servidor, la aplicación y los dispositivos relacionados están interconectados. Esta representación estructurada se almacena en una base de datos, y luego se convierte en incrustaciones (embeddings) para que pueda buscarse posteriormente. Un modelo de embedding (incrustaciones) también ayuda a convertir otros datos de la base de conocimientos, así como la consulta en formato de embedding. Este formato permite al sistema buscar en el grafo de conocimiento y en las bases de datos relacionadas para obtener contexto relevante. Luego, el LLM utiliza este contexto para generar una respuesta coherente y precisa. Este enfoque demuestra cómo estas tecnologías pueden complementarse entre sí: el grafo de conocimiento proporciona un contexto estructurado, RAG recupera dinámicamente datos actualizados y el LLM sintetiza esta información en un conocimiento útil y procesable.

Aprovechamiento de la Generación Aumentada por Recuperación, los LLMs y los Grafos de Conocimiento en ITSM

La integración de tecnologías avanzadas como los modelos de lenguaje amplio (LLMs), la generación aumentada por recuperación (RAG) y los grafos de conocimiento (KGs) podría transformar el panorama informático. Estas tecnologías pueden, en conjunto, mejorar la gestión de operaciones de TI (ITOM), la gestión de servicios de TI (ITSM) y la inteligencia artificial para operaciones de TI (AIOps). Al implementar LLMs en marcos de ITSM, es posible proporcionar respuestas instantáneas y contextualizadas a las consultas de los clientes, lo cual puede ayudar a reducir los tiempos de resolución y mejorar la satisfacción del cliente. Por ejemplo, los LLMs pueden ayudar a automatizar la generación de tickets, la clasificación y el análisis de opiniones, priorizando potencialmente los problemas según su urgencia para cumplir más constantemente con los objetivos de los acuerdos de nivel de servicio (SLA). Además, los LLMs pueden servir como asistentes virtuales o chatbots, resumiendo interacciones que podrían mejorar la eficiencia operativa en los marcos ITSM.

Complementando esto, RAG podría mejorar la recuperación de información relevante de amplias bases de conocimientos, permitiendo así a los equipos de asistencia identificar y aplicar las soluciones más relevantes de manera más efectiva. Los grafos de conocimiento también pueden mejorar los procesos de toma de decisiones al proporcionar visualizaciones estructuradas de las relaciones entre activos de TI, incidencias y soluciones. Esta claridad podría ayudar a los equipos a navegar escenarios complejos y a tomar decisiones más informadas, simplificando potencialmente la identificación de incidencias recurrentes.

Más allá de la asistencia al cliente, los LLMs, RAG y KGs también pueden potenciar otras funciones esenciales de TI. Podrían perfeccionar los sistemas de recomendación al ofrecer sugerencias precisas y sensibles al contexto, basadas tanto en el análisis de datos históricos como en tiempo real. En el ámbito de AIOps, estas tecnologías podrían jugar un papel en la gestión de fallos al analizar registros, identificar causas de origen y automatizar acciones correctivas, lo que podría minimizar los tiempos de inactividad y mejorar la fiabilidad del sistema. Estos beneficios potenciales sugieren una integración prometedora de tecnologías de la IA en ITSM.

El futuro de los LLMs en ITSM: Modelos específicos de dominio y de tarea

Si bien los grandes modelos de lenguaje (LLMs) de uso general han demostrado ser eficaces en una amplia gama de aplicaciones, pueden ser limitados y quedarse cortos en dominios especializados como la gestión de servicios de TI (ITSM). Estos modelos suelen estar entrenados en conjuntos de datos vastos y diversos, que pueden no incluir el conocimiento profundo y específico necesario para abordar eficazmente los desafíos únicos de ITSM. Esto puede resultar en respuestas menos precisas, malinterpretaciones técnicas o una comprensión incompleta de las operaciones y protocolos de TI. En cambio, los LLMs específicos de dominio y de tarea pueden ofrecer una ventaja significativa en aplicaciones de ITSM. Estos modelos pueden afinarse en conjuntos de datos ricos en lenguaje y escenarios específicos de ITSM, lo que les permite comprender y responder mejor a las necesidades del dominio.

La integración de estos modelos con tecnologías como la generación aumentada por recuperación (RAG) y los grafos de conocimiento (KGs) puede mejorar aún más su eficacia, ayudándoles a gestionar escenarios complejos de preguntas y respuestas donde una respuesta requiere combinar información de múltiples fuentes de manera eficaz. Además, la búsqueda semántica usando embeddings (incrustaciones), que se utilizan para hacer coincidir las consultas de los usuarios con la información más relevante, a veces puede no detectar la verdadera intención del usuario. Por ejemplo, si un usuario envía un ticket solicitando ayuda con una «interrupción del servidor» pero especifica «no relacionada con problemas de red», es posible que aun así se le envíen pasos de resolución de problemas enfocados en problemas de red. Un vacío que los modelos específicos de dominio, con la ayuda de grafos de conocimiento, podrían particularmente llenar en el futuro.

Estos LLMs personalizados, especialmente cuando se mejoran con KGs y modelos de embeddings (incrustaciones) específicos de dominio, representan un futuro prometedor para la IA en ITSM. En nuestro laboratorio de la IA, estamos comprometidos a expandir los límites de lo posible en la gestión de servicios de TI (ITSM) a través de soluciones avanzadas de la IA. Actualmente, estamos enfocados en afinar LLMs que ofrezcan capacidades multilingües robustas específicamente adaptadas a casos de uso de ITSM. Esto garantiza que nuestros modelos puedan manejar diversas necesidades lingüísticas mientras se integran profundamente en los procesos de ITSM.

Además, estamos desarrollando modelos de embeddings (incrustaciones) multilingües afinados para ITSM, que pueden incorporarse sin problemas en funcionalidades de generación aumentada por recuperación (RAG), búsqueda y en la integración de grafos de conocimiento. Al combinar las fortalezas de los LLMs con técnicas de punta de RAG y los cada vez más populares grafos de conocimiento, estamos mejorando la base de conocimientos y la precisión de las respuestas de nuestras soluciones de la IA. Mirando al futuro, vemos un gran potencial en la RAG multimodal y en los LLMs optimizados para RAG, lo que mejorará aún más la capacidad de la IA para entender y generar respuestas significativas en entornos de TI.

Nuestro laboratorio de la IA también está dedicado a mejorar los flujos de trabajo, la supervisión y la flexibilidad en los entornos de ITSM. Nuestras soluciones están diseñadas para proporcionar asistencia integral en diversas funciones de ITSM, asegurando operaciones fluidas y una gestión proactiva. Te invitamos a explorar nuestras investigaciones e innovaciones en curso y a ver de primera mano cómo nuestras soluciones de la IA personalizadas pueden revolucionar tus operaciones de TI. Consulta las publicaciones de nuestro equipo o programa una demostración para descubrir el futuro de ITSM con la IA.

Lecturas complementarias

Xu, Z., Cruz, M. J., Guevara, M., Wang, T., Deshpande, M., Wang, X., & Li, Z. (julio de 2024). Generación aumentada por recuperación con grafos de conocimiento para la respuesta a preguntas del servicio al cliente. En Proceedings of the 47th International ACM SIGIR Conference on Research and Development in Information Retrieval (pp. 2905-2909).

Béchard, P., & Ayala, O. M. (2024). Reducción de alucinaciones en salidas estructuradas mediante la generación aumentada por recuperación. arXiv preprint arXiv:2404.08189.

Huang, Y., & Huang, J. (2024). Una encuesta sobre la generación de texto aumentada por recuperación para modelos de lenguaje amplio. arXiv preprint arXiv:2404.10981.

Hossein Mohanna
Hossein Mohanna
Data scientist with background in software engineering with 5+ years of experience.