Herramientas para que los usuarios sin conocimientos técnicos aporten y mejoren las respuestas de los modelos

En cada lanzamiento de nuestros productos, el equipo de diseño de la experiencia del usuario (UXD) de Red Hat prioriza la implementación de aspectos que se relacionan directamente con los comentarios y la información de los clientes. Para un producto nuevo como Red Hat Enterprise Linux AI (RHEL AI), tuvimos que ser creativos. Los canales de retroalimentación que utilizamos para mejorar constantemente la experiencia en esta próxima versión incluyen la participación en la comunidad upstream, comentarios directos de usuarios a través de Slack, entrevistas con miembros del equipo interno, así como con usuarios de inteligencia artificial y entusiastas interesados en adoptar RHEL AI y explorar nuestro panorama competitivo. Esto nos permitió orientar nuestro trabajo de diseño para la versión RHEL AI 1.4 y las posteriores.

Nos complace destacar algunas de las principales funciones nuevas:

• Conversión de documentos: brinda la capacidad de convertir los archivos cargados al formato Markdown automáticamente. Ahora los usuarios pueden cargar archivos PDF, HTML, documentos ASCII, etc., y estos se convertirán a este formato.
• Evaluación del chat del modelo: permite que los usuarios evalúen las respuestas del modelo

Experiencia de contribución

La experiencia de contribución está en versión de prueba para desarrolladores y es una interfaz gráfica de usuario (GUI) que se creó con el fin de ayudar a los especialistas en la materia a crear sus aportes para ofrecer sus conocimientos sin necesidad de comprender YAML. Esto reduce la necesidad de tener experiencia técnica para contriubuir al modelo y mejorar las respuestas. Para obtener más contexto e información, consulta este excelente blog escrito en diciembre por nuestros colegas de ingeniería.

Analicemos algunos ejemplos específicos de las áreas en las que nos centramos en mejorar para la versión de prueba para desarrolladores.

Formato de los conocimientos

Comentarios que recibimos:

La edición de los archivos YAML sigue siendo un problema importante, ya que la mayoría de los usuarios destacan los desafíos. En particular, es más complejo para los especialistas en la materia que no son técnicos. La tarea general de ingresar los datos es abrumadora y no siempre está claro qué es obligatorio y qué es opcional, lo que a menudo genera errores por la sangría incorrecta, los espacios en blanco al final de la línea, etc.

Soluciones que ofrecemos con la versión 1.4:

Continuamos revisando y mejorando la interfaz de usuario de contribución de conocimientos para reducir los problemas sin afectar las respuestas y el rendimiento del modelo. En la próxima repetición, el equipo de UXD recomendó trasladar el formulario largo a un asistente que guíe a los usuarios durante el proceso y garantice que se está avanzando en cada paso.

Además, cuando se carguen los documentos, se convertirán automáticamente a Markdown.

Adición de un extremo para chatear con el modelo

Seguimos mejorando la experiencia del extremo del modelo personalizado con el fin de permitir que los usuarios chateen con sus modelos.

Para acceder a ellos, los usuarios deben configurar un extremo de chat exclusivo dentro de la plataforma, que permite enviar mensajes en un formato conversacional y recibir respuestas que mantienen el contexto durante toda la interacción. Esto implica especificar el modelo deseado, los detalles de autenticación y la URL del extremo de la interfaz de programación de aplicaciones (API) para enviar solicitudes a las interacciones con el chat.

Comentarios que recibimos:

En nuestra primera repetición, a la lista de extremos que se creó (llamada visualización de lista) le faltaba un contexto útil para que los usuarios pudieran aprovechar con éxito las funciones del extremo y comunicarse con sus modelos personalizados. Además, no había una conexión clara entre el chat y la experiencia del modelo, lo que dio lugar a solicitudes para que trabajemos en acercar los flujos de trabajo.

Posibles mejoras para el futuro:

• Comprobación del estado: agregaremos una columna de comprobación del estado para ayudar al usuario a identificar rápidamente los problemas con la disponibilidad de los extremos.
• Acciones: añadiremos un botón para que los usuarios habiliten o deshabiliten rápidamente la conexión del extremo. Proporcionaremos un menú desplegable adicional con un ícono de tres puntos verticales de PatternFly para los botones "Edit" y "Delete".
• Información: agregaremos un panel lateral desplegable que se puede abrir para ver la información adicional, como la última vez que se cambió la clave de la API y el enlace a la ruta de taxonomía.
• URL: incluiremos un ícono de copia para que el usuario pueda copiar rápidamente la URL.
• Orden predeterminado: añadiremos la capacidad de ordenar para que los elementos creados más recientemente aparezcan arriba.

Chat con el modelo

Hay muchos momentos en la experiencia en los que un usuario puede querer chatear con un modelo. Por ejemplo:

• para comprender mejor las deficiencias en las respuestas del modelo respondiendo a la pregunta: ¿tiene los datos que busco?;
• para comparar las respuestas del modelo base con las del modelo personalizado respondiendo a la pregunta: ¿mejoré el modelo?

Básicamente, un usuario puede querer comparar un modelo base, uno perfeccionado y personalizado con las funciones de perfeccionamiento de InstructLab y uno perfeccionado de InstructLab combinado con nuestras funciones de generación aumentada por recuperación (RAG).

Lo que aprendimos:

La primera repetición era una experiencia de chatbot muy básica que no podía visualizar la información fuente ni tomar medidas sobre las respuestas. Además, estaba aislada del flujo de trabajo del extremo del modelo. Tampoco tenía conversión de voz a texto para mejorar la accesibilidad.

Soluciones que ofrecemos con la versión 1.4:

Las mejoras en la interfaz del chat incluyen la capacidad de agregar un extremo de modelo personalizado directamente desde este flujo de trabajo.

Posibles mejoras para el futuro:

• capacidad para revisar las fuentes que se utilizan en las respuestas del modelo y tomar medidas (me gusta, no me gusta, copiar, descargar y volver a generar);
• uso de audio para crear un mensaje en lugar de ingresar uno manualmente;
• ayuda adicional en contexto.

Próximos pasos

Estamos preparando muchas mejoras interesantes y funciones nuevas:

• entrenamiento y generación de datos sintéticos;
• evaluación del modelo recién perfeccionado en comparación con el modelo base;
• perfeccionamiento integral sin necesidad de usar una interfaz de línea de comandos (CLI).

Comunícate con nosotros

Trabajamos constantemente para mejorar RHEL AI priorizando las necesidades de los clientes. Presta atención a las mejoras que vendrán en futuras versiones. Inscríbete para participar en los próximos proyectos de investigación y compartir tus experiencias con RHEL AI.

También únete a nuestra comunidad de InstructLab, consulta nuestra interfaz de usuario upstream (donde encontrarás un subconjunto de estas funciones) y comparte tus opiniones. Nos encantaría conectarnos con usuarios como tú.