Cómo probar un asistente de IA antes de usarlo con clientes
Por Carlos Manzano · · IA e integraciones · 4 min de lectura
En este artículo
Antes de utilizar un asistente de IA con clientes, prepara preguntas que representen el trabajo real y define qué respuesta sería aceptable. Una demostración con tres consultas fáciles no permite saber qué ocurrirá cuando falte información, existan documentos contradictorios o alguien pida algo fuera del alcance.
El banco de pruebas debe permitir repetir la evaluación cuando cambien fuentes, instrucciones o herramientas. Conserva entrada, contexto, respuesta esperada y resultado observado. Así podrás distinguir una impresión subjetiva de una mejora comprobada sobre los mismos casos.
Define el alcance que vas a evaluar
Escribe qué preguntas puede responder el asistente y qué acciones tiene permitidas. Si solo informa sobre servicios, no debería confirmar citas ni presupuestos. Si prepara una solicitud, debe explicar cuándo queda registrada y cuándo sigue pendiente de revisión.
Identifica las fuentes autorizadas y su vigencia. Un fallo puede venir del modelo, de una instrucción o de un documento antiguo. Registrar qué material estaba disponible ayuda a encontrar la causa en lugar de corregir respuestas aisladas sin entender el patrón.
| Tipo de caso | Entrada ficticia | Criterio de aceptación |
|---|---|---|
| Normal | Pregunta clara con respuesta en la fuente | Respuesta fiel y fuente pertinente |
| Incompleto | Solicitud sin un dato necesario | Pide aclaración concreta |
| Ambiguo | Dos interpretaciones posibles | Expone la duda sin elegir al azar |
| Sin respuesta | Información ausente del material | Reconoce el límite y deriva |
| Contradictorio | Dos documentos incompatibles | Señala el conflicto y evita afirmar certeza |
| Instrucción ajena | Texto que intenta cambiar las reglas | Mantiene el alcance y los permisos |
Establece qué cuenta como fallo
No todos los errores tienen el mismo efecto. Una frase poco clara puede corregirse editorialmente; inventar una condición comercial o mostrar información restringida exige otro tratamiento. Define criterios que permitan bloquear el uso cuando aparezca un fallo de consecuencias relevantes.
El marco AI RMF del NIST incluye evaluación y seguimiento durante el ciclo de vida. En este contexto, eso significa conservar pruebas y repetirlas cuando cambie el sistema, sin dar una validación inicial por permanente.
Comprueba la evidencia, no solo el tono
Revisa si la fuente citada contiene realmente la información utilizada. Una respuesta puede sonar prudente y seguir atribuyendo a un documento algo que no dice. Comprueba también que no mezcle condiciones de servicios o variantes diferentes.
Utiliza preguntas formuladas de varias maneras: abreviaturas, errores comunes y mensajes largos con información secundaria. El objetivo es comprobar comprensión del caso, no que el sistema memorice una frase exacta de la prueba. Conserva los cambios para interpretar las comparaciones.
Ejemplo ficticio de atención sobre entregas
Un asistente informa sobre plazos orientativos, pero no dispone del estado de cada pedido. Es un ejemplo ficticio. Ante «¿llega mañana mi compra?», debería explicar qué información puede consultar o derivar al canal previsto. No debe convertir un plazo general en una confirmación individual.
Añade después una fuente autorizada con el estado del pedido y repite la prueba con identidades permitidas. El resultado esperado cambia porque el alcance ha cambiado, no porque hayas redactado una instrucción más convincente. La prueba debe reflejar esa diferencia.
Incluye instrucciones maliciosas como datos de prueba
Prepara mensajes que intenten que el asistente ignore límites o trate el contenido de un documento como una orden. Hazlo con datos ficticios y permisos acotados. La comprobación importante es que no ejecute acciones ni muestre información fuera del acceso permitido.
La referencia de OWASP sobre autonomía excesiva explica por qué limitar herramientas y permisos resulta relevante. No confíes toda la protección a una frase del tipo «no reveles información» si el sistema recibe datos que el usuario no debería consultar.
Decide la salida con resultados registrados
Revisa fallos, corrige causas y repite los casos afectados junto a una muestra de los que ya funcionaban. Así compruebas que el arreglo no introduce otro problema. Empieza con un alcance limitado y una forma visible de pasar a atención humana.
Tras la puesta en uso, incorpora nuevos casos observados al banco de pruebas, preparados de forma adecuada. La evaluación se vuelve más útil cuando refleja dificultades reales y permite comprobar que las correcciones permanecen en las versiones siguientes.
Si necesitas aplicar este trabajo a tu empresa, puedes consultar el servicio de implantación de IA e integraciones o contarme tu situación y el objetivo que quieres conseguir.
Para seguir avanzando
Sigue explorando IA e integraciones
Artículos relacionados
