La respuesta corta
Para probar un agente de IA antes de usarlo con clientes, reúne casos del negocio y define qué debería hacer en cada uno. Incluye información incompleta, negativas y excepciones. Prueba sin envíos reales, revisa decisiones y resultados, y reserva casos nuevos para comprobar la corrección. Una demostración bonita no basta para autorizarlo.
¿Qué demuestra una prueba y qué no demuestra una presentación?
Que la IA escriba un mensaje convincente no demuestra que sepa cuándo enviarlo. Puede responder bien a una consulta y equivocarse frente a alguien que ya pidió no recibir mensajes. Para el dueño, esa diferencia pesa más que el tono del texto.
Anthropic define una evaluación como una prueba donde se entrega una entrada y se aplica un criterio para medir el resultado. Su guía de enero de 2026 recomienda empezar con entre 20 y 50 tareas simples tomadas de fallos reales. Es una orientación del proveedor, no un mínimo que certifique tu negocio.
Mi criterio es exigir una decisión visible antes de celebrar la respuesta: ¿había que actuar, preguntar, esperar o pasar el caso a una persona? Probar un agente con casos del negocio significa comparar su decisión y su resultado con lo que el negocio acepta. Esa es la definición que importa al contratar una instalación.
¿Qué casos de tu negocio deben entrar en la prueba?
Empieza por un trabajo concreto: preparar seguimientos, clasificar solicitudes o revisar acuerdos de una llamada. Mezclar todo impide reconocer dónde falla. Si todavía no puedes describir la decisión, revisa cómo convertir el criterio del dueño en un agente de IA antes de pedir una prueba.
Incluye casos habituales, pero también situaciones donde hacer lo mismo sería un error. Anthropic recomienda probar tanto cuándo una conducta debe ocurrir como cuándo no debe ocurrir. Si todas tus conversaciones elegidas terminan en seguimiento, nunca comprobarás si el sistema sabe dejar de insistir.
Ejemplo hipotético: un prospecto pide recibir la propuesta el viernes; otro dice que no quiere más contacto. Ambos quedaron sin respuesta después del último mensaje. El primero necesita respetar una fecha. El segundo necesita que el seguimiento termine. Una regla basada únicamente en tiempo sin respuesta trataría igual dos decisiones distintas.
Añade información contradictoria y acuerdos incompletos. Quita nombres, teléfonos y detalles privados que no sean necesarios para decidir. No publiques conversaciones de clientes para demostrar que tu sistema funciona.
¿Cómo defines una respuesta aceptable antes de ejecutar?
Escribe para cada caso qué recibió el agente, qué debería decidir y qué resultado vas a revisar. Incluye también qué tiene prohibido hacer. No uses frases como responde bien o entiende al cliente: dos revisores pueden interpretarlas de maneras opuestas.
En el ejemplo del viernes, el resultado aceptable conserva la fecha acordada y prepara el trabajo correspondiente. Ante la negativa, no prepara otro intento de venta. Si la conversación no permite saber qué ocurrió, el resultado aceptable pide revisión; no completa la historia.
La guía de Anthropic propone que dos personas que conocen el trabajo puedan llegar al mismo veredicto al revisar el caso. Si el dueño y el responsable de ventas discrepan, aclaren la regla antes de culpar a la IA. La prueba también descubre contradicciones del negocio.
No exijas una frase idéntica cuando varias redacciones son correctas. Exige hechos exactos, una decisión permitida y un resultado útil. La forma puede variar. La promesa comercial y el acuerdo con el comprador, no.
¿Por qué debes reservar casos que no usaste para corregir?
Separa los ejemplos que sirven para explicar el trabajo de los que usarás para comprobarlo después. Guarda casos nuevos antes de empezar las correcciones. Así puedes observar si el agente aprendió a decidir o si solo reproduce respuestas que ya vio.
Cuando falle, identifica qué faltaba: información, una regla clara o una excepción. Corrige eso y repite la prueba anterior. Después presenta un caso reservado con la misma dificultad y palabras distintas. Si vuelve a fallar, la corrección todavía no alcanza.
También conviene repetir situaciones importantes. Un acierto aislado no demuestra consistencia. Registra qué cambió entre intentos y evita escoger solo el resultado más bonito para presentar al dueño. La entrega debe incluir los fallos, aunque incomoden.
¿Cómo pruebas el trabajo sin tocar a tus clientes?
Durante esta revisión, el agente prepara borradores y propuestas de decisión. No envía mensajes ni modifica registros reales de clientes. Una persona compara cada salida con el caso original y comprueba que conserva lo acordado. La prueba no debe producir el daño que busca detectar.
El resultado final necesita más revisión que la prosa. Si debe proponer una tarea, comprueba el destinatario y la fecha. Si debe registrar una solicitud, comprueba que no desaparezca información necesaria. Decir que terminó y entregar algo correcto son cosas distintas.
Para el paso posterior, la guía de control de la IA en ventas explica cómo repartir las decisiones. Aquí todavía estás comprobando si merece recibir ese trabajo. No amplíes su autoridad mientras corriges la prueba.
¿Qué evidencia debes exigir a quien te entrega la instalación?
Pide una relación de casos con resultado esperado, resultado observado y motivo de aceptación o rechazo. Debes poder abrir una prueba fallida y entenderla sin que el proveedor la explique por videollamada. Un porcentaje global oculta demasiado.
Exige identificar qué se probó: la tarea, la información disponible y la versión del sistema. Pide también los casos reservados, los errores pendientes y las situaciones excluidas. Un informe que solo contiene aciertos no sirve para decidir qué riesgo aceptas.
NIST, en su perfil de IA generativa de julio de 2024, recomienda aplicar y documentar pruebas desde etapas tempranas. También advierte que las condiciones de laboratorio pueden diferir del uso real. Por eso una prueba documentada respalda una primera autorización limitada, no una promesa de funcionamiento perfecto.
¿Cuándo puedes aceptar, corregir o detener la entrega?
Define antes qué fallos impiden continuar. Propongo detener la entrega si inventa condiciones comerciales, confunde al destinatario o insiste después de una negativa clara. Son decisiones de protección del negocio, no umbrales certificados por NIST ni por Anthropic.
Separa esos fallos de ajustes de estilo. Una frase larga puede corregirse sin cambiar la decisión. Una condición de pago inventada exige revisar el alcance y repetir las pruebas afectadas. No mezcles ambas cosas en un promedio que parezca tranquilizador.
Cuando la tarea acotada supera la revisión, el siguiente paso puede ser un piloto supervisado con responsables y límites acordados. Mantén la posibilidad de volver al trabajo manual. Si el responsable no puede revisar lo que ocurre, todavía no tienes una entrega aceptable.
Una nueva oferta o un cambio de sistema obliga a revisar los casos afectados. La guía sobre qué pasa si cambia el modelo de IA del negocio aborda esa continuidad. La aprobación de hoy tiene alcance, no validez eterna.
Para quién NO es
Esta guía no es para quien todavía no tiene un proceso repetido o espera que la IA invente cómo debe operar el negocio. Tampoco sirve si nadie puede decidir qué resultado sería correcto. Primero necesitas aclarar el trabajo.
Si atiendes pocos casos y puedes resolverlos manualmente, mantener un agente podría añadir trabajo innecesario. Y si quieres eliminar toda supervisión desde el comienzo, esta propuesta no te sirve. La responsabilidad comercial sigue teniendo dueño.
Limitaciones
Una colección de pruebas no representa todas las conversaciones futuras. NIST advierte contra extrapolar capacidades desde evaluaciones estrechas o anecdóticas. Aprobar los casos elegidos no permite afirmar que el agente nunca se equivocará ni que venderá más.
Los revisores humanos también pueden aceptar una respuesta incorrecta. Contrasta los desacuerdos con evidencia y revisa el criterio. Ni un documento de NIST ni una guía de Anthropic sustituyen las obligaciones de privacidad de tu negocio o la revisión especializada cuando corresponda.
Antes de aceptar la instalación, pide abrir un caso que haya fallado. Mira qué corrigieron y qué ocurrió ante un ejemplo nuevo. Ahí tienes una conversación mucho más útil que otra demostración de mensajes perfectos.