¿Qué hace que un agente de IA esté listo para producción? El harness, no el modelo.
By José Antonio Mijares | 2026-10-02 | 6 min de lectura
Un agente de demo sale en un fin de semana. Uno de producción necesita evals, herramientas, memoria, permisos y logs. Aquí está la lista.
Un agente de demo sale en un fin de semana. Responde las cinco preguntas que probaste, en el orden en que las probaste, con los datos que tenías abiertos.
Un agente de producción tiene que aguantar la sexta pregunta. Y a la décima persona. Y un martes en que una API regresa una lista vacía.
Eso no lo decide el modelo. Lo decide el harness: todo lo que rodea al modelo y lo vuelve confiable.
Las cinco partes de un harness
Evals. Un conjunto fijo de tareas reales con respuestas correctas conocidas. Se corren en cada cambio de prompt, de modelo o de herramienta. Sin evals, cada cambio es una apuesta.
Herramientas. El agente actúa a través de funciones que tú escribiste: buscar un pedido, redactar una respuesta, abrir un ticket. Cada herramienta hace una sola cosa, valida su entrada y regresa un error que el modelo puede leer. Una herramienta que falla en silencio es una herramienta sobre la que el agente va a mentir.
Memoria. Qué guarda el agente entre pasos y entre sesiones, y qué descarta. Decídelo a propósito. Un agente que recuerda todo llena poco a poco su contexto de ruido.
Permisos. Qué acciones corren solas, cuáles necesitan que una persona las apruebe y cuáles nunca corren. Reembolsos, borrados y cualquier cosa que se le envíe a un cliente empiezan en el segundo grupo. Puedes moverlas después, con evidencia.
Observabilidad. Cada ejecución queda registrada: la entrada, cada llamada a herramienta, cada resultado, la salida final y el costo. Cuando algo sale mal, lees el trace. No adivinas.
Cómo distinguir una demo de un agente de producción
Haz cuatro preguntas sobre el agente que tienes enfrente.
- ¿Qué pasa cuando falla una herramienta? Si nadie sabe, es una demo.
- ¿Cómo sabes que el último cambio no rompió nada? Si la respuesta es "lo probamos", es una demo.
- ¿Quién aprueba las acciones riesgosas? Si la respuesta es "el agente es cuidadoso", es una demo.
- ¿Dónde está la ejecución de ayer? Si nadie la puede abrir, es una demo.
Un agente de producción tiene una respuesta aburrida para cada una.
Empieza más chico de lo que quieres
Elige una tarea que hoy hace una persona. Escribe sus entradas, cómo se ve terminada y qué decisiones se escalan.
Luego haz la pregunta honesta: ¿de verdad necesita un agente? Una secuencia fija de pasos sin criterio es un script. Los scripts son más baratos, más rápidos y más fáciles de probar. Usa un agente donde el camino cambia según lo que encuentra.
Arma las evals antes que el agente. Veinte casos reales del trabajo del mes pasado valen más que doscientos inventados.
Qué no comprar
Una plataforma que promete agentes sin evals. Una demo construida con tus cinco mejores ejemplos. Un agente "autónomo" que puede enviar, pagar o borrar desde el primer día. Un proveedor que no te puede enseñar un trace.
Frequently Asked Questions
Q: ¿Qué es el harness de un agente de IA?
Todo lo que rodea al modelo y vuelve confiable al agente: evals, herramientas, memoria, permisos y observabilidad. El modelo razona. El harness decide si es seguro actuar con ese razonamiento.
Q: ¿Qué modelo debo usar para un agente?
Empieza con el mejor disponible, haz que pasen las evals y luego prueba modelos más baratos contra las mismas evals. Las evals te dicen cuándo un modelo más barato es suficiente. Las opiniones no.
Q: ¿Cuántos casos de eval necesito?
Los suficientes casos reales para cubrir el camino común y las fallas que ya conoces. Veinte casos reales del mes pasado son un buen inicio. Cada falla nueva se vuelve un caso.
Q: ¿Cuándo debe actuar un agente sin aprobación?
Cuando la acción es reversible, de bajo costo y las evals muestran que la hace bien. Reembolsos, borrados y mensajes a clientes empiezan detrás de una aprobación.
Q: ¿Un agente es lo mismo que implementar IA?
No. Implementar es decidir dónde tiene sentido la IA en el negocio y conectarla al stack. Construir un agente es una forma de hacerlo. Cómo llega un piloto de IA a producción cubre la primera parte.
Jamak construye agentes de producción con el harness incluido. Primero corremos agentes en nuestros propios productos. El trabajo de agentes es Agentes de IA. El trabajo de adopción es Implementación de IA. Háblanos. Sin tarifa publicada.