Evaluator-Optimizer (La analogía del Escritor y el Editor exigente)

evaluator-optimizer

Imagina el proceso de escribir un artículo importante para una revista. El proceso rara vez es perfecto en el primer intento. Generalmente sigue un ciclo de creación y revisión.

  1. El Escritor (Optimizer/Generador): Recibe una tarea ("Escribe un artículo sobre los viñedos de San Rafael") y produce un primer borrador.
  2. El Editor (Evaluator): Recibe ese borrador. Su trabajo no es escribir desde cero, sino evaluar el texto basándose en criterios claros: ¿El estilo es correcto? ¿Es fácil de leer? ¿Cubre todos los puntos solicitados? ¿El título es atractivo?
  3. El Feedback: El editor no solo dice "no me gusta". Da feedback específico y constructivo: "El contenido es bueno, pero el segundo párrafo es confuso. Reestructúralo. Además, el título es aburrido, busca algo más llamativo".
  4. El Ciclo (Loop): El escritor toma ese feedback, mejora el borrador y se lo devuelve al editor. Este ciclo se repite hasta que el editor dice: "¡Perfecto! Publícalo".

El patrón Evaluator-Optimizer (Evaluador-Optimizador) funciona exactamente así:

  • Un LLM "Optimizer" (el Escritor) genera una respuesta inicial a una petición.
  • Un segundo LLM "Evaluator" (el Editor), armado con un prompt que contiene criterios de evaluación muy claros (una especie de checklist), revisa el trabajo del primero.
  • El Evaluador genera un feedback para mejorar la respuesta.
  • El Optimizer usa ese feedback para refinar su trabajo en un bucle, hasta que la respuesta cumple con el estándar de calidad definido.

Este método es ideal cuando la calidad final es crítica y tienes una forma clara de medir qué tan "buena" es una respuesta.


Ejemplo Real: "Asistente para Escribir Correos Profesionales"

Imagina una herramienta de IA que te ayuda a redactar emails importantes, asegurándose de que suenen profesionales y corteses.

La Petición del Usuario:

"Ayúdame a escribir un email a un cliente importante para reprogramar la reunión de la próxima semana. Quiero moverla para dentro de dos semanas."

Ciclo de Refinamiento (Loop):

Iteración #1

  1. LLM Optimizer (El Escritor Apurado):

    • Recibe la petición y genera un primer borrador funcional pero poco pulido.
    • Output v1 (demasiado directo):

      "Hola [Cliente], no voy a poder la próxima semana. ¿Movemos la reunión para dentro de dos semanas? Saludos, Edgardo."

  2. LLM Evaluator (El Editor de Comunicaciones):

    • Recibe el "Output v1". Su prompt contiene una checklist de calidad: 1. ¿El tono es cortés y profesional? 2. ¿Se disculpa por el inconveniente? 3. ¿Propone activamente soluciones (fechas/horas concretas)? 4. ¿La despedida es formal?
    • Feedback Generado: "El borrador es demasiado informal y brusco. Se debe añadir un saludo profesional, ofrecer una breve disculpa, proponer horarios específicos para facilitar la coordinación y usar una despedida más cordial."

Iteración #2

  1. LLM Optimizer (recibiendo el feedback):

    • Recibe una nueva instrucción: "Mejora este borrador de email [Output v1] basándote en el siguiente feedback: [Feedback Generado]".
    • Output v2 (pulido y profesional):

      "Estimado [Nombre del Cliente],

      Espero que este correo te encuentre muy bien.

      Te escribo para solicitar si sería posible reprogramar nuestra reunión agendada para la próxima semana, debido a un imprevisto ineludible.

      Me gustaría proponerte moverla para dentro de dos semanas. Tengo disponibilidad el martes 28 de octubre a las 10:00 o el jueves 30 de octubre a las 14:00. Por favor, avísame si alguno de esos horarios te acomoda o si prefieres otro momento.

      Lamento sinceramente cualquier inconveniente que esto pueda ocasionar.

      Saludos cordiales, Edgardo"

  2. LLM Evaluator (revisando de nuevo):

    • Recibe el "Output v2" y lo vuelve a pasar por su checklist.
    • Feedback Final: "Excelente. Este borrador cumple con todos los criterios de profesionalismo, cortesía y claridad. Aprobado."

Resultado Final: La herramienta no le entrega al usuario el primer borrador, sino la versión final, pulida y aprobada, asegurando que la comunicación con su cliente sea impecable.