Los modelos de IA generativa actuales pueden crear todo, desde imágenes hasta aplicaciones de computadora, pero la calidad de su salida depende en gran medida de los prompts proporcionados por los usuarios humanos.

Investigadores de la Universidad Carnegie Mellon han propuesto un nuevo método para enseñar a usuarios cotidianos cómo crear estos prompts y mejorar su interacción con modelos de IA generativa.

Este método, llamado Ingeniería de Prompts Orientada a Requerimientos (ROPE, por sus siglas en inglés), desplaza el enfoque de la escritura de prompts de trucos ingeniosos y plantillas a articular claramente lo que la IA debe hacer. Con las mejoras en los modelos de lenguaje grandes (LLM), la importancia de las habilidades de codificación podría declinar, mientras que la expertise en ingeniería de prompts podría aumentar.

"Necesitas poder decirle al modelo exactamente lo que quieres. No puedes esperar que adivine todas tus necesidades personalizadas", dijo Christina Ma, estudiante de doctorado en el Instituto de Interacción Humano-Computadora (HCII). "Necesitamos entrenar a los humanos en habilidades de ingeniería rápida. La mayoría de las personas aún luchan por decirle a la IA con precisión lo que quieren. ROPE puede ayudarles a lograrlo".

La ingeniería de prompts instantánea se refiere a las instrucciones precisas (es decir, prompts) que los usuarios proporcionan a modelos de IA generativa para generar la salida deseada. Cuanto mejor sea la habilidad de ingeniería de prompts del usuario, mayor es la probabilidad de que el modelo de IA genere el resultado deseado.

En un artículo titulado "What Should We Design in Prompts? Training Humans in Requirements-Driven LLM Use", publicado en el ACM Transactions on Computer-Human Interaction, los investigadores describen su paradigma ROPE y los módulos de entrenamiento que crearon para enseñar y evaluar este método.

ROPE es una estrategia colaborativa entre humanos y LLM, mediante la cual los humanos pueden controlar los objetivos y completarlos de manera autónoma al articular claramente los requerimientos del prompt de LLM. El paradigma enfatiza la importancia de formular requerimientos precisos y completos para obtener mejores resultados, especialmente en tareas de personalización complejas.

Para probar ROPE, los investigadores pidieron a 30 participantes que escribieran prompts para un modelo de IA para completar dos tareas diferentes como preprueba: crear un juego de tres en raya y diseñar una herramienta para ayudar a las personas a crear esquemas de contenido. Luego, la mitad de los participantes recibieron entrenamiento en ROPE, mientras que el resto vio tutoriales de ingeniería de prompts en YouTube. Después, cada grupo escribió prompts para un juego diferente y un chatbot diferente como posprueba.

Al comparar los resultados de la práctica, los investigadores encontraron que los participantes entrenados en ROPE superaron a aquellos que vieron tutoriales de YouTube. Los participantes entrenados en ROPE mejoraron sus puntuaciones del 20% de pre a posprueba, mientras que los no entrenados solo mejoraron el 1%.

"No solo propusimos un nuevo marco para enseñar ingeniería de prompts, sino que también creamos una herramienta de entrenamiento para evaluar el rendimiento de los participantes y la efectividad de este paradigma", dijo el profesor de la HCII, Ken Koedinger. "El método ROPE no solo es efectivo, sino que los módulos de entrenamiento lo respaldan".

A medida que la programación tradicional evoluciona hacia la programación en lenguaje natural, los modelos de IA generativa han cambiado el contenido de los cursos introductorios de programación e ingeniería de software. Los ingenieros ya no necesitan escribir software; pueden escribir un prompt para guiar a la IA en el desarrollo de software.

Este cambio de paradigma puede crear nuevas oportunidades para los estudiantes, permitiéndoles participar en tareas de desarrollo más complejas desde etapas tempranas de aprendizaje y avanzar en el campo.

Los investigadores no diseñaron ROPE solo para ingenieros de software. A medida que los humanos integran cada vez más la IA en la vida cotidiana, la comunicación con máquinas se convertirá obviamente en un aspecto importante de la alfabetización digital. Siempre que dominen cómo escribir prompts exitosos y qué modelos de IA son competentes para la tarea, incluso personas sin antecedentes en programación o ingeniería de software pueden crear aplicaciones beneficiosas para sí mismas.

Ma dijo: "Esperamos que más usuarios finales del público general puedan usar LLM para construir chatbots y aplicaciones. Si tienes una idea y sabes cómo transmitir los requerimientos, puedes escribir un prompt para realizar esa idea".

Los investigadores han abierto el código de su herramienta de entrenamiento y materiales, con el objetivo de hacer que la ingeniería de prompts sea más accesible para no profesionales.