Andrej Karpathy apoya la introducción de un nuevo término relacionado con la "ingeniería de contexto" en el desarrollo de software de IA utilizando LLM. Y este término me ha parecido muy necesario durante mucho tiempo. Cada vez que explico a la gente cómo desarrollamos nuestro Nethermind AuditAgent, uno de los aspectos clave, además de utilizar la experiencia en el dominio (seguridad web3) y utilizar los mejores modelos de IA disponibles (de OpenAI, Anthropic y Google), y herramientas para LLM, es precisamente la "ingeniería de contexto". A veces hay una expresión "el contexto es el rey", y realmente es cierto. Los LLM, ya sean grandes avanzados o pequeños LLM optimizados, son una herramienta poderosa, pero como cualquier herramienta, si está en las manos equivocadas, obtendrás resultados mucho menos prometedores de los que podrías obtener si trabajas con ellos correctamente. Y la gestión del contexto (o ingeniería) es, en efecto, un área compleja y no muy bien descrita que está en constante evolución, y realmente surgió como una extensión del concepto de ingeniería prompt, que ya tiene algunas connotaciones negativas. En general, Andrej enumeró los principales aspectos relacionados con la ingeniería de contexto (en la segunda captura de pantalla), pero en cada tarea específica, las personas logran excelentes resultados en gran medida a través de prueba y error, cada vez tratando monótonamente de seleccionar los elementos de contexto correctos que realmente se necesitan en esta etapa de resolución de problemas, recopilando puntos de referencia para cada etapa, observando métricas, dividiendo conjuntos de datos en pruebas, validación, y así sucesivamente. ¿Qué opinas sobre "ingeniería de contexto"?