Tienda de dapps | Hub de Web3 para eventos y juegos

Temas en tendencia

Tomasz Tunguz

GPT-5 logra una precisión del 94,6% en AIME 2025, lo que sugiere un razonamiento matemático casi humano. Sin embargo, pídale que consulte su base de datos y las tasas de éxito se desploman a los adolescentes. Los puntos de referencia de Spider 2.0 revelan una gran brecha en las capacidades de IA. Spider 2.0 es un punto de referencia integral de texto a SQL que prueba la capacidad de los modelos de IA para generar consultas SQL precisas a partir de preguntas de lenguaje natural en bases de datos del mundo real. Si bien los grandes modelos de lenguaje han conquistado el trabajo de conocimiento en matemáticas, codificación y razonamiento, el texto a SQL sigue siendo obstinadamente difícil. Los tres puntos de referencia de Spider 2.0 prueban la consulta de bases de datos del mundo real en diferentes entornos. Spider 2.0-Snow utiliza bases de datos Snowflake con 547 ejemplos de prueba, con una precisión máxima del 59,05%. Spider 2.0-Lite abarca BigQuery, Snowflake y SQLite con otros 547 ejemplos, alcanzando solo el 37.84%. Spider 2.0-DBT prueba la generación de código contra DuckDB con 68 ejemplos, alcanzando un máximo del 39,71%. Esta brecha de rendimiento no se debe a la falta de intentos. Desde noviembre de 2024, 56 presentaciones de 12 familias modelo han competido en estos puntos de referencia. Claude, OpenAI, DeepSeek y otros han impulsado sus modelos contra estas pruebas. El progreso ha sido constante, de aproximadamente el 2% a aproximadamente el 60%, en los últimos nueve meses. El rompecabezas se profundiza cuando se consideran las restricciones de SQL. SQL tiene un vocabulario limitado en comparación con el inglés, que tiene 600.000 palabras, o lenguajes de programación que tienen sintaxis y bibliotecas mucho más amplias para conocer. Además, hay mucho SQL para entrenar. En todo caso, esto debería ser más fácil que las tareas de razonamiento abierto donde los modelos ahora sobresalen. Sin embargo, incluso la generación perfecta de SQL no resolvería el verdadero desafío comercial. Cada empresa define los "ingresos" de manera diferente. Marketing mide el costo de adquisición de clientes por gasto de campaña, ventas lo calcula utilizando los costos de los ejecutivos de cuentas y finanzas incluye los gastos de empleados completamente cargados. Estas diferencias semánticas crean una confusión que la precisión técnica no puede resolver. Los resultados de Spider 2.0 apuntan a una verdad fundamental sobre el trabajo de datos. La competencia técnica en la sintaxis SQL es solo el punto de entrada. El verdadero desafío radica en el contexto empresarial. Comprender qué significan los datos, cómo los diferentes equipos definen las métricas y cuándo son importantes los casos extremos. Como escribí en Semantic Cultivators, el puente entre los datos sin procesar y el significado comercial requiere un juicio humano que la IA actual no puede replicar.

GPT-5 se lanzó ayer. 94.6% en AIME 2025. 74.9% en SWE-bench. A medida que nos acercamos a los límites superiores de estos benchmarks, mueren. Lo que hace que GPT-5 y la próxima generación de modelos sean revolucionarios no es su conocimiento. Es saber cómo actuar. Para GPT-5 esto ocurre en dos niveles. Primero, decidir qué modelo usar. Pero segundo, y más importante, a través de la llamada a herramientas. Hemos estado viviendo en una era donde los LLMs dominaron la recuperación y reensamblaje de conocimiento. La búsqueda de consumidores y la codificación, las aplicaciones iniciales más impactantes, son fundamentalmente desafíos de recuperación de conocimiento. Ambos organizan la información existente de nuevas maneras. Hemos escalado esas colinas y, como resultado, la competencia es más intensa que nunca. Los modelos de Anthropic, OpenAI y Google están convergiendo en capacidades similares. Los modelos chinos y las alternativas de código abierto continúan acercándose cada vez más a la vanguardia. Todos pueden recuperar información. Todos pueden generar texto. ¿El nuevo eje de competencia? La llamada a herramientas. La llamada a herramientas transforma a los LLMs de asesores a actores. Compensa dos debilidades críticas del modelo que los modelos de lenguaje puro no pueden superar. Primero, la orquestación del flujo de trabajo. Los modelos sobresalen en respuestas de un solo intento, pero luchan con procesos multi-paso y con estado. Las herramientas les permiten gestionar flujos de trabajo largos, rastrear el progreso, manejar errores, mantener el contexto a través de docenas de operaciones. Segundo, la integración del sistema. Los LLMs viven en un mundo solo de texto. Las herramientas les permiten interactuar de manera predecible con sistemas externos como bases de datos, APIs y software empresarial, convirtiendo el lenguaje natural en acciones ejecutables. En el último mes he construido 58 herramientas de IA diferentes. Procesadores de correo electrónico. Integradores de CRM. Actualizadores de Notion. Asistentes de investigación. Cada herramienta extiende las capacidades del modelo a un nuevo dominio. La capacidad más importante para la IA es seleccionar la herramienta correcta de manera rápida y correcta. Cada paso mal dirigido mata todo el flujo de trabajo. Cuando digo “lee este correo electrónico de Y Combinator y encuentra todas las startups que no están en el CRM”, los LLMs modernos ejecutan una secuencia compleja. Un comando en inglés reemplaza todo un flujo de trabajo. Y este es solo uno simple. Aún mejor, el modelo, correctamente configurado con las herramientas adecuadas, puede verificar su propio trabajo de que las tareas se completaron a tiempo. Este bucle de auto-verificación crea fiabilidad en los flujos de trabajo que es difícil de lograr de otra manera. Multiplica esto a través de cientos de empleados. Miles de flujos de trabajo. Las ganancias de productividad se acumulan exponencialmente. Los ganadores en el futuro mundo de la IA serán aquellos que sean más sofisticados en orquestar herramientas y dirigir las consultas correctas. Cada vez. Una vez que esos flujos de trabajo sean predecibles, es cuando todos nos convertiremos en gerentes de agentes.

2025 es el año de los agentes, y la capacidad clave de los agentes es llamar herramientas. Al usar Claude Code, puedo decirle a la IA que revise un boletín, encuentre todos los enlaces a startups, verifique que existan en nuestro CRM, con un solo comando. Esto puede implicar que se llamen dos o tres herramientas diferentes. Pero aquí está el problema: usar un modelo de base grande para esto es costoso, a menudo tiene limitaciones de tasa y es excesivo para una tarea de selección. ¿Cuál es la mejor manera de construir un sistema agente con llamadas a herramientas? La respuesta radica en modelos de acción pequeños. NVIDIA publicó un artículo convincente argumentando que “Los modelos de lenguaje pequeños (SLMs) son suficientemente poderosos, inherentemente más adecuados y necesariamente más económicos para muchas invocaciones en sistemas agentes.” He estado probando diferentes modelos locales para validar un ejercicio de reducción de costos. Comencé con un modelo de parámetros Qwen3:30b, que funciona pero puede ser bastante lento porque es un modelo tan grande, aunque solo 3 mil millones de esos 30 mil millones de parámetros están activos en un momento dado. El artículo de NVIDIA recomienda el modelo Salesforce xLAM: una arquitectura diferente llamada modelo de acción grande específicamente diseñado para la selección de herramientas. Así que, realicé una prueba propia, cada modelo llamando a una herramienta para listar mis tareas de Asana. Los resultados fueron sorprendentes: xLAM completó las tareas en 2.61 segundos con un 100% de éxito, mientras que Qwen tardó 9.82 segundos con un 92% de éxito, casi cuatro veces más. Este experimento muestra la ganancia de velocidad, pero hay un compromiso: cuánta inteligencia debe residir en el modelo frente a las herramientas mismas. Esto es limitado. Con modelos más grandes como Qwen, las herramientas pueden ser más simples porque el modelo tiene mejor tolerancia a errores y puede trabajar alrededor de interfaces mal diseñadas. El modelo compensa las limitaciones de las herramientas mediante razonamiento de fuerza bruta. Con modelos más pequeños, el modelo tiene menos capacidad para recuperarse de errores, por lo que las herramientas deben ser más robustas y la lógica de selección más precisa. Esto puede parecer una limitación, pero en realidad es una característica. Esta restricción elimina la tasa de error acumulativa de las herramientas encadenadas de LLM. Cuando los modelos grandes hacen llamadas secuenciales a herramientas, los errores se acumulan exponencialmente. Los modelos de acción pequeños obligan a un mejor diseño del sistema, manteniendo lo mejor de los LLM y combinándolo con modelos especializados. Esta arquitectura es más eficiente, más rápida y más predecible.

Esto fue muy divertido, Mario. ¡Gracias por invitarme al programa para hablar sobre todo lo que sucede en el mercado!

Populares

Ranking

Favoritas

Onchain en tendencia

Tendencia en X

Principales fondos recientes

Más destacadas