DApp Store | Sede de Web3 para eventos y juegos

Tendencias del momento

Tomasz Tunguz

GPT-5 alcanza una precisión del 94.6% en AIME 2025, lo que sugiere un razonamiento matemático casi humano. Sin embargo, pídale que consulte su base de datos y las tasas de éxito caen a los adolescentes. Los benchmarks de Spider 2.0 revelan una brecha abismal en las capacidades de la IA. Spider 2.0 es un benchmark integral de texto a SQL que evalúa la capacidad de los modelos de IA para generar consultas SQL precisas a partir de preguntas en lenguaje natural en bases de datos del mundo real. Mientras que los grandes modelos de lenguaje han conquistado el trabajo del conocimiento en matemáticas, codificación y razonamiento, el texto a SQL sigue siendo obstinadamente difícil. Los tres benchmarks de Spider 2.0 prueban la consulta de bases de datos del mundo real en diferentes entornos. Spider 2.0-Snow utiliza bases de datos de Snowflake con 547 ejemplos de prueba, alcanzando un pico del 59.05% de precisión. Spider 2.0-Lite abarca BigQuery, Snowflake y SQLite con otros 547 ejemplos, alcanzando solo el 37.84%. Spider 2.0-DBT prueba la generación de código contra DuckDB con 68 ejemplos, alcanzando un máximo del 39.71%. Esta brecha de rendimiento no es por falta de esfuerzo. Desde noviembre de 2024, 56 presentaciones de 12 familias de modelos han competido en estos benchmarks. Claude, OpenAI, DeepSeek y otros han empujado sus modelos contra estas pruebas. El progreso ha sido constante, de aproximadamente el 2% a alrededor del 60%, en los últimos nueve meses. El rompecabezas se profundiza cuando se consideran las limitaciones de SQL. SQL tiene un vocabulario limitado en comparación con el inglés, que tiene 600,000 palabras, o los lenguajes de programación que tienen sintaxis y bibliotecas mucho más amplias. Además, hay mucha SQL disponible para entrenar. Si acaso, esto debería ser más fácil que las tareas de razonamiento abiertas donde los modelos ahora sobresalen. Sin embargo, incluso una generación perfecta de SQL no resolvería el verdadero desafío empresarial. Cada empresa define "ingresos" de manera diferente. El marketing mide el costo de adquisición de clientes por el gasto en campañas, las ventas lo calculan utilizando los costos de los ejecutivos de cuentas, y las finanzas incluyen los gastos de empleados totalmente cargados. Estas diferencias semánticas crean confusión que la precisión técnica no puede resolver. Los resultados de Spider 2.0 apuntan a una verdad fundamental sobre el trabajo de datos. La competencia técnica en la sintaxis de SQL es solo el punto de entrada. El verdadero desafío radica en el contexto empresarial. Comprender lo que significa los datos, cómo diferentes equipos definen métricas y cuándo importan los casos extremos. Como escribí en Cultivadores Semánticos, el puente entre los datos en bruto y el significado empresarial requiere un juicio humano que la IA actual no puede replicar.

GPT-5 alcanza una precisión del 94.6% en AIME 2025, lo que sugiere un razonamiento matemático casi humano. Sin embargo, pídale que consulte su base de datos y las tasas de éxito caen a los adolescentes. Los benchmarks de Spider 2.0 revelan una brecha abismal en las capacidades de la IA. Spider 2.0 es un benchmark integral de texto a SQL que evalúa la capacidad de los modelos de IA para generar consultas SQL precisas a partir de preguntas en lenguaje natural en bases de datos del mundo real. Mientras que los grandes modelos de lenguaje han conquistado el trabajo del conocimiento en matemáticas, codificación y razonamiento, el texto a SQL sigue siendo obstinadamente difícil. Los tres benchmarks de Spider 2.0 prueban la consulta de bases de datos del mundo real en diferentes entornos. Spider 2.0-Snow utiliza bases de datos de Snowflake con 547 ejemplos de prueba, alcanzando un pico del 59.05% de precisión. Spider 2.0-Lite abarca BigQuery, Snowflake y SQLite con otros 547 ejemplos, alcanzando solo el 37.84%. Spider 2.0-DBT prueba la generación de código contra DuckDB con 68 ejemplos, alcanzando un máximo del 39.71%. Esta brecha de rendimiento no es por falta de esfuerzo. Desde noviembre de 2024, 56 envíos de 12 familias de modelos han competido en estos benchmarks. Claude, OpenAI, DeepSeek y otros han empujado sus modelos contra estas pruebas. El progreso ha sido constante, de aproximadamente el 2% a alrededor del 60%, en los últimos nueve meses. El rompecabezas se profundiza cuando se consideran las limitaciones de SQL. SQL tiene un vocabulario limitado en comparación con el inglés, que tiene 600,000 palabras, o los lenguajes de programación que tienen sintaxis y bibliotecas mucho más amplias. Además, hay mucha SQL disponible para entrenar. Si acaso, esto debería ser más fácil que las tareas de razonamiento abiertas donde los modelos ahora sobresalen. Sin embargo, incluso una generación perfecta de SQL no resolvería el verdadero desafío empresarial. Cada empresa define "ingresos" de manera diferente. El marketing mide el costo de adquisición de clientes por el gasto en campañas, las ventas lo calculan utilizando los costos de los ejecutivos de cuentas, y las finanzas incluyen los gastos de empleados totalmente cargados. Estas diferencias semánticas crean confusión que la precisión técnica no puede resolver. Los resultados de Spider 2.0 apuntan a una verdad fundamental sobre el trabajo de datos. La competencia técnica en la sintaxis de SQL es solo el punto de entrada. El verdadero desafío radica en el contexto empresarial. Entender lo que significa los datos, cómo diferentes equipos definen métricas y cuándo importan los casos extremos. Como escribí en Cultivadores Semánticos, el puente entre los datos en bruto y el significado empresarial requiere un juicio humano que la IA actual no puede replicar.

GPT-5 se lanzó ayer. 94.6% en AIME 2025. 74.9% en SWE-bench. A medida que nos acercamos a los límites superiores de estos benchmarks, mueren. Lo que hace que GPT-5 y la próxima generación de modelos sean revolucionarios no es su conocimiento. Es saber cómo actuar. Para GPT-5, esto ocurre en dos niveles. Primero, decidir qué modelo usar. Pero segundo, y más importante, a través de la llamada a herramientas. Hemos estado viviendo en una era donde los LLMs dominaron la recuperación y reensamblaje de conocimiento. La búsqueda de consumidores y la codificación, las aplicaciones iniciales más impactantes, son fundamentalmente desafíos de recuperación de conocimiento. Ambos organizan la información existente de nuevas maneras. Hemos escalado esas colinas y, como resultado, la competencia es más intensa que nunca. Los modelos de Anthropic, OpenAI y Google están convergiendo en capacidades similares. Los modelos chinos y las alternativas de código abierto continúan acercándose cada vez más al estado del arte. Todos pueden recuperar información. Todos pueden generar texto. ¿El nuevo eje de competencia? La llamada a herramientas. La llamada a herramientas transforma los LLMs de asesores a actores. Compensa dos debilidades críticas del modelo que los modelos de lenguaje puro no pueden superar. Primero, la orquestación del flujo de trabajo. Los modelos sobresalen en respuestas de un solo intento, pero luchan con procesos multi-paso y con estado. Las herramientas les permiten gestionar flujos de trabajo largos, rastrear el progreso, manejar errores y mantener el contexto a través de docenas de operaciones. Segundo, la integración del sistema. Los LLMs viven en un mundo solo de texto. Las herramientas les permiten interactuar de manera predecible con sistemas externos como bases de datos, APIs y software empresarial, convirtiendo el lenguaje natural en acciones ejecutables. En el último mes he construido 58 herramientas de IA diferentes. Procesadores de correo electrónico. Integradores de CRM. Actualizadores de Notion. Asistentes de investigación. Cada herramienta extiende las capacidades del modelo a un nuevo dominio. La capacidad más importante para la IA es seleccionar la herramienta adecuada de manera rápida y correcta. Cada paso mal dirigido mata todo el flujo de trabajo. Cuando digo “lee este correo electrónico de Y Combinator y encuentra todas las startups que no están en el CRM”, los LLMs modernos ejecutan una secuencia compleja. Un comando en inglés reemplaza un flujo de trabajo completo. Y este es solo uno simple. Aún mejor, el modelo, correctamente configurado con las herramientas adecuadas, puede verificar su propio trabajo de que las tareas se completaron a tiempo. Este bucle de auto-verificación crea fiabilidad en los flujos de trabajo que es difícil de lograr de otra manera. Multiplica esto a través de cientos de empleados. Miles de flujos de trabajo. Las ganancias de productividad se acumulan exponencialmente. Los ganadores en el futuro mundo de la IA serán aquellos que sean más sofisticados en orquestar herramientas y dirigir las consultas correctas. Cada vez. Una vez que esos flujos de trabajo sean predecibles, es cuando todos nos convertiremos en gestores de agentes.

2025 es el año de los agentes, y la capacidad clave de los agentes es llamar herramientas. Al usar Claude Code, puedo decirle a la IA que revise un boletín, encuentre todos los enlaces a startups, verifique que existan en nuestro CRM, con un solo comando. Esto puede implicar que se llamen dos o tres herramientas diferentes. Pero aquí está el problema: usar un modelo de base grande para esto es costoso, a menudo tiene limitaciones de tasa y está sobredimensionado para una tarea de selección. ¿Cuál es la mejor manera de construir un sistema agente con llamadas a herramientas? La respuesta radica en modelos de acción pequeños. NVIDIA publicó un artículo convincente argumentando que “Los modelos de lenguaje pequeños (SLMs) son suficientemente poderosos, inherentemente más adecuados y necesariamente más económicos para muchas invocaciones en sistemas agentes.” He estado probando diferentes modelos locales para validar un ejercicio de reducción de costos. Comencé con un modelo de 30b parámetros Qwen3:30b, que funciona pero puede ser bastante lento porque es un modelo tan grande, aunque solo 3 mil millones de esos 30 mil millones de parámetros están activos en un momento dado. El artículo de NVIDIA recomienda el modelo Salesforce xLAM: una arquitectura diferente llamada modelo de acción grande diseñado específicamente para la selección de herramientas. Así que realicé una prueba propia, cada modelo llamando a una herramienta para listar mis tareas de Asana. Los resultados fueron sorprendentes: xLAM completó las tareas en 2.61 segundos con un 100% de éxito, mientras que Qwen tardó 9.82 segundos con un 92% de éxito, casi cuatro veces más. Este experimento muestra la ganancia de velocidad, pero hay un compromiso: cuánta inteligencia debe residir en el modelo frente a las herramientas mismas. Esto es limitado. Con modelos más grandes como Qwen, las herramientas pueden ser más simples porque el modelo tiene mejor tolerancia a errores y puede trabajar alrededor de interfaces mal diseñadas. El modelo compensa las limitaciones de las herramientas mediante razonamiento de fuerza bruta. Con modelos más pequeños, el modelo tiene menos capacidad para recuperarse de errores, por lo que las herramientas deben ser más robustas y la lógica de selección más precisa. Esto puede parecer una limitación, pero en realidad es una característica. Esta restricción elimina la tasa de error acumulativa de las herramientas encadenadas de LLM. Cuando los modelos grandes hacen llamadas secuenciales a herramientas, los errores se acumulan exponencialmente. Los modelos de acción pequeños obligan a un mejor diseño del sistema, manteniendo lo mejor de los LLM y combinándolo con modelos especializados. Esta arquitectura es más eficiente, más rápida y más predecible.

¡Esto fue muy divertido, Mario! Gracias por invitarme al programa para hablar sobre todo lo que está sucediendo en el mercado.

Parte superior

Clasificación

Favoritos

En tendencia on-chain

En tendencia en X

Principales fondos recientes

Más destacado