Temas en tendencia
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.

Taelin
Tipo / Curva / HVM / INets / λCálculo
¿sufriendo de fatiga por chatbots?
¿frustrado porque se canceló la singularidad?
¿buscando algo nuevo que te dé esperanza?
aquí está mi plan delirante, pero "hey, tiene sentido" para construir superinteligencia en mi pequeño laboratorio de investigación independiente.
(Nota: cambiaré precisión por pedagogía)
Primero, un poco de contexto:
Soy un tipo de 33 años que ha pasado los últimos 22 años programando. A lo largo del tiempo, he hecho muchas preguntas sobre la naturaleza de la computación y he acumulado algunas... peculiaridades... bastante interesantes. Hace unos años, construí HVM, un sistema capaz de ejecutar programas en un lenguaje esotérico llamado "Haskell" en la GPU - sí, el mismo chip que hizo que el aprendizaje profundo funcionara y que encendió todo este ciclo de IA.
Pero, ¿cómo se relaciona Haskell con la IA?
Bueno, esa es una larga historia. Como los ancianos podrían recordar, en aquel entonces, lo que llamábamos "IA" era... diferente. Hace casi 3 décadas, por primera vez, una computadora derrotó al campeón mundial de ajedrez, desatando muchos debates sobre AGI y singularidad - ¡justo como hoy!
El sistema, llamado Deep Blue, era muy diferente de los modelos que tenemos hoy. No usaba transformadores. No usaba redes neuronales en absoluto. De hecho, no había "modelo". Era una pura "IA simbólica", lo que significa que era solo un viejo algoritmo, que escaneaba miles de millones de posibles movimientos, más rápido y más profundo de lo que cualquier humano podría, venciendo a todos por pura fuerza bruta.
Esto desató una ola de prometedora investigación en IA simbólica. Algoritmos evolutivos, gráficos de conocimiento, demostración automática de teoremas, solucionadores SAT/SMT, solucionadores de restricciones, sistemas expertos, y mucho más. Lamentablemente, con el tiempo, el enfoque chocó contra una pared. Las reglas construidas a mano no escalaban, los sistemas simbólicos no podían *aprender* dinámicamente, y la burbuja estalló. Comenzó un nuevo invierno de IA.
Solo años después, una curiosa alineación de factores cambió todo. Los investigadores desempolvaron una vieja idea - redes neuronales - pero esta vez, tenían algo nuevo: GPUs. Estos chips gráficos, originalmente construidos para renderizar videojuegos, resultaron ser perfectos para las masivas multiplicaciones de matrices que requerían las redes neuronales. De repente, lo que tomaba semanas podía hacerse en horas. El aprendizaje profundo explotó, y aquí estamos hoy, con transformadores dominando el mundo.
Pero aquí está la cosa: solo portamos *una* rama de la IA a las GPUs - la conexiónista, numérica. ¿El lado simbólico? Sigue atrapado en la era de piedra de la CPU.
Haskell es un lenguaje especial, porque unifica el lenguaje de las pruebas (es decir, el idioma que los matemáticos usan para expresar teoremas) con el lenguaje de programación (es decir, lo que los desarrolladores usan para construir aplicaciones). Esto lo hace especialmente adecuado para el razonamiento simbólico - el tipo exacto de computación que usó Deep Blue, pero ahora podemos ejecutarlo masivamente en paralelo en hardware moderno.
(Para ser más precisos, solo el paralelismo masivo de GPU no es lo único que HVM aporta a la mesa. Resulta que también da como resultado aceleraciones *asintóticas* en algunos casos. Y esta es una razón clave para creer en nuestro enfoque: los métodos simbólicos pasados no solo estaban hambrientos de computación. Eran exponencialmente lentos, en un sentido algorítmico. No es de extrañar que no funcionaran. No tenían ninguna oportunidad de hacerlo.)
Mi tesis es simple: ahora que puedo ejecutar Haskell en GPUs, y dado este aumento asintótico de velocidad, estoy en una posición para resucitar estos viejos métodos de IA simbólica, escalarlos por órdenes de magnitud y ver qué sucede. Tal vez, solo tal vez, uno de ellos nos sorprenda.
Nuestro primer hito ya está en marcha: hemos construido el programa/sintetizador de pruebas más rápido del mundo, que llamo SupGen. O NeoGen. ¿O QuickGen? Lo lanzaremos como una actualización de nuestro lenguaje "Bend", haciéndolo disponible públicamente alrededor de finales de octubre.
Luego, más tarde este año, lo usaremos como base para un nuevo programa de investigación, buscando una arquitectura simbólica pura que pueda aprender realmente de los datos y construir generalizaciones - no a través de descenso de gradiente y retropropagación, sino a través de razonamiento lógico y síntesis de programas.
Nuestros primeros experimentos serán muy simples (no muy diferentes de GPT-2), y el hito principal sería tener una "herramienta de completación de siguiente token" que esté 100% libre de redes neuronales.
Si esto funciona, podría ser un salto revolucionario más allá de los transformadores y el aprendizaje profundo, porque es un enfoque completamente nuevo que probablemente eliminaría muchas limitaciones heredadas de GPT que tienen hoy las IA. No solo problemas de tokenización (como las R en fresa), sino problemas fundamentales que impiden que los GPT aprendan de manera eficiente y generalicen.
delirante? probablemente
¿vale la pena intentarlo? absolutamente
(ahora adivina cuánto fue generado por IA y qué modelo usé)
37.63K
una vez (si) la primera IA simbólica funciona, será una curva completamente nueva
Ni siquiera afirmar que será bueno, pero es una nueva curva
cualquier intuición que tengamos para escalar los LLM es completamente irrelevante aquí. Las limitaciones de LLM también son irrelevantes. nadie sabe lo que podría pasar

Amjad Masad8 ago, 13:57
No puedo evitar sentir el aplastante peso de los rendimientos decrecientes. Necesitamos una nueva curva S.
20.93K
una vez (si) la primera IA simbólica funciona, será una curva completamente nueva
Ni siquiera afirmar que será bueno, pero es una nueva curva
cualquier intuición que tengamos para escalar los LLM es completamente irrelevante aquí. Las limitaciones de LLM son completamente irrelevantes aquí. nadie sabe lo que podría pasar

Amjad Masad8 ago, 13:57
No puedo evitar sentir el aplastante peso de los rendimientos decrecientes. Necesitamos una nueva curva S.
394
sí, ningún modelo en el mundo se acerca a esto
me voy a dormir, estoy 100% seguro de que tengo razón en mi juicio
como siempre, esto pronto será sentido común, pero yo lo dije primero (:
nos vemos

Taelin8 ago, 08:27
Oh, acabo de notar que la solución de GPT-5 es idéntica a la mía
Esto es increíble
41.04K
Populares
Ranking
Favoritas
Onchain en tendencia
Tendencia en X
Principales fondos recientes
Más destacadas