Ok, lectura básica sobre @Extropic_AI (@BasedBeffJezos) que pude profundizar durante mi sesión de entrenamiento. TLDR: La inferencia estándar implica hacer un montón de cálculos de matrices secuenciales y paralelas, pero en última instancia se reduce a un muestreo probabilístico. Extropic está construyendo un chip que pasa por alto toda esa maquinaria matemática y, en su lugar, simplemente incorpora la distribución de probabilidad aprendida del conjunto de entrenamiento subyacente y muestras directamente del hardware. ¡Esto es genial!

En el nivel más fundamental, los LLM toman un conjunto de entrenamiento gigante, compuesto de fichas, y aprenden la estructura entre palabras, oraciones, etc. No están razonando, pero están, de hecho, aprendiendo la distribución de probabilidad enormemente compleja entre tokens. Por ejemplo, si pregunto "¿De qué color es el cielo?", buscará hacia arriba en ese PD aprendido y luego verá ["El", "color", "de", "el", "cielo", "es", "azul"] como la secuencia de mayor probabilidad. Llegó a esto haciendo un montón de cálculos matriciales. Si quieres aprender la mecánica de esto, puedes seguir adelante y leer el artículo original de Transformer, pero honestamente no es tan importante. Lo importante es esto: 1. Paso de entrenamiento: ingrese un gran conjunto de datos --> distribución de probabilidad de salida de tokens. 2. Paso de inferencia: consulta de entrada --> mapeo de salida bajo muestreo de probabilidad. Por cierto, el resultado realmente genial (aunque algo obvio) en retrospectiva es que ... ¡Los LLM son inyectivos e invertibles! Esto significa que hay un mapeo único desde el prompt hasta el espacio latente y viceversa. ¡Hola genial!

De todos modos, ¡muy buen trabajo equipo de Extropic! Por cierto, hoy fue un día de piernas y fue glorioso.