Chamath: Dos términos a los que debes prestar atención en IA son Prefill y Decode "Hay dos términos de los que creo que vas a escuchar mucho en los próximos años." "El primer término es prefill, y el siguiente es decode." "Lo que son prefill y decode, son dos formas muy distintas de cómo piensan los modelos, y cómo un modelo pasa por el proceso de responder a una pregunta que le haces." "Y así, cuando envías un aviso a la IA, lo que sucede es que el modelo lo procesa. Esto se llama la fase de lectura o prefill." "Lee tu aviso completo de una vez. Y luego hace un montón de matemáticas, calcula todas estas relaciones entre todas las palabras, y las almacena en memoria temporal." "El problema es que esto está realmente limitado por el cómputo. Así que requiere una fuerza bruta masiva. Y las GPUs de Nvidia son las mejores aquí." "Y su arquitectura está diseñada para un procesamiento paralelo masivo, lo que las hace realmente increíbles para digerir estos largos avisos." "Así que el problema se vuelve cada vez más grande, Nvidia simplemente domina por completo." "Pero la siguiente fase, sin embargo, esta fase crítica, la fase de decode, es la fase de escritura, ¿verdad?" "Así que el modelo comienza a generar una respuesta, le haces una pregunta y su respuesta, un token a la vez." "Y luego, para elegir el siguiente token, para elegir la siguiente palabra, tiene que mirar hacia atrás a todo lo que ya ha dicho para que no alucine." "El problema es que esto está increíblemente limitado por el ancho de banda de la memoria." "Y en nuestra arquitectura, hace mucho tiempo, tomamos estas decisiones de diseño desde el primer día." "Y así, lo que hicimos fue tomar un enfoque arquitectónico muy diferente, tomamos una tecnología de proceso muy conservadora. No estábamos empujando los límites de la física." ...