¡Siento que esto no recibió suficiente atención! Gran problema si es cierto y se está implementando. Ya ha escuchado a los chicos de GPU / ASIC hablar sobre escalar ENTRE centros de datos. No se trata solo de centros de datos ubicados en fronteras estatales alejadas entre sí. Hablando de 1.000 kms+. Si es cierto, esto ofrece una solución potencial en algunas de las limitaciones físicas de infraestructura / energía, ya que no necesitaría tener todos los MW / GW en una sola ubicación y puede conectarse en red en múltiples ubicaciones (y aquellas con menos restricciones) de manera mucho más efectiva. ¿Quién lo compra y quién no? Escuchémoslo ¿La capacitación distribuida está aquí? "@EpochAIResearch investigación sugiere que es factible realizar recorridos de entrenamiento de 10 GW en dos docenas de sitios, conectados por una red que abarca miles de kilómetros. Utilizando la generación infrautilizada como proxy de la disponibilidad de energía, identificamos una red de 4.800 km de 23 sitios en los EE. UU. que teóricamente podría admitir un clúster de IA distribuida de 10 GW ... Realizar grandes ciclos de capacitación descentralizados es factible sin un gran aumento en el tiempo de capacitación o el presupuesto".