¡La nueva tecnología de IA utiliza el 1% del poder de la tecnología actual! Nuevo artículo: Aumenta la eficiencia de la IA utilizando tecnología similar a la de Human Brian Explicación del mapeo topográfico disperso Los modelos de IA son cada vez más grandes y utilizan más energía, lo que genera preocupaciones sobre la sostenibilidad. Un nuevo artículo de la Universidad de Surrey, publicado en Neurocomputing, presenta un método inspirado en el cerebro humano para hacer que la IA sea más eficiente. Titulado "Mapeo topográfico disperso: un marco de entrenamiento disperso neuroinspirado para modelos de aprendizaje profundo", muestra cómo reducir las conexiones en las redes neuronales mientras se mantiene o mejora la precisión. Entrenar grandes modelos de IA puede costar millones y usar tanta energía como cientos de hogares. Para 2030, los centros de datos pueden igualar el uso de energía de un país. Los investigadores Mohsen Kamelian Rad, Ferrante Neri, Sotiris Moschoyiannis y Bauer se basaron en el cableado organizado del cerebro en el sistema visual. Crearon Topographical Sparse Mapping (TSM), que conecta las características de entrada, como los píxeles de la imagen, solo con las neuronas cercanas en la siguiente capa. Esto corta los vínculos innecesarios desde el principio, acelerando la capacitación y mejorando los resultados. También desarrollaron Enhanced TSM (ETSM), que poda las conexiones débiles durante el entrenamiento, como las vías de refinamiento del cerebro. Esto conduce a una escasez del 99 por ciento, eliminando la mayoría de los enlaces, mientras que coincide o supera a modelos densos en pruebas como MNIST (dígitos escritos a mano), Fashion-MNIST (ropa), CIFAR-10 (imágenes simples) y CIFAR-100 (categorías detalladas). En CIFAR-100, ETSM mejoró la precisión en un 14 por ciento sobre otros métodos dispersos, utilizando menos recursos. El beneficio clave es el ahorro de energía: estos modelos usan menos del 1 por ciento de la energía de los estándar, con un entrenamiento más rápido y menores necesidades de memoria. Esto podría ayudar a construir hardware similar al cerebro y reducir el impacto ambiental de la IA. Puntos clave... 1. Diseño inspirado en el cerebro: TSM limita las conexiones a las neuronas locales, reduciendo el desperdicio y ayudando a la generalización sin pasos adicionales. 2. Poda en ETSM: Elimina los enlaces de bajo valor durante el entrenamiento, alcanzando un 99 por ciento de dispersión sin perder precisión. 3. Resultados sólidos: Iguala o supera los modelos densos en los puntos de referencia, con grandes ganancias en tareas complejas como CIFAR-100. 4. Ganancias de eficiencia: reduce la energía a menos del 1 por ciento de las normas, acelera el entrenamiento y reduce el uso de la memoria. 5. Potencial futuro: Podría aplicarse a otros tipos de IA, apoyando el crecimiento sostenible y el nuevo hardware. ...