新AI技术仅使用当前技术1%的能量！ 新论文：利用类人脑技术提高AI效率 地形稀疏映射解释 AI模型正在变得越来越大，使用的能量也越来越多，这引发了对可持续性的担忧。来自萨里大学的一篇新论文，发表在《神经计算》上，介绍了一种受人脑启发的方法，以提高AI的效率。论文标题为《地形稀疏映射：一种神经启发的深度学习模型稀疏训练框架》，展示了如何在保持或提高准确性的同时减少神经网络中的连接。 训练大型AI模型的成本可能高达数百万，并且使用的能量相当于数百个家庭的用电量。到2030年，数据中心的能耗可能与一个国家的能耗相当。研究人员Mohsen Kamelian Rad、Ferrante Neri、Sotiris Moschoyiannis和Bauer借鉴了视觉系统中大脑的有序连接。 他们创建了地形稀疏映射（TSM），该方法仅将输入特征（如图像像素）连接到下一层的附近神经元。这从一开始就减少了不必要的连接，加快了训练速度并改善了结果。 他们还开发了增强型TSM（ETSM），在训练过程中修剪弱连接，类似于大脑精炼通路。 这导致了99%的稀疏性——去除了大多数连接——同时在MNIST（手写数字）、Fashion-MNIST（服装）、CIFAR-10（简单图像）和CIFAR-100（详细类别）等测试中与密集模型相匹配或超越。在CIFAR-100上，ETSM的准确性比其他稀疏方法提高了14%，使用的资源更少。 主要好处是节能：这些模型的能耗不到标准模型的1%，训练速度更快，内存需求更低。这可能有助于构建类脑硬件，减少AI对环境的影响。 关键点… 1. 受脑启发的设计：TSM将连接限制在局部神经元，减少浪费并在没有额外步骤的情况下促进泛化。 2. ETSM中的修剪：在训练过程中去除低价值连接，实现99%的稀疏性而不损失准确性。 3. 强劲的结果：在基准测试中与密集模型相匹配或超越，在CIFAR-100等复杂任务上取得显著进展。 4. 效率提升：将能耗降低到标准的1%以下，加快训练速度，降低内存使用。 5. 未来潜力：可能适用于其他类型的AI，支持可持续增长和新硬件。 ...