AI新突破：深度神经网络共享通用权重子空间

最新研究表明，深度神经网络在不同任务训练后会收敛到相似的低维参数子空间。研究人员通过对1100多个模型（包括500个Mistral-7B LoRAs、500个视觉Transformer和50个LLaMA-8B模型）进行谱分析，首次证实神经网络会系统地利用共享的谱子空间，无论初始化方式、任务或领域如何。这一发现为理解深度网络内部信息的组织方式提供了新视角，并引发关于如何在不依赖大量数据和计算资源的情况下发现这些通用子空间的重要问题。研究结果对提高模型可重用性、多任务学习效率、模型合并技术以及开发更节能的训练和推理算法具有重要意义，有望减少大规模AI模型的能源消耗和碳足迹。