AI新突破:深度神经网络共享通用权重子空间
最新研究表明,深度神经网络在不同任务训练后会收敛到相似的低维参数子空间。研究人员通过对1100多个模型(包括500个Mistral-7B LoRAs、500个视觉Transformer和50个LLaMA-8B模型)进行谱分析,首次证实神经网...
最新研究表明,深度神经网络在不同任务训练后会收敛到相似的低维参数子空间。研究人员通过对1100多个模型(包括500个Mistral-7B LoRAs、500个视觉Transformer和50个LLaMA-8B模型)进行谱分析,首次证实神经网...