跨模态迁移

数据稀缺的模态,要靠别的模态来养

做机器人的人都熟悉一种处境:你想训一个新传感器上的模型,真实数据只有几千条,但同一个场景下,摄像头数据有几百万条、激光雷达数据有几千万条。你眼睁睁看着隔壁模态躺着金山,自己手里却只有沙子。 这不是你一个人的问题。医疗数据、生理传感器、嗅觉信...