可视化解读强化学习：看一个四神经元小生物如何自己学会趋光

科技作家Aatish Bhatia与神经科学家Arkarup Banerjee联合发布交互式科普文章，通过构建名为spark的数字小生物，直观演示强化学习的核心原理。这个小生物的大脑仅有四个神经元：两个充当眼睛感知光线，两个控制鳍状肢运动，其神经连接可归纳为三个参数，同侧直连强度、对侧交叉连接强度以及无光环境下的驱动力。文章首先邀请读者亲手调节滑块来接线小生物的大脑，目标是让它喜爱并停留在光源处，得分超过0.5。随后作者将这一手动调参过程提炼为学习算法：每次试验前随机微调神经连接，若表现变好则获得奖励并沿该方向继续调整，若变差则受到惩罚并反向修正。作者指出这与人类学习走路、骑自行车的过程本质相同，摔倒即惩罚，平衡的快感即奖励。文章展示了小生物的学习轨迹：初始随机接线时只能原地打转，经过50次尝试后开始笨拙移动，250次尝试后已能趋向光源。这些学习路径被可视化为三维参数空间中的轨迹，生动呈现了机器如何通过不断试错自主学习复杂行为。

事件分析

核心观点：从四个神经元的试错到大模型的RLHF调优，智能的起点始终是同一个朴素机制：行动、反馈、修正。