患者Rebecca Green在同意使用AI记录员进行问诊记录后，遭遇了令人震惊的错误。AI系统在未询问的情况下，“幻觉”出她服用迷幻药物的虚假记录，并将其写入正式的医疗信函中。这一错误严重影响了她的工伤赔偿申请，引发了患者对AI技术在医疗领域应用的广泛担忧。
目前，澳大利亚约40%的全科医生正在使用AI记录工具。尽管这些工具旨在减轻行政负担，让医生专注于患者，但数字权利观察组织的研究揭示了严重的安全隐患。AI记录员存在“幻觉”风险，可能编造症状、错误记录病灶位置（如患癌乳房的左右侧）或误诊病情（如将患者记录为癫痫）。
监管层面面临巨大挑战。澳大利亚治疗用品管理局（TGA）指出，目前市场上的大多数AI记录工具因仅声称用于转录和总结而免于监管审查，即便部分工具声称提供临床建议。TGA正在审查这些工具，并表示如有违规将采取行动。同时，医生对AI的过度信任也加剧了风险，研究表明医生在初期会仔细核查AI输出，但随着时间推移往往会因惯性放松警惕。专家呼吁，医生必须对AI生成的所有内容进行最终核验，且必须确保患者的知情同意权得到充分尊重，特别是在处理家庭暴力等敏感信息时。
事件分析
行业监管层面存在明显的滞后性。利用“转录工具”这一定义规避医疗器械监管是当前市场的普遍现状，这意味着患者的隐私和健康数据暴露在未经严格验证的黑盒算法之下。从产业影响看，此类安全事件将加速各国监管机构收紧对医疗AI的审批流程，推动从“算法自由”向“算法备案+医生责任制”转变。未来的竞争将不再局限于生成速度，而在于如何建立“零容忍”的验证机制，确保输出内容的准确性与可追溯性，医生作为最终审核者的角色必须被技术流程强制锁定，而不仅仅是依赖职业自觉。
核心观点：AI幻觉在医疗领域引发的信任危机表明，在没有建立严格的医生审核闭环与监管标准前，盲目部署生成式AI是极其危险的。
原文链接：Hacker News
