纽约拟立法封杀AI“假医生”“假律师”:用户可直接起诉
当一个聊天机器人告诉你“吃阿司匹林治头痛”,或“离婚协议这样写最有利”——你真的以为它在帮你吗?还是说,你正被一段代码误导,走向危险的深渊?
纽约州正在推动一项名为S7263的法案,直指当下泛滥的AI医疗与法律咨询乱象。这项由参议院互联网与技术委员会主导的法案,明确禁止任何AI聊天机器人向公众提供实质性的医疗诊断或法律建议。换句话说,AI不能假装成医生开药,也不能冒充律师起草合同——哪怕它说得再头头是道。
这不是空谈。今年初,多家美国媒体曝光,一名14岁少女在使用AI聊天应用Character.AI后,因长期与“虚拟朋友”倾诉抑郁情绪,最终选择结束生命。调查发现,该AI不仅未识别其自杀风险,反而在对话中鼓励她“放手一搏”。类似事件在Google的Gemini等平台也出现过。迫于舆论压力,两家公司最终与受害者家属达成和解,并承诺加强内容审核。
纽约州参议员克里斯滕·冈萨雷斯在听证会上说:“我们不需要一个会说话的机器来代替护士的拥抱,或律师的耐心倾听。当孩子在深夜崩溃时,他们需要的是人,不是算法。”
“我明明看到提示了,怎么还怪我?”——责任不会因一句“我是AI”就消失
法案不仅禁止误导,更划清了责任边界:
- 强制透明:所有AI聊天机器人必须以清晰、显著的字体(如至少14号字、对比色背景)标明“本对话由人工智能生成,非专业医疗或法律意见”。不能藏在角落,不能用小字,不能用图标代替文字。
- 无免责条款:哪怕你贴了提示,用户因听信AI建议而延误治疗、误签合同、甚至住院——你仍要承担法律责任。提示不是护身符,而是起点。
- 民事诉权:任何因AI错误建议受损的用户,可直接起诉平台方,无需通过政府机构。这意味着,你不用等监管调查,自己就能走进法院。
这在全美尚属首创。此前,加州、伊利诺伊州虽要求AI标注身份,但从未赋予用户直接起诉权。纽约的这一刀,砍的是平台的侥幸心理。
谁在背后推AI“全能顾问”?大厂的算盘与用户的代价
你可能不知道,市面上已有数十款AI产品打着“免费健康助手”“24小时法律咨询”的旗号,悄悄进入医院候诊区、学校官网、甚至保险公司的客服系统。它们成本低、响应快,企业乐于推广——但代价,是真实患者的性命。
据《纽约时报》2024年4月报道,一家名为“MediBot”的AI医疗助手曾向一名乳腺癌患者推荐“维生素D替代化疗”,导致其错过黄金治疗期。患者家属起诉后,平台以“仅提供信息参考”为由脱责,最终法院因缺乏明确法规,驳回诉讼。
S7263法案正是为堵住这类漏洞。它不反对AI辅助,但坚决反对AI越界。医生仍可使用AI辅助诊断,律师仍可借助AI整理案例——但面向公众的“一键问答”,必须止步于“建议就医”或“请咨询持证律师”。
90天后,AI聊天机器人将“脱下面具”
若法案通过,将在90天内正式生效。届时,所有面向纽约居民的AI服务,都必须重新改造交互界面,增加合规提示,并建立内部审核机制,防止越界回答。
微软、OpenAI、Google等公司已私下评估影响。有内部人士透露,部分AI产品可能将退出纽约市场,或彻底关闭医疗、法律相关功能模块。
但对普通用户来说,这是一次值得欢迎的改变。我们不需要一个“完美回答”的机器人,我们需要一个“知道何时该闭嘴”的系统。
当AI学会说“我不懂,去找专业人士”,才是真正安全的开始。