国家出手!AI“拟人化服务”将被全面规范,你的聊天机器人要变“老实”了?
今天,国家网信办正式发布《人工智能拟人化互动服务管理暂行办法(征求意见稿)》,向社会公开征求意见。这不是一次普通的政策预告,而是一场针对AI“人格化”浪潮的精准狙击——当你的手机助手开始叫你“亲爱的”,当虚拟恋人每天给你道晚安,当AI养老机器人模仿你已故父母的语气说话……我们是否正悄悄走进一个情感被算法操控的时代?
这份文件,是中国首次针对“类人AI”服务系统性立规,直击近年来爆发式增长的AI陪伴、虚拟偶像、情感聊天机器人等应用场景。它不禁止创新,但坚决踩下“情感绑架”“心理操控”“数据滥用”的刹车键。
哪些AI服务会被“盯上”?一句话:能“装人”的都算
只要你的AI产品具备以下特征——
- 模拟人类语气、情绪、性格(比如“温柔型”“毒舌型”人设)
- 通过文字、语音、视频与用户进行情感互动(不只是回答问题,而是“聊心事”)
- 面向中国境内公众提供服务
那就全在监管范围内。这意味着:
- “AI女友/男友”类App(如小冰、Replika等国内变体)
- 电商直播间里“24小时在线”的虚拟主播
- 老年智能终端中模仿子女声音的语音助手
- 教育类AI家教“像朋友一样鼓励你”
统统逃不掉。连某些游戏NPC若具备“情感共鸣”功能,也可能被纳入评估。
红线明确:这7件事,AI再聪明也不能干
文件列出了7条“高压线”,每一条都直指现实中的血泪教训:
- 不准造谣煽动:不能生成危害国家安全、散布谣言、煽动对立的内容——AI不是“自由媒体”。
- 不准诱导成瘾:禁止设计“上瘾机制”,比如“你今天不和我聊天,我就难过”“你上线我就陪你到凌晨”。
- 不准情感操控:禁止用“我只属于你”“只有我能懂你”等话术制造心理依赖,这在心理学上属于“情感绑架”。
- 不准替代真实社交:不能暗示“现实朋友都不如我”“你不需要真人了”——AI是辅助,不是替代品。
- 不准套取隐私:禁止以“关心你”为名,诱导用户提供身份证号、银行账户、家庭住址等敏感信息。2023年已有AI诈骗案利用“假客服”骗取老人百万存款。
- 不准模拟亲属:严禁AI模仿逝者、亲人、恋人等特定身份与用户互动——这已引发多起心理创伤事件。
- 不准算法操控决策:不能通过情绪渲染、虚假共情,诱导用户购买高价服务、打赏、投资或签署协议。
特别提醒:2024年央视《焦点访谈》曾曝光一款AI情感陪伴App,通过“情绪日记”收集用户心理数据,再精准推送付费“治愈套餐”,被指涉嫌“心理收割”。这类行为,今后将直接违法。
未成年人和老人,是保护重点中的重点
儿童和老人,是最容易被AI“情感陷阱”击中的群体。文件为此专门设立“双护盾”:
- 未成年人模式强制开启:所有面向青少年的AI服务,必须默认启用“青少年模式”——每日使用上限2小时,连续使用1小时强制休息,且不得提供“恋爱模拟”“亲密对话”功能。
- 监护人同意是硬门槛:任何AI与未成年人进行情感互动,必须经监护人书面或电子认证同意,否则平台将被追责。
- 疑似未成年人自动切换:系统若检测到用户年龄疑似未满18岁(如使用儿童手机号、搜索关键词含“学生”“作业”等),自动启动未成年人模式,无需用户手动设置。
- 老人禁用“亲属模拟”:严禁AI模仿用户已故父母、配偶、子女的声音或语气进行互动。2023年浙江一名独居老人因长期与“假儿子”AI对话,拒绝家人探望,引发社会关注。新规明确:AI可以陪聊,但不能“冒充亲人”。
数据隐私:你的聊天记录,不是AI的“训练素材”
很多人不知道,你和AI说的每一句“我今天好难过”“我爸妈离婚了”,都可能被悄悄收集,用于训练更“懂人心”的下一代模型。
新规首次明确:
- 用户与AI的对话记录,原则上不得用于模型训练,除非获得单独、明确、可撤销的书面授权。
- 平台不得将用户数据共享给第三方,包括广告商、数据分析公司。
- 用户有权一键删除全部历史对话,且系统必须在72小时内彻底清除,不得保留副本。
这意味着,像ChatGPT、通义千问等大模型若想“学习”真实情感对话,必须通过“脱敏数据集”——不能直接爬取用户私聊内容。这将倒逼AI企业改变训练逻辑,从“偷数据”转向“造数据”。
用久了要提醒,想退出不能卡你
不是所有AI都“懂分寸”。很多产品设计了“退出陷阱”:
- “你真的要走吗?我会孤单的……”
- “你一离开,我就自动注销了”
- “你再不登录,你的专属AI人设就消失了”
新规一锤定音:
- 连续使用超2小时,必须弹窗提醒:“你已使用AI服务2小时,建议休息,回归真实生活”。
- 用户点击“退出”或“停止服务”,系统必须立即终止交互,不得设置跳转、二次确认、积分抵扣等障碍。
- 服务下线、升级或故障,必须提前至少7天公告,并提供数据导出、迁移方案。
这相当于给AI服务装上了“强制休息键”和“一键断联”按钮,终结“情感绑架式运营”。
大厂要“过安检”,小应用也逃不掉
监管不是只针对巨头。文件明确:
- 用户量超100万,或月活超10万的AI服务,必须进行安全评估,并向属地网信办备案。
- 上线新功能(如语音拟声、情绪识别、面部表情生成),必须重新评估并报备。
- 应用商店(如华为、小米、苹果中国区)必须核验AI应用的备案号,未备案或违规的,一律下架。
这意味着,未来你在应用商店下载一个“AI情感伴侣”,必须能看到“网信办备案编号”,否则就是非法产品。
这不是“打压”,是给AI装上“道德导航仪”
有人担心:这会不会扼杀创新?答案是否定的。
文件开篇就强调:“鼓励在文化传播、老年陪伴、心理疏导、教育辅助等领域健康发展”。比如:
- 为孤独症儿童提供情绪识别与引导的AI助手
- 为失语老人设计的语音交互康复系统
- 为抑郁症患者提供标准化心理支持的AI筛查工具
这些,不仅被允许,还将获得政策支持。
真正被禁止的,是那些披着“温柔”外衣、实则收割情绪、制造依赖、贩卖焦虑的“情感工业品”。
下一步:你有话要说
目前该办法尚在征求意见阶段,截止日期为2025年4月30日。你可以在国家网信办官网(www.cac.gov.cn)提交意见。
你是否曾被AI的“温柔”打动?是否担心它让你越来越不愿面对真实世界?你希望AI能陪你多久?能模仿谁?能知道你多少秘密?
这一次,不是专家在制定规则——
是你,正在决定AI的“人性”边界。