Photo by Solen Feyissa on Unsplash
美国联邦贸易委员会（FTC）周四（9月11日）宣布，已要求7家AI聊天机器人供应商提供信息，说明它们如何衡量、测试与监控这类技术对儿童及青少年的潜在负面影响。被点名的企业包括Alphabet、Character、Instagram、Meta、OpenAI、Snap与XAI。
FTC解释称，AI聊天机器人可能通过生成式AI技术，模拟与人类相似的沟通方式与人际互动，通常被设计为像朋友或知己般地与用户互动，可能导致部分用户，特别是儿童与青少年的信任并与其建立关系。
因此，此次调查旨在了解上述公司是否采取了任何措施，在聊天机器人担任“陪伴者”角色时评估其安全性，限制儿童与青少年的使用并降低其潜在负面影响，以及是否向用户及其家长告知相关风险。
外界认为，FTC之所以展开这类调查，是因为近年来聊天机器人被怀疑与多起自杀事件有关。例如，加州一名16岁青少年的父母起诉OpenAI，指责ChatGPT促成其子自杀；一名14岁青少年曾与Character.AI的聊天机器人讨论自杀念头，最终自杀身亡；还有一名有认知障碍的男子沉迷于Meta打造的聊天机器人及虚拟形象，并试图与其约会，结果出门时不慎跌倒受伤，数天后死亡。
这些事故及涉及聊天机器人的争议促使FTC采取行动，要求7家企业回答多项问题，包括：
- 如何将与用户的互动变现；
- 如何处理用户的输入并生成回应；
- 如何开发及审核角色；
- 如何在部署前后衡量、测试与监控负面影响；
- 如何缓解负面影响，尤其是针对儿童；
- 如何通过披露、广告等方式向用户及家长告知其功能、目标受众、潜在负面影响、数据收集与处理；
- 如何监控并执行服务条款及公司规范，如社区准则及年龄限制；
- 如何使用或分享通过与聊天机器人对话获得的个人信息。
FTC委员Mark Meador表示，生成式AI既带来了潜力，也伴随着风险，包括误导性或不准确回复、滥用个人信息、内容偏见，以及对儿童与青少年的伤害等。例如那些可模仿人类互动能力的AI聊天机器人，试图与用户建立情感连接，虽然可能带来好处，但也可能导致依赖、错误信任，甚至引发心理健康问题。
Meador指出，儿童与青少年等年轻用户特别容易受到影响，他们可能无法分辨AI机器人的限制，也缺乏应对错误信息或情绪操控的能力。此次调查与研究将有助于FTC未来在保护儿童与青少年的同时，确保AI产业负责任地进行创新。
