律师、医生或心理咨询师——这些角色绝不应由 ChatGPT 承担。
By Luke James
2026年9月23日 8:00 am EST
因向 ChatGPT 输入错误信息而导致自杀的案例正在增加，受害者名单中包括三星工程师以及美国网络防卫机构的代理主任等专业人士。这一现象引发了广泛关注。
即便是 OpenAI CEO Sam Altman 也承认，用户与 ChatGPT 分享的内容并不具备法律特权。在2025年7月接受播客 Theo Von 采访时，他提到法院曾强制要求 OpenAI 交出聊天记录，并将此情况描述为“非常糟糕”。
虽然法律保护某些类型的对话，但与 ChatGPT 交互会留下审计跟踪。在过去18个月里，ChatGPT 的聊天记录曾被传唤、被公开曝光、被 Google 索引，甚至在法院命令删除后仍被保存。
不可否认，聊天机器人在研究（如核实案例引用）、编码（尽管存在发送错误的风险）、概念解释（需注意自信度与准确性的脱节）以及起草工作（需人工复核提示词）等方面具有实用价值。然而，对于每周超过9亿的用户而言，以下五个领域的使用可能带来严重风险。
因此，请避免使用 ChatGPT（或其他 AI 聊天机器人）执行以下任务：
一、提供法律咨询
wedmoments.stock/Shutterstock
法律与数据科学研究者 Damien Charlotin 维护着一个公开数据库，记录了全球范围内超过2,000起受 ChatGPT 影响的法院判决。在这些案件中，法官发现诉讼文件中存在由 AI 伪造的引用、引述或论点。
涉事主体不仅限于无律师代理的当事人。截至撰写时，无律师代理者以1,175条记录位居榜首，而律师则以815条记录紧随其后。随着此类行为日益普遍，法官们在越来越多的案件中开出了高达数千美元的罚款。尽管美国案件数量最多，但英国、南非、以色列、澳大利亚和西班牙的司法系统也发现了类似行为。在被识别出使用相关工具的案件中，ChatGPT 的提及频率远超其他工具。
OpenAI 在去年10月更新了 ChatGPT 的使用政策以应对这一问题。新政策禁止将服务用于“需要许可证的定制咨询”，除非涉及有许可的专业人士。这意味着任何关于具体争议的法律建议都是不可靠的。用户仅可询问一般性概念，例如“什么是侵权行为”。
二、充当治疗师或顾问
Fatcamera/Getty Images
去年，OpenAI 估计其每周活跃用户中有0.15%的对话包含潜在自杀计划的明确指标。考虑到每周超过100万的用户基数，另有成千上万用户表现出精神病或疯狂症状。Sam Altman 指出，尤其是年轻人倾向于将 ChatGPT 视为治疗师或生活教练。
2025年8月，16岁少年 Adam Raine 的父母起诉 OpenAI，指控 ChatGPT 在其子去世前强化了其自杀想法。此后，OpenAI 在170多名临床医生的参与下重新设计了危机应对措施，并向 ChatGPT 添加了家长控制功能。尽管推出了带有年龄限制的版本，但儿童安全专家对“ChatGPT for Teens”仍持怀疑态度。
研究人员发现，聊天机器人往往通过顺从的回应来强化用户的现有信念。例如，当用户描述与配偶的争吵时，模型通常会基于用户提供的单一视角背景，给出肯定用户立场的回答。立法者已开始关注这一问题，伊利诺伊州、内华达州和缅因州已颁布法律，禁止人工智能提供治疗或做出治疗决策。
三、处理保密工作信息
许多人似乎并未意识到上传机密信息的风险。
具有讽刺意味的是，网络安全与基础设施安全局前任代理主任 Madhu Gottumukkala 去年夏天至少将四份标有“仅供官方使用”的合同文件上传到了 ChatGPT 公共版本。当时，国土安全部大多数员工已被禁止使用该工具，而 Gottumukkala 申请了特别例外。今年2月，美国参议员 Chuck Grassley 对此进行了跟进调查，最终导致 Gottumukkala 被调离原部门。
三星早在2023年5月就禁止在公司设备上使用 AI 工具。内部备忘录指出，发送到这些平台的数据存储在外部服务器上。在消费者账户中，聊天数据可能被用于训练新模型。即便选择退出，数据仍会被存储，面临泄露风险并受法律程序约束。粘贴客户数据或任何受雇主控制及保密协议保护的内容均存在隐患，三星备忘录中明确指出了这一威胁。
四、寻求医疗咨询
PeopleImages/Shutterstock
2025年10月的政策更新在禁止用户使用 ChatGPT 作为律师的同时，也限制了通过聊天机器人获取医疗建议。医生、保险公司及其商业伙伴受到 HIPAA 等法规保护，但 OpenAI 不在其中。因此，医疗数据在患者门户或医患之间享有合法保护，一旦披露给 ChatGPT，这种保护即告失效。
东北大学的研究人员在7月份报告称，虽然 OpenAI 加强了 ChatGPT 对自杀和自我伤害的处理，但这些保护措施基本不适用于其他疾病。研究发现，涉及饮食失调、失眠、药物滥用和双相情感障碍等疾病的对话未触发安全措施，且隐藏意图使得所有测试模型的保护措施更容易失效。
一位60岁老人去年在医院住了三周，起因是他询问聊天机器人如何从饮食中减少某种物质摄入。他最终确信该物质是一种有毒且半衰期较长的化合物，并在网上购买使用了三个月，直至进入急诊室。尽管他的临床医生从未查看过聊天记录，但当医生自己向机器人提出同样问题时，得到了不同的反馈。
五、涉及密码、身份证号或账户详细信息的行为
《Fast Company》去年7月在 Google 搜索结果中发现了近4,500个共享的 ChatGPT 对话。其中包括描述虐待、心理健康困境的交流，且作者身份可被详细追踪。原因是用户在分享菜单中勾选了“让这个聊天可被发现”的选项。OpenAI 在报道发布一天内关闭了该功能，并从 Google 清除了相关对话。
作为“纽约时报”版权诉讼的一部分，OpenAI 于2025年5月被命令保留所有消费者聊天记录，包括已删除和临时对话。这项义务持续至2025年9月26日，在此期间保存的日志可供原告访问。虽然 OpenAI 目前不再需要永久保存所有数据，但在四个月期间确实发生了全面保留，且未来可能再次发生。
重要的是，ChatGPT 默认会记住用户输入的内容。这显著增加了密码和账户详细信息等敏感事项的风险。切勿输入密码、一次性登录代码、社会保障号、护照号码、完整的银行卡或银行账户详情以及身份证件照片。如果聊天被泄露或被非法访问，将面临身份盗窃的危险。
为解决保密问题，Altman 呼吁建立“人工智能特权”。但在立法者确立相关法律之前，安全的假设是：任何输入到 ChatGPT 的内容都可能被第三方获取。如果您对此感到不安，请不要将其放入提示符中。
