ChatGPT 安全与隐私争议：提示注入诱导诈骗与人工审阅聊天记录

提示注入攻击可诱导 AI 推荐诈骗渠道

近期一项安全研究指出，攻击者能够通过提示注入（prompt injection）等手段影响 ChatGPT、Gemini 等主流对话式 AI 的输出，使其在回答中把用户引导至诈骗团伙控制的渠道。该研究将这类手法称为「黑暗魔法」，核心思路是污染模型所依赖的信息来源，让模型在看似正常的回答里夹带恶意推荐。来源

从技术角度看，这类攻击并不需要直接攻破模型本身，而是利用模型对上下文和外部内容的高度信任。当 AI 会读取网页、文档或第三方数据来生成答案时，攻击者只要在这些内容里埋入精心构造的指令，就可能改变模型的输出倾向。对于普通用户而言，风险在于 AI 给出的建议往往带有「中立、可信」的外观，用户较难分辨其中是否已被植入导向性内容。来源

该帖在 HackerNews 上获得 142 点、52 条评论，讨论集中在提示注入的防御难度、模型厂商的责任边界，以及用户应如何对待 AI 给出的外部链接与推荐。多数观点认为，单靠模型侧的过滤难以彻底解决，需要产品在展示外部来源时提供更明确的可信度提示。来源

诉讼称 ChatGPT 聊天记录存在人工审阅

另一则引发关注的消息是一起集体诉讼，指控 OpenAI 在「人工审阅」项目中让人员阅读用户的 ChatGPT 对话内容。诉状称，相关做法涉及用户隐私预期与数据处理透明度问题，原告方将其描述为对聊天记录的「人工查看」。来源

从产品机制上看，大型语言模型的运营方通常会抽取部分对话用于质量评估、安全审核与模型改进，这一环节可能包含人工标注或复核。争议的焦点并非「是否存在审阅」，而是用户是否被充分告知、数据在审阅后如何留存与使用，以及相关流程是否符合隐私政策与当地法规的要求。来源

该帖在 HackerNews 上获得 42 点、13 条评论，热度低于前一条，但触及了 AI 产品长期存在的隐私张力：用户倾向于把聊天框当作私密空间，而服务方的运营需求又要求对部分内容进行人工处理。评论中不少人提到，关键在于默认设置与告知方式，而非单纯的技术能力问题。来源

两条讨论的共同指向

把这两条帖子放在一起看，可以看到当前对话式 AI 面临的两类典型问题：一是外部内容可被操纵，导致输出被用于诈骗等恶意目的；二是内部数据处理流程与用户隐私预期之间存在落差。前者偏安全，后者偏隐私，但都指向同一个前提——用户对 AI 输出的信任，需要由厂商在技术与流程层面持续维护。来源 来源

对国内用户而言，使用此类海外服务时可能遇到访问受限的情况，可关注国内厂商推出的同类对话产品作为替代方案，并在使用中留意不要向 AI 输入敏感个人信息，对 AI 给出的外部链接与推荐保持审慎。来源

以上整理自 HackerNews 公开讨论，原帖见上方链接