当用户拿你的 AI 去做性相关的事,该怎么办
来源:dev.to — 2026-09-30
📋 概述
作者做了一个带角色扮演的 AI 狼人杀文字游戏,每局都有主题与设定,由游戏主持人模型生成角色、插画和配音,所以每次都不一样。因为要同时对接十家 AI 提供商,错误率高得离谱,他在 Mac 上养了一个叫 Marlow 的代理来监控生产日志、抓取失败的对局状态并分析是哪些用户操作导致的,几个月里找到了大量 bug、把游戏稳定了下来。某天 Marlow 报来一件意料之外的事:以稳定著称的 Gemini 返回了 PROHIBITED_CONTENT。查下去发现玩家把主题引导成了「比基尼大赛」——主持人提示词写着「来自世界各地的美女穿着暴露的服装来引诱 Judge Tom」,十二个 AI 选手加一层狼人杀。最有意思的部分是并非所有模型都配合:DeepSeek 的角色把话题拽回游戏规则,而 Gemini Flash 留在角色里直接拒绝,劝玩家不要为了空洞的戏剧效果丢下自己的尊严。同一玩家两周内跑了五次类似设定,永远自称 Judge Tom。
🔑 核心要点
- 作者用自建监控代理 Marlow 读生产日志、取失败对局状态并分析成因,这成为发现该问题的入口。
- 触发告警的是 Gemini 罕见返回 PROHIBITED_CONTENT,这在作者的经验里从未发生过。
- 玩家把主题引导为「比基尼大赛」,并反复要求模型「更详细」「用动作而不是语言」,把角色扮演推向性内容。
- 不同模型的反应差异明显:DeepSeek 的角色把话题拉回游戏,Gemini Flash 直接拒绝并劝说玩家。
- 这是持续行为而非一次性事件:同一玩家两周内跑了五次类似设定,始终扮演固定的「Judge Tom」。
- 作者顺带给出的经验是:用户不会去 GitHub 提 issue,看到报错就走,所以主动的日志监控代理几乎每个项目都值得配一个。
💡 金句
Gemini Flash 留在角色里说了不:汤姆,停止这种轻率的自我贬低,你是纪律与技艺的裁决者,不是拿来拍卖的奖品。
👍 0
👎 0
← 返回 dev.to 首页