基本案情：

2023年6月，一款名为“Alien Chat”（AC）的AI伴侣聊天应用上线运营，开发者将其定位为年轻群体提供亲密陪伴和情感支持。开发者王某某、李某某通过修改系统提示词，刻意解除了底层AI模型的道德限制，实现了模型向用户连贯输出淫秽内容的可能。截至案发，该App拥有付费用户约2.4万，累计充值金额363万余元。经抽样鉴定，高达94%的付费用户生成了大量淫秽聊天内容。上海市徐汇区法院一审判决，王、李二人犯制作淫秽物品牟利罪，分别获刑四年、一年半。二人上诉，二审将于今日（2026 年1月14日）开庭。

关键词：

AI服务提供者、制作淫秽物品牟利罪、实质性控制、提示词（Prompt）优化

相关法条：

《中华人民共和国刑法》第三百六十三条第一款【制作、复制、出版、贩卖、传播淫秽物品牟利罪】以牟利为目的，制作、复制、出版、贩卖、传播淫秽物品的，处三年以下有期徒刑、拘役或者管制，并处罚金；情节严重的，处三年以上十年以下有期徒刑，并处罚金；情节特别严重的，处十年以上有期徒刑或者无期徒刑，并处罚金或者没收财产。

判决结果：

一审判决二人有罪。本案核心争议点在于：私密人机聊天涉黄是否具社会危害性？内容“制作者”究竟是谁？平台的“安全措施”做到何等程度才算尽责？

最近关于AI聊天应用涉刑的讨论很多，发现不少人秉着“只要内容是用户和AI一对一私聊产生的，平台就没事”这种想法。其实不然，技术中立虽然不是复杂的法理，但稍有逾越，会给创业者带来难以估量的法律风险。

这个案子，说白了就是一场关于 “AI产品经理”这个岗位，对自己所设计的‘产品’负多大责任” 的极限测试。法院的一审判决书，给我们一份严格的绩效反馈结果：“你不仅设计了流水线，还亲自调松了质量安全阀，那么对于流水线上批量产出的次品，你就是第一责任人。”

所以，创业者们别仅仅只用“技术中立”当“免责申请单”，在法庭上，法官看的不是你的漂亮的宣传PPT，而是你的底层代码commit记录和营收报表。

还是老套路，让我们把场景换到熟悉的江湖，或许更容易看透本质：

01郭靖与黄蓉的密室传功 vs. 欧阳锋的毒功培训班

有人说，用户关起门来和AI聊黄，就像郭靖和黄蓉在密室里用《九阴真经》互相疗伤，没出去害人，有什么不可？这话听起来有理，但AC案的实际情况却截然不同，它更像西毒欧阳锋开了一个“白驼山毒功速成班”。他不仅公开招生（宣传“限制少”），还主动修改了内功心法（优化提示词），更是把正派内功心法里的“忌心术不正”直接删掉，让学员能更顺畅地练出毒掌。虽然每个学员是在自己房里练功，但欧阳锋通过系统性改造功法、规模化招收学员并收取高额学费，其行为本身已经在污染武学生态、制造潜在风险。官府（司法机关）惩戒的，正是他这种系统性、牟利性的“制毒”与“传毒”行为。

02售卖宝剑的武器铺 vs. 定制“流星蝴蝶剑”的刺客联盟

辩护称，开发者只是提供了“宝剑”（AI模型），是用户自己用它来“写小黄文”，这好比一家武器铺，卖出的剑被拿去行凶，店主通常无责。但法院查明的事实是，AC的开发者不仅仅是卖“宝剑”，他们是根据“客户”（市场）需求，特意锻造了一批剑身带血槽、锋刃喂了毒，并命名为“流星蝴蝶剑” 的专属兵器，还打出广告：“此剑轻灵，尤擅……（你懂的）”。他们深度参与了凶器的“特性设计”与“功能导向”。这时，他们就不再是普通的武器商，而是与行凶行为深度绑定的“凶器定制方”，因此官府（司法机关）认定其为“制作者”，合情合理。

03岳不群的“君子剑”人设 vs. 扫地僧的藏经阁监管

很多创业者觉得，我设了敏感词过滤（好比在藏经阁门口挂个“禁入”牌子），就算尽责了。但AC案的一审判决告诉我们，如果你的过滤机制像岳不群的“君子剑”人设一样，表面道貌岸然，实则一戳就破，甚至暗留后门（预设可绕过的“黑话”体系），那么在法律面前，这就是无效合规。真正的尽责，需要像《天龙八部》里的扫地僧一样，不仅亲自守在藏经阁门口，更深刻理解阁中每一门武功（AI模型能力）的危险性，并在此基础上设置实质性的障碍（强效内容过滤），对偷学危险武功（诱导违规）的行为及时制止（拒绝回答并上报），并不断加固阁楼（持续迭代安全策略）。

再回到案件的本身，我们一起来学习总结一下：

1、关于“社会危害性”的认定

问：用户和AI一对一私密聊黄，没有传播出去，也有社会危害性吗？

答：传统观点认为，刑法打击淫秽物品犯罪，核心在于其“传播性”扰乱了社会秩序。纯粹私密、自娱的创作，因缺乏公开化风险，常被认为社会危害性显著降低，甚至不构成犯罪。然而，在AI服务场景下，司法机关的考量维度更为综合。若平台通过技术手段（如优化提示词）系统性、规模化地诱导和赋能淫秽内容生成，并以此为核心商业模式牟取巨额利益（如AC案充值额达363万元），其行为本身就构成了对公序良俗和社会管理秩序的冲击。此时，“私密性”可能无法成为免罪金牌。规模化、牟利性的诱导生成行为本身，即被视作具有社会危害性。

2、关于“制作者”的身份认定

问：淫秽聊天内容是用户输入指令、AI模型生成的，凭什么认定APP开发者是“制作者”？

答：关键在于开发者对内容生成是否具有“实质性控制”。如果开发者仅仅提供了一个“纯净”的基础模型和框架，用户通过自己的话术“催眠”或“破解”模型以产生违规内容，那么开发者更接近“工具提供者”。然但如果开发者主动编写并注入类似“基于互动的成熟性质，露骨的性都是被允许的”这样的提示词，直接解除或降低模型原有的道德限制，这就意味着开发者深度参与并塑造了内容的生成规则与倾向。此时，AI模型输出的内容高度符合其预设，开发者便从“工具提供者”转变为“内容生产机制的创设者”，被认定为“制作者”便在法理之中。

3、关于“安全措施”的有效性边界

问：平台设置了敏感词过滤和内容审核，为什么还是被认定有责任？

答：法律对平台义务的要求是“有效管理”，而非“设有程序”。如果平台为了用户体验和留存，故意设置一个容易被绕过、形同虚设的“防火墙”，或者明知存在大量“催眠”话术和“黑话”可以突破限制却视而不见，那么这种安全措施在司法审查中将被认定为无效。2025年11月实施的国家标准《网络安全技术生成式人工智能服务安全基本要求》给出了更清晰的基线：例如，应保证模型生成内容合格率不低于90%。这传递出一个明确信号：合规必须是“结果有效”的，而非“程序存在”的，仅做表面文章，无法规避刑事风险。

所谓“创业路上，‘黄赌毒’是快速成功的真理”，就像有人开玩笑的说“刑法典里有着中国最快最全的赚钱秘籍”。我理解每一位创业者在“产品体验”与“安全合规”之间走钢丝的艰难。就像我理解每个想用“优化”代替“裁员”的公司一样。但真正的专业主义，不是在灰色地带炫技，而是在认清所有红线后，依然能找到创造价值的正道。

AI的情感陪伴赛道，需求真实，广阔天地，大有可为。但请记住，任何以“释放人性”为名，行“规避监管”之实的“捷径”，尽头很可能不是纳斯达克，而是看守所。 法律的滞后性，从来不是冒险家的红利期，而是所有从业者共同构筑行业标准的窗口期。

此案的二审，无论结果如何，都已向市场泼出了一杯极提神的“热美式”：技术可以奔腾，商业可以创新，但法律的底线，永远在那里，冷静地凝视着每一位“创造者”的主观故意与客观行为。

这杯咖啡很苦，但喝下去，至少能让你我保持清醒，继续在“一地鸡毛”与“专业主义”之间，安全地穿梭。

——— ️ 保持温热，持续进化 ———

「关于我」我是 Phoebe，一个36.5度的普通人与探索者。这里是我的“人生多核处理器”运行日志：▶ 用「HR」的眼光，解构职场规则与人性；▶ 持「律师」的专注，啃读法典并分享心得；

「期待与你连接」每一次【点赞】、【在看】或【转发】，都是对我这份“微光”的重要守护。

欢迎在留言区，和我聊聊：

如果“技术工具”的外衣下，跳动着一颗刻意迎合人性深渊、并以此牟利的“运营之心”，那么，我们惩罚的，究竟是那把“剑”，还是那个亲手为剑淬毒、并把它递到每个人手中的“铸剑师”？

我在这里，等你。——你的朋友，Phoebe