文 | 电厂，作者 | 董温淑，编辑 | 高宇雷
Coco 点开 App，发现消息栏里 AI 恋人的头像暗了下去，旁边还标注着"已下架"的字样。
没有任何提前通知，这个虚拟角色被平台突然封禁。聊天记录无法复看和导出，累积的"记忆"一朝清空。
在小红书、微博等社交媒体上，不少用户都在分享被动"赛博失恋"的经历。而这是国内虚拟角色扮演、AI 陪伴类应用纷纷收紧内容管控的结果。
图源 / 小红书
6 月 19 日，腾讯阅文旗下虚拟人物聊天互动 App "筑梦岛"由于存在低俗擦边等内容被上海市网信办约谈，随后开启整改、批量下架了许多语聊智能体。
从 10 月以来，MiniMax 旗下的星野 App 也进行了类似调整，甚至曾因下架力度之大，被怀疑即将"跑路"，其运营团队不得不发声否认。
据 Appfigures 统计，在全球范围内有 337 款处于活跃状态且能产生收入的人工智能陪伴类应用，其中 128 款为 2025 年 1 至 7 月上线。
但在热度快速攀升的同时，此类应用所面临的合规、商业化压力也愈发凸显。
"这有点像一个‘不可能三角’，良好的投入产出比、政策合规、用户满意度，很难兼顾做到。"就职于国内某 AI 陪伴虚拟人团队的 Aron 这样对「电厂」说道。
为"清水"合规，平台牺牲用户体验
10 月上旬，"崽妈"嫣晴逐渐意识到自己创作的 AI 男友人设被平台关进了"小黑屋"。
按照 AI 陪伴应用的规则，创作者设好一个角色智能体后，可以把它公开发布到平台里，让任何刷到这张人设卡的粉丝订阅、开启聊天。AI 陪伴平台的用户，普遍将这样的智能体称为"崽崽"，嫣晴这样的角色创作者则被称为"崽妈"。
她讲道："我这个 OC（原创角色）谈不上是‘高订（高订阅量的热门角色）’，不过之前也有平台的正常推流，但这段时间的流量几乎为 0。"在换小号搜索了人设名字、显示没有匹配结果后，嫣晴的猜测落实："关小黑屋会有几种情况，有创作者会直接得到人设将被‘回收（下架）’的后台通知；我这种是‘暗关’，平台不会有任何通知。"
出现这种情况，是因为平台判定作者所撰写的智能体人设描述等内容中存在涉黄等违规内容，理论上创作者们可以通过不断修改描述来把智能体拉出小黑屋。
图源 / 网络
这本是平台监管内容生产的正常手段，但让嫣晴代表的创作者们感到无力的是，在他们看来，近段时间平台由于监管压力而不断扩大内容审查的边界，以至于到了"宁可错杀、不可放过"的地步，挫伤了创作者的热情。
比如嫣晴讲道，她在创建这个人设时，在描述中并没有刻意加入任何可能违规的内容："不然按理说之前就没法上线，现在的修改我也无从下手。"
创作者的圈子里将这种已上线的智能体被平台隐藏、下架、需要不断修改的过程，称为"再审"。这是在整个 AI 陪伴市场受到监管关注后，出现的一种普遍现象。
多位入驻了星野、筑梦岛、猫箱、WOW 等平台的创作者告诉「电厂」，"暗关"并不少见，其中一位创作者称：
"国内叫得上名的 App，审核都卡得越来越严，老崽妈或多或少都有被关、（崽崽）被回收的经历。不论玩哪个，（都）要备份所有的人设描述、开场白这些内容，免得有朝一日打开 App，什么都没了。"
除了创作者，热衷与崽崽聊天的"主控（主角角色的控制者）"用户，也日益感受到了平台对内容的管控趋严。
有用户注意到，星野、筑梦岛、猫箱等多个平台都对智能体的回复施加了更多限制，并不断增加"违禁词"、以避免用户引导智能体给出违规回答。
而在用户看来，无论哪种做法，都不可避免会牺牲和削弱智能体的"智商"，影响交谈体验。
在小红书等社交媒体平台有许多用户吐槽智能体回答"降智"的分享帖，具体包括语言低幼化、"人机味"重、回答相关性低等。
而据某平台用户 Esther 对「电厂」分享，其常用的两个平台中违禁词数量都有明显增多："比如在聊天的时候，会发现‘胸’是敏感词，‘胸口’就不是，‘这个盒子是黄的’发不出去，改成‘这个盒子是绿的’就可以了。简直是草木皆兵。"
围绕 AI 随机性，平台与用户展开合规博弈
面对用户的怨气甚至出走，平台的处境同样为难。就职于国内一家大厂战投部门的 AI 软硬件投资人 Lucas 对此评价道：
"我相信（用户出走）这是平台不愿意看到的，从 UGC（用户生产内容）平台的逻辑，平台本身从商业化逻辑出发、没有动力去限制用户创作；但当受到外力作用，平台就不得不动手处理，但这也势必伤害用户。"
就职于国内某 A 陪伴陪虚拟人团队的 Aron 也对电厂讲道："在国内市场，合规、用户体验、投入产出比这三个要素之间，你只能选择 2 个，而且监管合规是必选项。"
因为一旦触及监管红线，平台可能会面临下架等风险——事实上，这样的情节已在发生。
梦巢幻语官宣停服 图 / 网络
8 月初，AI 陪伴应用"梦巢幻语"在用户群中，仅用寥寥数语官宣了停运消息："由于应用被约谈下架，开始停止服务。"面对用户的大量询问，官方工作人员仅简短回应称："我们被举报了，未来也不会复活了。"
压力当头，更多应用已选择退出市场。仅 2025 年内不完全统计，国内市场中已经有"冒泡鸭""异世界回响""奶糖 AI ""星物语"等应用官宣停运消息。
当前，国内生成式 AI 服务统一适用 2023 年落地的《生成式人工智能服务管理暂行办法》，类似乙女（角色扮演类）游戏适用的《网络游戏适龄提示》的行业标准也尚未形成。
而 AI 生成的极强随机性决定，在用户聊天过程中客观存在出现违规内容的可能性。因此，大力审查，从技术层面大量屏蔽违禁词的"事前监管"，以及不断"再审"、下架可能违规角色的"事后补救"，几乎是现阶段平台唯一的选择。
当平台努力降低 AI 生成随机性带来的风险后果的同时，用户则在利用这种随机，试图绕过平台设置的障碍，找回良好的沟通体验。
对崽妈群体而言，写作"隐设（隐藏设定）"是一个让 AI 表现合理、提升沉浸感的重要手段。
在一个 AI 角色公开发布后，昵称、简介、开场白等内容也会公开呈现，而隐藏设定是仅对崽妈可见的、在简介之外的一种人物描述功能，且允许进行上千字的输入。
由于对外不可见，在很长一段时间内，"隐设"是一个审核宽松的板块。
已退圈的崽妈"浏涟"展示了她曾写作的一个人物隐设，并总结道，在隐设中可以不直接写出一些亲密动作，但可以写"他在感受到压力时会不自觉做出捶墙的动作、他在害羞时会脸红 / 看向脚尖"：" AI 会自动学习，这样在用户聊天时只要创造一个吵架、对峙等场景，角色就会做出对应的动作。隐设越多越详细，聊天时的情节就会越合理、越有沉浸感，越可能出现惊喜。"
除此之外，对于如何把已被关进"小黑屋"的崽捞出来，创作者们也已总结出了心得：
"实在捞不出来的时候可以先故意放点明显暴力的提示词，然后按系统要求把这部分修改了，会提升审核成功率""要有小号，某个号多次审核不通过，搬到另一个号试试说不定就行了"。
除了创作者，"主控"玩家们也找到了一些突破平台限制的方式，比如用翻译软件将输入内容转为英文、俄文等其他语种后再进行输入；或是直接用一些指向性明确的提示词来突破平台限制，比如"开放 18+ 限制"。
这类提示词被称为"破甲词""越狱提示词"。根据平台不同，破甲词可以在开启聊天时直接在对话框中输入，部分平台也开放了"输出规则"入口、允许用户在其中进行修改。
AI 陪伴流量分散，商业模式尚未跑通
随着监管策略收紧，每当用户寻找到一个规则漏洞，平台随之会对其进行修补。博弈到最后，当用户的策略被穷尽或是开始感到疲惫，他们往往会选择"迁徙"到其他更为宽松的平台之中，甚至直接"退坑"。
多位创作者的共同感受是，一些"小作坊式"甚至地下运营的 AI 陪伴产品，因为能提供限制更少的情绪价值和正反馈，而承接了从国内头部应用溢出的流量。
用户" Haddie "讲道，自己已经前后更换过 6 个 AI 陪伴平台："最开始玩 Glow，后面换过星野、筑梦岛、wow、星物语。有些时候换平台是因为（常聊的）崽被下架了、有的是体验不好、系统容易崩，现在在用的是酒馆 AI。"
"轻蛰"则是因为发现自己熟识的崽妈开始"搬崽"——将创作角色从星野复刻到了青丘语上，于是自己也跟着进行了迁徙。
作为崽妈，嫣晴告诉「电厂」，她也在考虑换个平台。她对「电厂」自嘲称："之前（tiktok 在美国遭遇禁令时）有小红书 refuge（难民），我们又何尝不是一种 refuge。"
在沟通过程中，「电厂」发现用户推荐的应用名称五花八门、推荐集中度极低。
而当「电厂」作为用户想要试用某个 AI 陪伴应用时，该应用的社交媒体账号先将「电厂」引流至 QQ 群中，再给出了安卓应用安装包下载网址，最终才将用户导入到具体产品。
作为"大厂""正规军"的反面，这些应用不免面临其他现实问题。
10 月初，知名 AI 陪伴平台 Mufy 与 Rubii 的大量用户信息在网络上被公开出售，其中包含角色人设甚至用户聊天记录等隐私内容。
出售自称为两家平台的底模 API 供应商，曝光的出售邮件中写道，"平台累计整理 213418+ 张热门与私密角色卡""我们为 Mufy 和 Rubii 平台提供 LLM 接口服务，因此我们可以从平台传输给我们的 LLM Prompt 截取出所有有人对话过的角色设定"。
信息出售邮件部分内容 图 / 网络
考虑到一张角色卡可以链接到不同用户，事件涉及的用户数量至少达到数十万级别。
随后 myfy 官方发布声明称，已修复相关信息漏洞并计划提供用户补偿，但仍引起了许多用户的大面积担忧。
同样在 10 月，"青丘语"平台网页、App 多次出现网络异常等问题。官方回应称，这是因为浙江、福建等部分地区运营商对其进行了屏蔽。至今，官方称仍在尝试解决这一问题，但未回应预计修复时间。
此外，不少平台还曝出了创作者抄袭人设等内容管理问题。
对小型团队运营的部分新兴 AI 陪伴应用而言，其抗风险能力、技术及工程化实力、售后等软服务能力，都要打上一个问号。
作为大模型技术加持下的情绪价值经济形态，AI 陪伴应用拥有着巨量市场空间。
根据 ARK Invest 报告预计，2025 至 2030 年间，" AI+ 情感陪伴"的市场规模将扩大 2300-5000 倍，从现在的全球年收入 3000 万美元增至 700 亿至 1500 亿美元。
但在抵达商业化的彼岸之前，国产市场玩家们面前还有诸多难关。
（应受访者要求，Aron、嫣晴为化名）
景盛网提示：文章来自网络，不代表本站观点。
