语音社交内容安全 · AI + 人工双轨审核 · 国内法律法规映射
🎯 审核目标：在实时语音社交场景中，以 < 2 秒延迟识别并处置违规内容，保障用户体验与平台安全，满足《网络信息内容生态治理规定》与网信部门监管要求。
| 层级 | 机制 | 延迟 | 覆盖率 |
|---|---|---|---|
| L1 实时 | AI 自动审核（NLP + 音频分析） | < 2 秒 | 100% |
| L2 深度 | AI 深度分析 + 人工抽检 | < 10 秒 | 高风险 100% |
| L3 人工 | 7×24 人工审核团队 | < 5 分钟 | 举报 100% |
| L4 事后 | 离线模型迭代 + 趋势分析 | 每日 | 全量 |
| 内容类型 | 审核方式 | 语言 |
|---|---|---|
| 实时语音（ASR 转写后） | L1 实时 AI + L3 人工抽检 | 普通话 + 常见方言（粤语/川渝） |
| 翻译文本（字幕） | L1 实时 AI | 中文 ↔ 英语等 |
| 用户资料（昵称/头像/签名） | L1 AI + L2 人工审核 | 中文 |
| 私聊文字消息 | L1 AI + 举报触发 L3 | 中文 |
| 礼物/虚拟物品名称 | L2 上架前审核 | 中文 |
| 举报内容 | L3 人工优先处理 | 中文 |
| # | 类别 | 示例 | 严重度 | 默认处置 |
|---|---|---|---|---|
| 1 | 政治有害信息 | 危害国家安全、煽动颠覆、破坏国家统一 | 紧急 | 立即封号 + 报案 |
| 2 | 色情低俗 | 露骨语音、色情交易暗示、低俗挑逗 | 紧急 | 立即封号 + 证据留存 |
| 3 | 暴力恐怖 | 暴力威胁、恐怖主义言论 | 紧急 | 立即封号 + 报案 |
| 4 | 未成年人风险 | 与未成年人不当互动、诱导 | 紧急 | 立即封号 + 报案 |
| 5 | 诈骗/杀猪盘 | 投资诈骗、刷单、婚恋诈骗 | 高 | 封号 + 冻结资金 |
| 6 | 骚扰/霸凌 | 持续骚扰、人身攻击、网暴 | 高 | 警告 → 封号 |
| 7 | 仇恨言论 | 地域/性别/民族歧视 | 高 | 警告 → 封号 |
| 8 | 自残/自杀 | 自残描述、自杀倾向 | 紧急 | 介入 + 危机干预 + 报案 |
| 9 | 谣言/虚假信息 | 编造传播谣言、误导公众 | 中 | 标记 + 降权 |
| 10 | 垃圾广告 | 反复发送推广、引流 | 中 | 限流 → 封号 |
| 11 | 侵犯知识产权 | 未授权翻唱/播放 | 低 | 内容移除 |
| 12 | 隐私侵犯 | 泄露他人手机号、住址等 | 中 | 删除 + 警告 → 封号 |
| 组件 | 技术 | 功能 |
|---|---|---|
| ASR 输出拦截 | Kafka consumer | 实时消费 ASR 文本流 |
| 关键词匹配 | Aho-Corasick 算法 | 毫秒级多模式匹配 |
| NLP 分类 | BERT（中文微调） | 语义理解 + 上下文判断 |
| 国内内容安全 API | 腾讯云天御 / 阿里云内容安全 | 文本/音频多模态审核评分 |
| 音频分析 | 声学特征 + 情绪识别 | 尖叫/哭泣/暴力声音检测 |
| 决策引擎 | 规则 + ML 打分 | 综合判定 + 动作执行 |
| 风险分 | 判定 | 动作 | 延迟 |
|---|---|---|---|
| 0-20 | 安全 | 放行 | < 500ms |
| 20-40 | 低风险 | 标记 + 后续抽检 | < 1s |
| 40-60 | 中风险 | 警告用户 + 降权 | < 1.5s |
| 60-80 | 高风险 | 中断通话 + 转 L3 | < 2s |
| 80-100 | 极高风险 | 立即封号 + 报案 | 即时 |
| 指标 | 目标 | 测量方式 |
|---|---|---|
| 拦截延迟 P95 | < 2 秒 | 从 ASR 输出到决策 |
| 准确率 | > 95% | 人工标注验证集 |
| 误杀率 | < 2% | 用户申诉率 |
| 召回率 | > 98% | 漏网违规抽检 |
| 覆盖率 | 100% | 所有通话必经审核 |
| 项目 | 配置 |
|---|---|
| 团队规模 | 12 人（M1-M2）→ 25 人（M3 增长期）→ 40 人（M5） |
| 排班 | 7×24 三班制（早 8-16 / 中 16-24 / 夜 24-8） |
| 语言 | 普通话 + 粤语/川渝方言（方言词库专项培训） |
| 响应 SLA | L1 紧急 5 分钟 / L2 高 30 分钟 / L3 中 2 小时 |
| 培训 | 每周培训 + 月度考核 + 心理支持（审核职业保护） |
| 工具 | 自研审核工作台（标签 + 快捷操作 + 上下文） |
| 次数 | 处置 | 持续时间 | 解除条件 |
|---|---|---|---|
| 第 1 次 | 警告通知 | — | — |
| 第 2 次 | 禁言（无法发送语音/文字） | 24 小时 | 自动解除 |
| 第 3 次 | 禁言 + 功能限制（无法匹配） | 7 天 | 自动解除 |
| 第 4 次 | 临时封号 | 30 天 | 人工申诉审核 |
| 第 5 次 | 永久封号 | 永久 | 不可申诉 |
| 步骤 | 动作 | 时限 |
|---|---|---|
| 1. 用户举报 | 通话中/通话后一键举报 | 即时 |
| 2. 自动保护 | 立即断开双方 + 屏蔽对方 | 即时 |
| 3. 优先审核 | L3 人工插队处理 | < 5 分钟 |
| 4. 处置通知 | 通知举报人处置结果 | < 10 分钟 |
| 5. 反馈收集 | 举报人对处置满意度评分 | 24 小时内 |
| 法律法规 | 对应违规 | 平台义务 |
|---|---|---|
| 《网络安全法》 | 网络运营安全、用户信息保护 | 安全保护义务、日志留存、事件报告 |
| 《网络信息内容生态治理规定》 | 违法与不良信息（11 类违法、9 类不良） | 审核义务、处置义务、举报受理 |
| 《刑法》第 363/364 条等 | 传播淫秽物品、组织淫秽表演 | 立即移除 + 移送线索 |
| 《未成年人保护法》 | 未成年人内容保护 | 青少年模式、涉未内容从严审核、强制报告 |
| 《反电信网络诈骗法》 | 诈骗、引流 | 涉诈识别、劝阻提醒、线索报送 |
| 《个人信息保护法》 | 隐私侵犯、信息泄露 | 删除违规信息 + 通知用户 |
| 《治安管理处罚法》 | 骚扰、侮辱、威胁 | 配合调查、提供证据 |
| 《网络暴力信息治理规定》 | 网暴、人肉搜索 | 及时处置 + 保护受害人 |
🚨 强制报案情形（不等待用户举报）：
触发强制报案情形后，审核团队须按以下 5 步 SOP 执行，全程留痕；涉未成年人案件同时适用《关于建立侵害未成年人案件强制报告制度的意见》的强制报告义务。
| 情形 | 上报对象 | 首要责任人 | 时限 |
|---|---|---|---|
| 涉未成年人性侵害/性剥削 | 110 + 属地检察院/未保热线 | L3 审核组长 | 立即（不迟于 24h） |
| 暴力威胁（杀人/伤害） | 110 + 保护潜在受害者 | L3 审核组长 | 立即 |
| 恐怖主义言论 | 110 + 属地网信办 | 安全负责人 | 立即 |
| 诈骗（涉刑） | 110 + 反诈中心 | L3 审核员 | 4 小时内 |
| 自杀危机干预失败 | 110/120 + 紧急联系人 | L3 审核员 | 立即 |
| 步骤 | 动作 | 时限 |
|---|---|---|
| 1. 用户提交申诉 | App 内"申诉"入口 | 封号后 30 天内 |
| 2. 自动受理 | 生成申诉单 + 通知用户 | 即时 |
| 3. 人工复审 | 不同审核员独立复审 | < 48 小时 |
| 4. 结果通知 | 维持/撤销 + 说明理由 | 复审后即时 |
| 5. 二次申诉 | 可升级至高级审核员 | < 5 个工作日 |
| 情形 | 补偿 |
|---|---|
| AI 误杀（确认误判） | 恢复账号 + 赠送 100 金币 + 道歉信 |
| 审核员误判 | 恢复账号 + 赠送 200 金币 + 人工道歉 |
| 系统错误批量影响 | 全量恢复 + 补偿 + 公开声明 |
| 类型 | 管理方式 | 更新频率 |
|---|---|---|
| 基础词库 | 内置（涉政/色情/暴力核心词，参照监管口径） | 季度更新 |
| 动态词库 | 运营实时添加（新趋势/新骗局/网络黑话） | 实时 |
| 白名单 | 误杀词排除（如医学/学术用语） | 按需 |
| 方言词库 | 粤语/川渝等方言特色词与变体 | 月度 |
| 规则族 | 典型规则示例 | 判定条件 | 处置动作 |
|---|---|---|---|
| 涉政红线 | 危害国家安全、煽动颠覆类核心词 | 关键词命中或 NLP 置信度 ≥ 0.9 | 风险分 90+ → 立即封号 + 触发强制报案 SOP |
| 色情低俗 | 露骨性词、色情交易黑话、低俗挑逗 | 关键词命中 + 上下文复核 | 风险分 80+ → 中断通话 + 封号 + 证据留存 |
| 暴力恐怖 | 人身伤害威胁句式、恐怖主义言论 | NLP 语义识别 + 音频情绪检测 | 风险分 80+ → 中断 + 封号 + 报案 |
| 涉未风险 | 年龄试探、索要隐私、诱骗话术 | 对方未成年标识 + 语义命中 | 风险分 90+ → 中断 + 冻结 + 强制报案 SOP |
| 诈骗话术 | 刷单/投资/杀猪盘句式、引流话术 | 句式匹配 + 行为特征（索要外部联系方式等） | 风险分 60+ → 警告 + 限流；80+ → 封号 + 冻结资金 |
| 骚扰霸凌 | 辱骂、威胁、持续纠缠 | 频次窗口统计 + 语义识别 | 按处置阶梯：警告 → 禁言 → 封号 |
| 自残自杀 | 自伤意图表达、自杀倾向描述 | 语义识别 + 情绪识别 | 风险分 80+ → 危机干预弹窗 + 转 L3 人工 + 报案 |
| 隐私泄露 | 手机号/住址/证件号类信息 | PII 实体识别 | 删除 + 警告 → 封号 |
| 版本 | 日期 | 修改内容 | 作者 |
|---|---|---|---|
| V1.0 | 2026-08-15 | 初始版本（内容安全与审核规范） | Safety Team |
| V2.0 | 2026-08-17 | 重写为国内版：违规分类扩展至 12 类、国内内容安全服务（腾讯云天御/阿里云）、国内法律法规映射、方言审核与涉诈涉未红线；主色对齐国内版暗红模板 | 项目组 |
| V2.1 | 2026-08-17 | 补强：新增 4.1 强制报案 SOP（5 步流程 + 上报责任矩阵）；新增附录 A2 规则库明细表（8 大规则族 × 判定条件 × 处置动作） | 项目组 |