Google Play 于 2026 年 8 月 25 日发布新指南,说明如何应对可能助长非自愿私密影像(NCII)的生成式 AI 应用。关键变化在运营层面:应用安全不能只看首次商店审核,因为模型行为、提示方式和滥用模式会在上线后变化。
Google 称正在做什么
在 Android Developers 文章中,Google 表示会在应用生命周期内反复测试,并已审核数千款应用,以发现薄弱控制或滥用。违规应用可能被下架,并被切断 Google 系统内的广告或变现渠道。
Google 还称通过 Priority Flagger 与专业 NCII 机构和 AI 安全研究组织合作。这可能提高举报质量和速度,但公司没有公布完整检测率、误报率或处理时间。因此,审核规模与实际效果需要分开看。
Google Play 的AI 生成内容政策要求生成内容的应用遵守受限内容规则,并必须在应用内提供举报功能,让用户无需离开应用即可报告冒犯性输出。开发者还应利用举报改进过滤和审核。另一份帮助文档明确把 AI 生成的非自愿性深度伪造材料列为违规示例。
为什么要做全生命周期测试
生成系统不是固定内容目录。输出取决于模型版本、提示、上传媒体、系统指令、过滤器和外部工具。能拦截直接请求的控制,可能在换一种表达或经图像编辑时失败。模型或审核服务升级也会在界面不变时改变行为。
因此,安全测试应超越上线清单:发布前进行对抗测试,在模型和政策变更后持续监控,建立清晰的举报升级流程,对可疑模式限速,并保留足够审计信息以调查事件,同时尽量少收集敏感数据。这些是从风险模型推导的工程做法;Google 没有为所有应用规定同一种实现。
团队还要区分预防和响应。输入输出过滤可减少有害生成,但失败时用户必须有快速举报路径。若内容能被重新生成或发布,只删除一次输出并不够。
法律环境也在同方向发展
Play 规则与法律义务并不相同。美国联邦贸易委员会关于 Take It Down 法案的指南指出,适用平台必须提供非自愿私密影像通知和删除流程,范围包括由 AI 创建或修改的数字伪造。收到有效请求后,平台须在 48 小时内移除所报内容,并合理努力删除已知相同副本。
FTC 还建议对已删除内容使用哈希以防再次出现;涉及未成年人时可与 NCMEC 分享,成年人内容可与 StopNCII.org 分享。这针对已识别内容,不能替代模型级防护,也不意味着哈希匹配不会出错。
对开发者而言,商店审核、内容生成、托管和用户举报可能承担不同责任。通过审核不等于持续合规,Google 的执法也不会把开发者的法律义务转移给 Google。
仍缺少哪些证据
新文章给出了更清楚的方向,但公开指标有限。值得披露的数据包括生命周期审核发现回归的频率、处理时间、恢复上架标准和重复违规情况。还需要了解,当开发者不控制底层模型时,Google 如何评估第三方模型供应商的安全声明。
尽管如此,方向已经明确:Android 上的生成式 AI 安全正在成为持续运营要求。控制、举报路径和变现资格将依据上线后的真实行为,而不只是首次提交材料。
来源与方法
本文使用 Google 的原始公告、Google Play 的 AI 与不当内容政策,以及 FTC 指南。本文不描述制作滥用材料的技术。