编辑导读：对于资讯类产品和内容内产品来说，内容审核是必不可少的环节之一。审核是对产品风险的把控，也是维护网络生态环境中重要的一环。这篇文章，作者为我们讲解了搭建内容审核系统的设计思路和流程，希望能对你有所帮助。

今年负责的APP产品涉及到内容的审核，并且针对性的做了一套内容审核系统和账号安全体系。因此总结了一些经验。

内容审核基础逻辑：

• 内容类型：文本、图片、视频、音频
• 审核类型：涉黄、暴恐、涉政、广告、垃圾违禁、辱骂自定义；主要为这几类，其他的根据具体场景添加，比如文化宗教等。

审核模块：

• 用户发送信息流程：用户登录——内容编辑——内容上传——内容展示
• 用户接受信息流程：用户登录——内容展示——互动

通过简单的流程梳理，不难看出涉及的对象有：发送用户、接收用户、内容审核（人员、管理员等）等；那么考虑设计时，有两个方向去思考：一方面，单纯考虑针对某个对象，要做什么机制处理。另一个方面，将相关联对象串联起来，考虑产品设计。

一、对于发送用户

可以通过用户的账号进行处理，用户的所有行为都能说明用户想干什么，是什么样的用户。

针对用户可以建立一套账号基础信息、用户分值系统、用户风险监控系统。

用户基础信息可以有用户年龄、性别、地理位置、设备、ip地址、使用时长、交易信息、用户发布各类信息等。用户数据是对用户进行分析的基础，有些数据可以在一定程度上反应用户信用。

用户分值系统则是通过用户基础数据进行分析，并数值化，可以按权重累加、按总分值加总均可。

比如：发布过一个违规内容的用户，则分值降低等。仅分值系统可能不够，比如分值高的用户，但是还是有可能发布不好的内容。因此需要再通过其他策略处理，比如高中低风险用户制度、黑白名单制度等。

比如：一个用户发布了一个违规内容被检测出来后，和分值解耦的另外一个平台定义其为高风险用户，该用户后续内容将多次放到人工审核机制中。

二、内容的编辑、上传

内容上传后，就是常用的先跑系统审核流程——人工审核流程——及其他申述复审流程等。

常见可选择敏感词策略有：不同类型内容选择不同。

（1）关键词：禁止关键词，一旦识别立即拦截。疑似关键词：支持更多策略，可以设置阈值，处理的方式有：疑似送审、拦截不送审、拦截加黑名单。设置的阈值指的是：设置一定数，若检测出超过一定次数后，则对应处理。

（2）黑白名单：顾名思义，黑名单一律拦截、白名单一律不检测拦截。

（3）用户频次：主要针对用户发送的方式、次数等次数进行统计，形成用户频次统计数据。根据频次可对用户进行处理：疑似送审、直接拦截、拦截加黑。

（4）黑白指纹：指纹-唯一，对内容文件通过消息摘要算法生成MD5，配置入黑名单，一旦发现相同MD5则拦截。反之白名单一样。