编辑导语:在很多公司都会有标注系统,标注系统属于一种辅助型产品,我们对特定的对象进行标注;标注系统在使用中要注重它的稳定性等,在设计过程中也有很多注意的点;本文作者分享了关于从0到1快速搭建标注系统的方法,我们一起来看一下。

一、明确标注目的
绝大部分的标注系统,是一种辅助型的产品;按照一定的标注标准,由人工完成标注对象的标注,为业务系统、模型系统、数据系统等提供支持服务。
目前,市面上有不少提供标注服务的公司,但由于标注会涉及数据敏感、标注内容归属、标注质量等问题,不少有一定实力的公司,都会自行定制研发所需的产品,确保标注流程和结果处于可控状态。
在进行标注系统的搭建之前,我们需要明确标注的目的所在:
- 标注结果的使用方是谁?是为业务服务,还是模型训练使用?如果标注结果满足要求,可以为使用方带来怎样的效果?
- 是否有强烈的需求,要定制开发标注系统?公司内部其他标注系统是否可满足,用excel等工具进行线下标注是否可满足,以及不满足的点是什么?
- 标注的类型是什么?是视频、图片、文字、音频?是分类标注(通常是可枚举的分类,标注对象属于某一类或多累,比如新闻分类中的时政、财经、体育、社会等),还是识别性标注(通常是不可枚举得,比如,要识别出一个视频中人物的性别、年龄范围、胖瘦等)。
二、标注筹备
明确了为什么要开发标注产品以后,接下来需要进入标注服务的筹划中:
1)明确标注标准,标注标准是标注工作开展的前提;它不仅关系标注人员手工标注的效率、质量,还影响标注系统的搭建。这里对标注标准的最重要的要求就是,标注标准是准确的、可执行的。
2)筹建标注团队,标注团队分为2类:
- 人工标注团队:他们是标注系统的直接使用者,对整个标注服务至关重要;因此,在筹划标注团队的时候,要选择认真仔细、有耐性的人员;在确定好标注标准后,还要对人工标注团队进行培训,并进行充分的沟通讨论,防止标准设定人员与人工标注人员对于标准的理解有差,同时将标注效率、标注质量作为人工标注人员的考核依据;此外,还应该根据情况对人工标注团队,进行标注员与质检员的角色划分,前者负责标注工作,后者负责标注结果的抽查工作。
- 产品开发团队:与大部分的产品团队配置类似,产品、前后端、测试都不能少;**可以把标注系统的使用方也拉进来,比如业务方产品、模型算法工程师等,听取他们对于标注标准、系统功能和流程的建议。
3)了解标注需求量、预估日均标注量;这里主要是来评估标注量是否可以满足需求量,以及标注结果的数据存储等。
三、标注系统设计
一个基本的标注系统流程,应该包含以下几个模块:

按照箭头所示的流程:
- 原始语料,进入数据库。
- 标注系统从语料数据库中,读取未标注的语料。
- 标注完成的语料,进入质量评估模块。
- 质量评估合格后,进入语料数据库,作为已标注语料。
- 已标注的语料,同步给使用方进行使用。
下面对每一个模块进行详解:
闽ICP备13000641号-4