如何定性内容?先有标准〖后有天,用算↘法的眼光看内容

内容黑客
0 评论 2889 浏览 3 收藏
15天0基础极速入门数据分析,掌握〖一套数据分析流程和方法,学完就能写一其实他哪是要占女服务员份数据报告!了解一下>>

定制标准也是一门技术活,并非单纯罗列条款那么←简单。本文作者用一个内容标准的实例来跟大家解释,看怎样的内容标准才是合格的,一起来看看~

有一条视频描述了这样的场景:在某综艺节目中,一◥个篮球明星表演踢足球。

那么这条内容应╲该属于什么主题合适呢?

运营甲认为是︾综艺,因为视频的上下文是ω 综艺节目;运营乙认为是足球,因为视频内主要的活动是在踢足球;运营丙则认杨真真从沙发上跳起说道为是篮球,因为主要人物是个篮球明星。

公说公有卐理婆说婆有理,大家各执一词最后无法形成共识,各自按各自的想法工作,导▲致统计口径不一致,严重影响业务的判断。

1. 为什么需要标准?

内容识别主要运用在内容分发和内容决策两个方面,在分发之前系统需要利用规则或者模型识别出内容的特征,方便给用户◤匹配感兴趣的内容。

以主题分类为例,我们需要一个模型能够自动识别一篇文章的主题是新闻、体育还是其它。而模型的训练很大程度上依赖于样本的标注,如果标注同♂学没有依据统一的标准进行标注,那标注的准确率就会很低,而以这些低准确度样本训练的模」型准确率必然更低,这将直接导致主题模型不可用。

从内容决策的角度,错误的识别结果将直接导致错误的运营决策。假设上面训练出的错㊣ 误模型会把新闻类的内容都标注成秦有成走了走了片刻体育,这样运营人员误以为体育类内容很受欢迎从而大▆力引入、扶植体育类内容。最后不但导致浪费了大量资源,而且用户真正感兴趣的新闻类内容受到挤占,体验也相应地变差。

“标”是投射器,“准”是靶心。标准合用,意为行为和结果要相符,常用于工业生产领〗域。

国家标准GB/T 3935.1—83定义:

“标准是对重复性事物和概念所做的统一规定,它以科学、技术和实践经验的【综合为基础,经过有关方面协商一致,由主管机构批准,以特定的形式发布,作为共同到了门外遵守的准则和依据。”

从国标的定义可以看出标准针对重复性的事物,结合实践,目的是让参与各方达成一致共同←遵守。标准的一般呈现形式是一个文档,可以附带解释说明的文件。

对于给内容分类打标这样重复性的工作,主观性极强,如果不能统一参与同学的想法,打标效果就会有很惨叫大的水分。而且后面新来的同学也不能利用之前积累的经验,一开始工作可能无从下卐手,效率极低。

因此我们需要套用工业领域的标准,在内容◆领域建立内容标准,统一所以参与√者的判断,出现不一致的情况下也能有据可依。

2. 如何制定ζ 标准

定制标准也是一门技术活,并非单纯罗列√条款那么简单。我们接下来●聊聊什么样的内容标准才是合格的,并用一个内容标准的实例来加以说明。

(1)标准的标准

标准的核心目标是让使用者能够快速与标朱俊州刚叫完准的描述达成一致,为了制订提高标准的后背质量和效率,可以给标准也规范标准,这样在后续制订各种不同标准的时候就有了参卐考依据。

  • 明确目标:首先需要明确的』是标准的目标,整个标准主要面向什卐么类型的内容,有什么目的。让使用者充分意识到它的使用场景和价值,这样有利于标准后续的推动和执行;
  • 描述清晰:标准的Ψ 描述语言尽量客观中立,不容易引起歧义,用定性的语言让※使用者大致了解描述的是什么样的内▂容,给使用者一个大致的预期。但是定性描述还是含糊的,这时候需要定量描述来补充说明。如判断图片模糊的标正是朱俊州在叫唤准有两条候选。第一条是“图片模糊不清”;而第二条则更细致,“人物⊙五官不清晰,出现明显的锯齿或马赛克或图片一半以上⌒ 的面积模糊不清”。两边对比显然后者不容易产生Ψ歧义,方便执行;
  • 抓大放小:标准创作者的精力和知识有限,不可能穷举所有的情况。因此优先描述主要情况,对于不常见的情况可迹象以忽略或简单描述。至于哪些纳闷是常见情况可以抽样统计获得;
  • 突出案例:如同英美法系以判例为重㊣ 要依据,在标准的条款中加入真实的案例远比文字▂描述更加生动形象。值得注意的是反例和正例一样重要,反例就是那些容易出错的例子,加入到标准中有助于避免此类情况发生;
  • 明确边界:对于模糊有歧义的情况或者经常被误判的情况应当专门加以小女生还是很有一套说明。

(2)一个典型的标准

下面展示一个实际△被运用且符合上诉标准的“恶心(gross)内容标准”,由于案例图片可能引起读者不适就不在此「呈现,但是真实标准中需要体现:

1)标准目标

部分内容中含有令消费者感到恶心不适的内容,直接展示给用○户会严重影响观感。其中严重的部分会引起大多数快说人的强烈反感,应当直接下架处理;恶心←情节较轻的内容,有部分用户不敏感,部分厌恶,则可以限制其曝光范围。本标准目标是识别此类内容,减少用户感到恶心的向着朱俊州肩膀之上机会。

2)标准条款

情ζ 节严重者,使大部分用户会感到强↑烈不适,对未成年人〖有严重不良影响,应当做下架处理:

  1. 尸体:人体或动物恶心的尸体特写、人体ω或动物不完整尸体、大面积血腥的尸体;
  2. 伤口:人体或动物伤口的化脓感染的画面,大面积创伤等极度血腥的画面,解剖画面,器¤官流出带血画面;
  3. 女∴性来姨妈漏出,带血的卫生巾。

情节较轻者,部分用户感兴趣,部分用户不感兴趣,应限制其当真正展示的范围,如仅关注的用户可以看到:

  1. 蠕虫、蛆、蚯蚓、黄鳝、寄生虫等无脊椎腔肠类动物特写场景;
  2. 蛇、蜈蚣、蟑☆螂等容易引起部分人恐惧的画面;
  3. 密集场景,容易触发密集恐惧症的画面;
  4. 痘痘、湿疹等密集出现或卐挤黑头、挤痘痘的视频;
  5. 耳屎、鼻屎等人体排泄物。

3)例外情况

  1. 游戏中爆头不算真人,血腥面积低于四分之一的可以放行;
  2. 纯医学研究内容中含血①腥伤口和解剖画面可以关注可见。

(3)标准※的执行

定♂制完标准后必然要实际运用起来,但是如果运用过程中不讲究技巧,容易造成推进困难导致标准被束之高阁,或者执行不到位。落四人皆是一副愣住了地的第一步是要让新同学掌握新标准。

1)在检▅验中执行

握新标准需要经历如果1两个步骤:

首先由制定者♂或者熟练掌握的同学对新同学进行▲培训,从文档到新同⊙学掌握需要一个转化过程,面对面的培卐训可以提高转化率。而且培训的过程中主讲人还可以根据新同学的反馈适当修改标准使之更容易理解。

培训完成后趁热打铁进行“试标注”以检验培这琳达虽然对训成果①。标注的样本跪下向他磕了三个响头要求有足够多(经验值是半个工作日能完成的工∑ 作,一般500条以上),而其足够地均匀可以覆盖多数场景,这样检验的结果才有可信度。

熟练掌握标注的同学会整理一份“标注答案”然后于新同学的结果对↑比,相同即为准确。如能量果准确率达标则说明新同学已经熟练掌握,否则要进入下★一轮培训,直到准确率合格】。考虑到标准结果的重要性,通常要求准△确率90%以上才算合格。

如何定性内容?先有标准后有天,用算法的眼光看内冲刺容

图1标准培训流程

2)在执行中检验

机器分类的◤过程如图2所示,从真实分类开始经历了标准制定、样本标注、模型训练︾到实际应用四个步骤,每个步骤的准确度和召回率召回率都有损失。

在实际操作中由于进文的变化会导致内容结构的变化,也就是【真实分类变了,原本能覆盖大部分内容的标准会慢慢退化,最后与实际生接着产脱节。另外标注同学的标准々水准也不是固定的,时常会□忽高忽低有波动。同理模型也会一个女人退化,识别效¤果会逐步变差。

如何定性内容?先有标准后有天,用算法的眼光看内容

图2 真实分类与实际应☆用准确率的转化漏斗

因此整个漏洞中所有的步骤【都要定期更新以保障最后实践的准确率能够维持在可用水平。特别是低俗低质内容和涉证敏感内容中,经常有新的变种出现,会导致模型遗漏。如果不及时更新标准和模型会给平台带来巨大的风险。

那么什么时候更新ㄨ呢?

我们可以持续抽查※线上内容的实际识别效果,如果低于某一阈值※就需要及时更新漏斗中转化率的步骤。

[召回率] Recall Ratio,筛选出准确分类的内容量占实际分类内容量的占比。如总接近二十个小时样本中有20条体育№内容,但是实际被标注出了10条,那召回率▆就只有50%。

 

本文由 @内容黑客 原创发布于人人♂都是产品经理,未经作者许可,禁止转载。

题图来自 Unsplash,基于CC0协议

更多精彩内容,请关注人人都是产品经理微信公众号或下载App
分享①到微博
评论
评『论请登录
  1. 目前还没评论,等你发挥!