YD_T 4396.1-2023 信息内容识别技术 第1部分：基于文本识别的内容检测服务系统指标要求和评估方法.docx

《YD_T 4396.1-2023 信息内容识别技术 第1部分：基于文本识别的内容检测服务系统指标要求和评估方法.docx》由会员分享，可在线阅读，更多相关《YD_T 4396.1-2023 信息内容识别技术 第1部分：基于文本识别的内容检测服务系统指标要求和评估方法.docx（13页珍藏版）》请在优知文库上搜索。

1、ICS33.160.60CCSM30YD中华人民共和国通信行业标准YD/T4396.1如23信息内容识别技术第1部分：基于文本识别的内容检测服务系统指标要求和评估方法Informationcontentrecognitiontechno1.ogy-Part1:IiIdeXrequirementsandeva1.uationmethodofcontentdetectionservicebasedontextrecognition2023T1.Tn实施2023-07-28发布中华人民共和国工业和信息化部发布目次前言I1.弓I口I1.I1.112规范性引用文件13术语、定义御略语I3.1 术语和定义

2、13.2 缩略语14指标要求和评估方法概述24.1 指标要求概述24.2 评估方法概述243指标真实性脸证方法概述25具体指标项及评估方法25.1 系统成熟度评估25.2 服务质限评估6附录A（规范性）基本信息披露项8参考文献9本文件按照GB.，T1.1.-2O2O什示准化工作导则第1部分：标准化文件的结构和起草规则3的规定内容骷J本文件是信息内容识别技术评估系列标准之一，该系列标准结构和名称如下.言息内容识别技术第1部分：基于文本识别的内容检测服务系统指标要求和坪估方法，信息内容识别技术第2部分：基于图像识别的内容检测服务系统指标要求和评估方法。一信息内容识别技术第3部分：基于视频识别的内容

3、检测服务系统指标要求和评估方法.言息内容识别技术第，1部分：基于语音识别的内容检测服务系统指标要求和评估方法.本文件是“信息内容识别技术评估”系列的第】部分，请注意本文件的某些内容可能涉及专利，本文件的发布机构不承担识别这些专利的贡任。本文件由中国通信标掂化协会提出并归口。本文件起草单位：杭州网易智企科技有限公司、中国信息通信研究院、南京新一代人工智能研究院、网易（杭州）网络有限公司、阿里云计算仃限公司、北京金山云网络技术有限公司、中移（苏州）软件技术有限公司，本文件主要起草人：朱浩齐、饶晓艳、林洋港、龚文全、孙明俊、石糕、齐小丽、方正、周森、刘秀源、崔冲埠、何文杰、赵光亮、连丰庆陈天佳、范志

4、为、白军辉、杨明远、蒋慧、杨希、闫伟.江联网高速普及的同时，互联网违法违规信息也变得无处不在,网络安全已成为网络强国建设的把础保障，建设“和平、安全、开放、合作”的网络空间，己成为一项重要的国家故珞。如何治理互联网、用好互联网是各国都关注、研究、投入的大问题。从1978年第一封垃圾邮件诞生以来，人类进行信息内容安全的历史已经40多年，早前的垃圾信息问题早己演变为互联网平台”涉政、涉然、虚假、色情”等违法违规信息问SS，技术手段也从传统的过范机制开始引入人工智能的方向发展，目前我国在内容安全治理和保护方面还处于起步和发展阶段，面对海量庞杂、异质多源、大范用挎越的大数据内容信息，如何高效、快捷地处

5、理数据，如何精掂地分析语义内容，如何检测和过港违禁有容信息，将是一个技术难题和挑战，为引导内容识别技术健康发展，推动内容安全治理工作顺利开展，保护优质的内容检测眼务提供商,首造良好的市场环境，特开展信息内容识别技术评估的标准化工作。信息内容识别技术评估系列标准，该标准的结构和名称预计如下.笫1部分：基于文本识别的内容检测服务系统指标要求和评估方法。目的在于提出文本内容检测系统的评估方法，从支持的文本长度及字符编码、系统基本信息、成熟改、服务质量等维度明确其指标要求。笫2部分：基于图像识别的内容检测服务系统指标要求和评估方法，目的在于提出图像内容检测系统的评估方法，从支持的图片大小及图片格式、系

6、统基本信息、成熟咬、服务侦最等维度明确其指标要求.第3部分：拓于视领识别的内容检测服务系统指标要求和评估方法，目的在于提出视翔内容检测系统的评怙方法，从支持的视频大小及编码格式、系统基本信息、成熟度、服务质量等维度明确其指标要求。一第4部分：基于语音识别的内容检测服务系统指标要求和评估方法”目的在于提出语音内容检测系统的评估方法,从支持的音频时长及编码格式、系统基本信息、成熟咬、服务质量等推质明确其指标要求。本文件为信息内容识别技术评估系列标准，的笫1部分：基于文本识别的内容检测服务系统指标要求和评估方法，主要规定了基于文本识别的内容检测服务系统的基本信息、系统成熟度、服务质摄方面的指标要求和

7、材料审查、技木测试的评估方法.信息内容识别技术第1部分：基于文本识别的内容检测服务系统指标要求和评估方法1范B1.木文件规定了基于文本识别的内容检测服务系统的基木信息、系统成熟度、服务质量方面的指标要求和材料审查、技术测试的评估方法。本文件适用于指导第三方测评机构对提供基于文本识别的内容检测服务系统厂商的评估、验收等工作.本评估主要针对内容检测服务系统运用,其他系统仅供参考，并且为口实部署环境.而非测试环境，性引用文件下列文件对于本文件的应JfJ是必不可少的“凡是注日期的引用文件，仅所注日期的版本适用于本文件。凡是不注日期的引用文件，其最新版本（包括所有的修改单）适用于本文件。GB/11145

8、7-2006信息技术软件工程术语3.1 术语和定义下列术语及定义适用于本文件.3.1.1内容检测服务系统contentdetectionSerViCesystem是指针对互联网上违法违规信息进行识别并处置的服务系统.3.1.2用户user使用可操作的系统完成一顼特定的功能的个人或机构。来源：GB/T11457-2006,2.1808,3.2 缩略语下列缩略语适用于本文件,AP1.应用编程接口APP1.iCaUOnPrOgranMningInterfaceIP网络之间互连的协议InternetProtoco1.SDK软件开发工具包SoftwareDeve1.opmentKi1.4.1 指标要求侬

9、本文件主要从系统成熟度评估和服务啦箍W估两个方面对基r文木识别的内容检测服务系统（以下简称系统）进行指标要求和评估。系统成熟度评估主要对基于文本识别的内容检测服务系统的完整性惮估（功设完按性评估和性能评估、组织完整性评估）、开放性、可界性及易用性进行评估。服务质研评估指的是从可审杳性、计做准确性对葩于文本识别的内容检泅服务系统迸行评估*4.2 评估方法徽述针对基于文本识别的内容检测服务系统的评估方法包括检直和测试两类测评方法，具体如卜Za）检查：是通过对测评对象进行观察、查验、分析以恬助测评人员理解、澄清或取得证据的过程。检查主要有评审、核查、审查、观察研究和分析等,检查对象是文档、机制、设翁

10、等。b1测试：是指使用预定的方法/工具使测评对象产生特定的结果,将运行结果与预期结果进行比对的过程,主要包括人工验证、工具测试等测试操作.4.3 指标!陕性32方法3根据检查和测试两类评估方法,对基于文本识别的内容检测服务系统的将个折标的其实性进行评估.a）材料信查：对指标的说明文档或证明文档进行查看。b）技术测试：对指标进行配置雀君脸证或使用工具进行测试脸证。5具体指取及评估方法1 .1系统成M度评估5 .1.1W6 1.1.1参评系统功能完整性评估内容主要包括：检测功能、审核功能、监控功能和管理功能1个方面，来用基于材料审查和技术测试的评估方法.其中，材料审查是对参评系统相关说明性资料和指

11、导性资料进行市杳；技术测试是对参评系统的主要功能进行测试.系统功能完整性评估指标项见表1。1神功幡足性评估报何完整性阶段指标类别指标项指标项说明必选,可选功能完整性检测功使支持格式应支持主流文本字符筑四类型，需包括但不限RC8K.1.11F-8,MS1.等编码必选支持长度应支持30字以Hooo字以卜的常规文本必选应支持30字以下的短文本必选应支持检测100o字以上15000字以下的长文本必选检测分类多样性应支持对涉黄、涉政、必卷.H1.耳、广告等类垃规付的检测必选审核功能人工审核应具备人工审核的健力，即在机器审核完成后，可以由人工审核员地发审必选K(JKiSifeJ宜具备计对业务类型.在前开始

12、时间-结束时间、审核状态、垃圾类别、内容关犍词等进行脑选的功能可选日志价理应只备对网线训练和在线实时收务中产生的异常故因报警等情况有详细的H志数据记录,提供H志H溯分析升蛋等功能必选IPira应具备对内容发布者的地区11进行特定现制设W,支持地区设灯、配置、幽除必选数楙账号管理应具各对内卷数据发布者的用户账号进行眼白名单炎询,删除第皴作必选统计审核应只备对桧激结果进行统计和分析可视化功能,包括实时、加出流Ift统计、QPS统计、平均响应时间锥计等指标，对统计数抵制成报表国示必选样本*管理应具备对审核以及校准标维后的数据进行修正反馈的劝能，健够对系统进行自动化的词优,具备收蜒数据样本入扉、明除错

13、误数据的功能必选监控功能数据欧世控应具备对数据淑ft*接入IP,接入账号的实时依控和统计.及时发现流出弁常.例皎并南等情况必选管理功能城鱼策略足迎在具备人工能够对各个机器模型、策略规则进行具体业务的动态配评的功能可选类别检测应具备对文本类别标笙的哲理能力必选应具备显示文本类别置信度分散的能力必选业务管理应具名为用户提供对所*业务场景进行管理的功能，可以根据实际业务的福求,为不同业务创建不同的场景.创建业务之后.可以基干每个业务进行过核策略,业务上线.关闭等操作必选表2系统功能完整性评估指标项（续）完整性阶段指标类别指标项指标项说明必选EJ选功住克察性管理功能用户臂理应J!各用户注册、用户信划录

14、入及修改、用户注的等功能，即枭烧W用户信息存储到软件系统数据库必选内容管理应具名对特定类别内容文本i据迸行标警化标识,支持标舞化内容描述,支持使川标笠关键词进行漆加分到1、fti1.副除数抠警功能必选指标项分为必选和可选两个分类，必选项指标为基F文本识别的内容检测眼务系统应具彳i的功能：可选项指标为基于文本识别的内容椅测服务系统宜具有的功能，如符合则证明具有更为全面的有内容检测服务系统.5.1.1. 2性能评估参评系统性能评估内容主要包括：系统性能、检刈结果、指标算法3个方面,其中系统性能是指吞吐量应满足实际业务峰值的需求；检测结果是指系统识别的标签应符合色情、涉政、暴恐、广告等违法违规信息的

15、类别：指标算法是指系统的识别效果应满足业务实际需求.其中,指标算法评估内容如下.a）精确度PN(7PEP)b）召回率C)F1.F1.=2x(P+).(2)武中：TP一识别为违法违规信息并且实际为违法违规信息的内容数量：FP一识别为违法违规信息并且实际为正常类信息的内容故城：TN识别为正常类信息并且实际为正常类信息的内容数求；FN识别为正常类信息并且实际为违法违现伯恩的内容数R：P一计算的是所有检测命中的有杏内容数据占所有命中结果数据的比例。计算方法参照公式（D;R一计算的是所有检索到的样本占所有“应该枪索到的样本”的比例.计算方法参照公式（2）:F1.是模型精确率和召回率的一种调和平均。计算方法参照公式（3）:*一一指标评估计算时，测试数据此宜不少于10万数收级。6.1.2开放性刑参评系统开放性评怙内容