【研报】行业大模型调研报告-腾讯研究院-2024.5.docx

向R1.而行共筑新质生产力行业大模型调研报告1.1.J。1.U2024年5月X1×1111X11r11rQ-11-X8nr1UU1XXBX1.-A+匕ITr-TrXTTnrnrX1*Ir-11-用entXUUOOX_u_XX-J1.×-J1.×-I1.×-I1._u_u_×-U1.-j1.M-j1.-j1.×)×××VTrT1111r1-11-r×TFace-1UUtf-JT×)r1-11-11rT111111rOOO11r11IrTT1111-11-11-11-rTTr1111rX11r"IF*÷11rnrr11r1XIX11r-11-11r1111TrrXXnr11rXnrnrnr11r-Ir-11-'-r,'t11rXnr×r11r÷1.X11"ir-11IrOO11rITXQQ1- t.01- 一匕0安全与治理一行业大模型治理的三项原则RR二价值对齐是行业大模型可值应用的基础保瞪56三行业大模型更需密视全生畲周期的安全保障机制一-57四A1.沙盒在行业中相较成熟探索,可成为实现监管目标的可行方案Rg五合成教据有望为行业大槿型增加故据来源AO六行业大模型是走向A1.绿色可持绘发展的路径之61未来展望一"人工智施+”促滋行业大槿型应用桎速63二拿态大变为敷皿合打开新空同Ed三A1.Agent1.nt为各行业注入生产力65四行业大梃型珞出现更多的达例形态67石云智能一体支持行业大植型加速落地68编写团队发展背景大模型引发的智能革命“日益强大的人工智能系统将从根本上改变科技产品的工作方式.i创造新的类别并重组整个行业。从头开始是好的。",IncreasinQ1.ypowerfu1.A1.systemswi1.fundamenta1.1.yChanQehowtechproductswork,createnewcateories.andrestructureentireindustries.Startingwithac1.eans1.ateisgood."山姆奥特曼(SamA1.tman),OpenAI首席执行官2022年11月30日，C)PenA1.发布大语言模型(1.1.M.1.arge1.anguageMode1.)ChatGPT.用户数5天过百万、2个月过亿的成境,一度刷新纪录成为史上增长最快的应用。ChatGPT的全民爆火揭开了人工智能(A1.Artificia1.Inte1.1.igence)大模型时代的序幕,也预示着A1.迈向通用人工智里(AGI.Artifcia1.Genera1.Inte1.1.igence)的新一轮冲剌.目前业界对大模型并没有形成明询统一的定义,狭义上可指代大语言模型，基于TranSfOrmer技术椎架：广义上则包含了语言、声音、图像、视频等多模态大模型.技术框架也涵盖StabteDiffusion等。学界如李飞飞等人工IS能学者指出,这些模型可破标为基础模型(FM.FOUndaHonMOdeI)。在大模型出现之前，人工智能通常需要针有特足的任务和场景设计专门的算法模型.能够执行的也是训练数据范围内的单一任务。大模型的突破,关键在于展现出了类人的通用智能"涌现''能力,能够学习多个领域知识、处理多种任务.因此也被称为通用大模型。I1.体而言.大槿理H仔以下特点：1.参数加梭大大模型的参政观模远大于传长深爱学习模型大模雪友国呈现“规模定律”(Sca1.ing1.aw)特征，即：的性的翅、敬重大小和训练用的计之间存在鼻律关系,住船会这三个因素的招数地加而线性提高,通俗而言就是“大力出奇迹"，不过"大”并没有一个境对的标准,而是一个相对概念.、传统模型参数运通常在数万至数亿之间,大模型的参数量则至少在亿级,井巳发展到过万亿级的规模。如ODenA1.的GPT-I到GPT-3.参数从1.1亿大H拉升到1750亿，GPT-4非官方估计约达1.8万亿C2,泛化能力强大槿型旎能有效处悭多和未见过的数阻或新任务.基于注意力机制（AttentiOn）,通过在大规模、多样化的无标注数据集上进行预训练,大模量能够学习掌握丰富的通用知识和方法,从而在广泛的塔中侵用.例如文本生成、自然语言建解、弱逢.教学推导、逻朝推理和多轮对话等C大槿型不需要、或者仅重少量特定任务的数据样本,即可显著提高在新任务上的表现能力Q如OOenA1.曾用GPT4参加了多种人类基准考试.结果显示其在多项考证中成绩都超过了大部分人类（80%以上）,包括法学、经济学、历史、数学、阅读和写作等。:代表性语言模型叁数与性能（MM1.1.U评估结果）对比100%Bperthummperformance80%55c-SJJXi6OKFngb皿Mg)外 Gopher(280PMM<62BI.FPTOkWg4OKJF2OWwtunedI产BW忖4B)20%PT-Nc×2DcvdoperofA1.system 1.oomber Cietither GoocteDwMnd GooeResearch Hucg>11cscc.>gSckncc MeUAJBOpenAI »融2KEG20192023OK1biHon10bi1.k)100bi1.1.onMnbCfcfpM3(n«<or5DaUisource:Epoch¢2023)Cj6Vodd1.n3ta.o11c3rti6cia1.inte1.henceCCBYSSiS耒舞：Epoch(2023).OuWorW1.nOata注：MM1.U(MassveMuttask1.anauaoeUnderstafXina).大授模委任务送者理解,S一项用于W的大步在超南8*11依任务上*力的整台副评.通房史.文学.科学.数学塔广泛却IiMH1.3.支持名模杰大慢型可以宜现多种槎态效据的念效处理C传统殛应学习楼型大多R能处理电一数据类型(文本、语音班图像)大槿型则可以通过扩展编/解码器、交叉注意力(Cross-Attention)迁移学习(Transfer1.earning)等方式,实现模态数据的关联理解、检索和生成a乡模态大模型(1.MMs.1.argeMu1.timoda1.Mode1.s)IM%!供更加全面的认知伪力和丰富的交互体验,拓底A1.处理黛杂任务的应用范圃.成为业界探索迈向通用人工智能的重要路径之一。典型如ODenA1.的Sora模型推出，瞅起了全球多槿态大槿型的凿展新热潮C发展行皿大模型的小要忤1 .大模型存在“不可能三角”问题Sca1.ing1.aw驱动通用大模型性能不断提升.同时也产生了“不可能三角"的问题:大模型在专业性、泛化性和及济性三方面很难兼得C专业性大模型处理特定领域问题或任务的施输性与效率。大模型专业性要求越高,越需要计对特定领域数据遂行训练,这可能造成模型过拟合而降低泛化能力e此外,增加的均板收住和训练也令增加成本.隆彼经溶椎.泛化性大模型处理训练数据集之外新样本的表现能力。大槿型泛化性要求翻高.越需要多样化的大规模训练数据集、模型参数量也越多,这意味着模型训练和使用成本的地加、经济性降低.同时可能降低模型对特定问教处理的专业能力，经济性大模型训练和应用的投入产出比。大模型经济性要求越高.越需要消耗更少的算力资源与成本满足性能需要.然而障低资源消耗基本上需翌采用更小的模型史更少的藐数.这又会腔低模型的性能表现、通用大槿型以左底通识能力为主磐目标、更侧重泛化性.在专业性和经济性方面很难充分满足具体行业/机构的特定需求,存在“有幻觉、成本高”等情况。2 .行业对大模型有内生需求具体行业中机构从自身需求出发.采用大模型还有两个关键考员因素：竞争和安全,辂数据转化为费争力黑核心期动：为有效捏升竞争力.机构会尽力寻找性靛显佳的模型,并利用行业专业数据或私有效据的独特资源.对模型遂行定制调整和优化，目前GpT-4e市场头部通用大模型多为闭源,通过网页、APP应用服务大众用户，或以API标准化调用的方式服务开发者.可定制化调整的空间较小U供安全可控是底线要求：大模型不仅涉及机构私有数据的通用,还会与机构的业务、流程结合（如CoDi1.ot方式）,这使得大模型使用越深、越需要重视安全可控。通用大模型遹俄基于公有云提供服务.会造成机构对私有数据、敏感数据安全的担忧C例如,2023年三星电子引入ChatGPT不到20天,就引发代码上传、会议记录等三起内部资料泄露事件，此外,诵用大模型本身的数据集、参数等对外多是黑盒,机构无法拿握技术细节,也会影响对槿型的信任度，3 .行业大模型是落地“人工智能+”的最后一公里如上可见,通用大椁型与行业/机构具体需求间存在差距,行业大也型成为弥合技术与需求间差距的必然产物,能有效支持各行各业加速落地大模型应用：图：通用大H型与行业大横型对比6M*-*0tf（M+Qr万+力）三化能力弱三<Wtf2,M裳J支椅多脩杰通力专才增强专业住可E黄Q$，第三$保修故据史至一是高性价比,行业大皿(睡较小»的皿上.通过相对低成本的!说练班殖调,达到较好的住能效果。十亿-百亿级参数量的行业大模型是目前主流选择,相比通用大横生动辄千亿级以上的参数量能明显节省开发成本二是可专业定制,行业大槿型司拄于开源槿型开发.能对口型结构、叁emu.更好地适配个性化的应用需要。通过模型即服务(MaaS.Mode1.-as-a-Service)方式,机构可以从平台对接的多种模型中快速选择合适的使用.包括厂商已开发的行业大凄型初始版本：三H数据安全可控.行业大摸型可采用私有化部署方式,机构能更放心地利用私有数据提升应用效果.减