大型语言模型行业图谱.docx

《大型语言模型行业图谱.docx》由会员分享，可在线阅读，更多相关《大型语言模型行业图谱.docx（49页珍藏版）》请在优知文库上搜索。

1、eTsinghuapbcsf清华五道口目录一、ChatGPT的技术研发基础4（一）自然语言处理的发展历史4（二）大规模预训练语言模型的技术发展7二、OpenAIChatGPT技术发展历程8（一）ChatGPT:生成式Al里程碑8（二）ChatGPT核心技术：人类反馈强化学习9（三）OPenAlChatGPT成功要素分析11三、国内外主要大语言模型技术对比12（一）ChatGPT的优势12（二）ChatGPT的劣势14（三）中国自研通用基础大语言模型16（四）国内外语言大模型对比21（五）语言大模型研发技术国内外主要研究机构及代表性成果24（六）大模型训练：领先公司硬件资源全面对比26（七）国内

2、外主要大语言模型研发路径与技术对比27（八）国内外主要大语言模型厂商商业路径对比28四、大语言模型落地应用对数字产业影响29（一）通用搜索引擎新布局31（二）基础办公软件革新32（三）对话式Al接入“高知、高情商大脑”33（四）企业服务与垂直领域应用34（五）ChatGPTPlugins触发生态建设开关35五、ChatGPT带来的风险与挑战36六、全球人工智能时代来临：个体能力与社会文化的新格局37七、专业术语解析39参考文献41eTsinghuapbcsf清华五道口图表目录图1-1大规模预训练语言模型发展历程及重要概念7图2-1生成式AI发展历程与ChatGPT的突出能力9图2-2ChatG

3、PT能力实现解析10图2-3资金投入与发展策略为ChatGPT成功带来至关重要的影响11图3-1通用基础大语言模型的价值与自研卡点17图3-2中国大语言模型产业价值链19图3-3国内外主要大语言模型研发路径与技术对比27图34国内外主要大语言模型厂商商业路径对比28图4-1大语言模型将改变数字产业生态29图4-2搜索引擎与大语言模型结合情况30图4-3ChatGPT应用于基础办公软件32图全4大语言模型与对话式Al结合33图4-5大语言模型应用于企业服务及垂直领域34图4-6ChatGPT通过PIUginS构建超级应用生态35表知识表示和调用方式的演进5表3-1ChalGPT存在不足的示例15

4、表32大规模文本预训练模型对比表21表3-3代码预训练模型对比表23表3-4语言大模型研发技术国内外主要研究机构及代表性成果242022年11月30日，OPenAl公司推出了一款全新的对话式通用人工智能工具ChatGPT(GPT,GenerativePretrainedTransformer)o据报道，仅在几天之内，该工具的注册用户就已经超过了100万人，两个月的活跃用户数更是达到了1亿人。这一惊人的成绩引发了全网的热议，成为历史上增长最快的消费者应用程序之一，引发了人们对于未来哪些工作会因此消失的讨论，并引领了人工智能领域新的技术浪潮。ChatGPT之所以有这么多活跃用户，是因为它通过学习和

5、理解人类语言，以对话的形式与人类进行交流，其交互方式更加自然和准确，大大改变了人们对于聊天机器人的印象，从“人工智障到有趣”的印象转变。此外，ChatGPT还能够根据用户的需求进行机器翻译、文案撰写、代码撰写等工作。ChatGPT的成功推出引起了大模型构建领域的关注，学术界和企业界纷纷跟进，启动研制自己的大模型。在OPenAl推出ChatGPT之后，微软也快速推出了基于ChatGPT技术的新产品Bing,并计划将ChatGPT集成到OffICe办公套件中。谷歌也迅速推出了类似的Bard以与之抗衡。此外，国内的百度、阿里巴巴、华为、腾讯、网易、京东等企业也都表示正在进行类ChatGPT模型的研发

6、。ChalGPT引起了国家战略层面的关注。美国在人工智能(ArtificialIntelligence,AI)领域有着明确和综合的战略方针，涵盖了经济、国防和社会福祉等多个方面。在美国，多个政府机构已推出关键政策倡议，以加速人工智能的研究与发展。国家科学与技术eTsinghuapbcsf清华五道口委员会(NationalScienceandTechnologyCouncil,NSTC)于2016年推出了全国人工智能研究与发展战略计划，为联邦人工智能研发工作奠定了基础。这一努力在2019年得到了扩展，当时白宫发表了行政命令，要求联邦机构优先考虑人工智能投资。从立法方面来看，美国国会于2020年通

7、过了全国人工智能倡议法案，以通过人工智能加强经济和国家安全，此外还有2017年的人工智能未来法案，旨在设立一个有关人工智能的联邦咨询委员会。至2020年，国家科学基金会(NatiOnalScienceFoundation,NSF)也做出了重要的财务承诺，特别是拨款1.4亿美元用于五年内建立五个新的人工智能研究院。然而，随着AI技术的不断发展，不排除将来某些先进模型或算法被纳入为战略资源。这样的决策会受到多种因素影响，包括但不限于该技术的成熟度、其在关键应用(如国防、健康或信息安全)中的表现、以及与国家利益和全球政治环境的相互作用。我国2023年2月24日，科技部部长王志刚表示：ChatGPT在

8、自然语言理解、自然语言处理等方面有进步的地方，同时在算法、数据、算力上进行了有效结合。”科技部高新技术司司长陈家昌在回应ChatGPT相关提问时也表示，ChatGPT最近形成了一种现象级的应用，表现出很高的人机交互水平，表现出自然语言的大模型已经具备了面向通用人工智能的一些特征，在众多行业领域有着广泛的应用潜力。这也标志着ChatGPT相关技术有可能会成为国家战略支持的重点。eTsinghuapbcsf清华五道口从技术创新角度，ChatGPT是一个聚焦于对话生成的大语言模型，能够根据用户的文本描述和历史对话产生相应的智能回复。GPT通过学习大量网络已有文本数据（例如WikiPedia、Redd

9、it对话）获得了像人类一样流畅对话的能力，尽管有时生成的回复并不符合人类预期。ChatGPT的成功推出和迅速发展，是人工智能领域技术和应用的一大进步，为未来智能化和人机交互提供了更为广泛和深入的应用空间。同时，ChatGPT所涉及的技术和应用也呈现出多样性和复杂性，需要技术和商业界的共同探索和开发，以实现更好的技术创新和商业价值。本报告首先回顾了自然语言处理的发展历史以及大规模预训练语言模型的技术发展历程，接着详细分析了ChatGPT的技术发展历程、相关技术、未来技术发展方向，然后探讨了ChatGPT的优势与劣势、应用前景以及带来的风险与挑战，最后对未来自然语言发展的方向提出了见解。eTsin

10、ghuapbcsf清华五道口一、ChatGPT的技术研发基础ChatGPT,即聊天式生成预训练语言模型，是由OPenAl开发的一种基于大规模预训练生成式语言模型的人工智能(ArtificialIntelligence,AI)系统。它借鉴了生成预训练Transformer模型(GenerativePre-trainedTransformer,GPT)系列模型的技术小，旨在理解和生成自然语言，提供与人类相似的对话体验。自然语言处理(NatUral1.anguageProcessing,N1.P)是计算机科学和人工智能领域的一个关键子领域，主要研究如何让计算机理解和生成人类语言。在过去的几十年中，N

11、1.P技术经历了从基于规则的方法到统计学习方法再到深度学习方法的转变。近年来，随着深度学习技术的发展，尤其是预训练语言模型(如GPT系列)的出现，N1.P领域取得了显著进展。(一)自然语言处理的发展历史自然语言处理是一门涉及计算机科学、人工智能、语言学等多个领域的交叉学科。从其历史发展来看，自然语言处理经历了多次重要的研究范式转变。早期的自然语言处理方法是基于小规模专家知识的，这些方法需要手动设计规则和知识库来解决自然语言歧义性和抽象性等问题，但这种方法难以处理大规模数据和复杂任务。后来，基于机器学习的方法开始兴起，使得计算机可以通过学习样本数据来进行自然语言处理，这种方法在一些特定任务上表现

12、良好，但在处理复杂任务时，需要大量的训练数据和特征工程，难以取得更好的效果。随着深度学习的兴起，基于深度神经网络的自然语言eTsinghuapbcsf清华五道口处理方法开始流行，这些方法通过多层神经网络进行特征提取和语义表示，可以处理大规模数据和复杂任务，但需要更多的计算资源和标注数据。最近，基于大规模预训练语言模型的自然语言处理方法成为研究热点，这种方法可以通过大规模语料库的预训练来学习通用的语言表示和知识表示，从而可以用较少的标注数据解决多个任务，并取得了较好的效果。表11知识表示和调用方式的演进知识表示方式表示方式的精确度知识调用方式调用方式的自然度研究领域代表应用代表公司结构化知识库高

13、机器语言低数据库企业管理系统Oracle关键词搜索中关键词搜索中互联网搜索引擎Google大规模预训练语言模型高自然语言高自然语言处理聊天机器人、智能问答系统OpenARMicrosoft、百度等自然语言处理的研究始于20世纪50年代（如表1所示），早期研究主要集中在语言理解和语言生成两个方面。语言理解主要是将自然语言转换为计算机可处理的形式，例如将句子分词、词性标注、句法分析等；语言生成则是将计算机处理结果转换为自然语言，例如生成自然语言回答、摘要等。早期的自然语言处理方法主要是基于规则和专家知识的，如语法规则、词典和逻辑规则等，这些方法局限于小规模任务，而随着数据量和任务复杂度的不断增加，

14、基于规则的方法逐渐失去了优势。eTsinghuapbcsf清华五道口随着机器学习和深度学习的发展，自然语言处理研究进入了新的阶段。机器学习方法的兴起为自然语言处理带来了新的思路，使得计算机可以从数据中自动学习语言知识和规律。深度学习的兴起更是为自然语言处理带来了巨大的变革，通过神经网络的特征提取和语义表示，深度学习方法可以有效地处理自然语言歧义性和抽象性等问题，取得了很好的效果。近年来，随着大规模预训练语言模型的兴起，自然语言处理的研究进入了新的阶段。基于大规模预训练语言模型的自然语言处理方法，如BERT(BidirectionalEncoderRepresentationsfromTrans

15、formers)、GPT等，通过预训练模型来学习通用的语言表示和知识表示，可以用较少的标注数据解决多个任务，并取得了极好的效果。这种方法的出现，使得自然语言处理能够处理更多的语言任务和应用，如机器翻译、问答系统、文本分类、情感分析等。在自然语言处理的发展过程中，还涌现了很多重要的技术和算法，如词嵌入、文本向量化、注意力机制、序列模型等。这些技术和算法为自然语言处理提供了重要的基础和支撑，使得自然语言处理能够不断进步和发展。目前，自然语言处理在人工智能领域扮演着越来越重要的角色，也是人工智能应用的重要组成部分。自然语言处理的应用领域非常广泛，如搜索引擎、智能客服、语音识别、机器翻译、情感分析、智能写作等。尤其是在聊天机器人、智能问答系统等人机对话领域，自然语言处理技术的发展对于提高机器理解和表达能力，使得机器与人之间的对话更加自然流畅，具有重要的意义。随着自然语言处理技术的不断发展和应用，它将在更多的领域和行业产生重要影响。图1-1大规模预训练语言模型发展历程及重要概念(一)大规模预训练语言模型的技术发展大规模预训练语言模型(大模型)是ChatGPT的基础，它是一种关键的技术，能够提高系