AI算力行业研究：智算供给格局分化国产化进程有望加速.docx

《AI算力行业研究：智算供给格局分化国产化进程有望加速.docx》由会员分享，可在线阅读，更多相关《AI算力行业研究：智算供给格局分化国产化进程有望加速.docx（14页珍藏版）》请在优知文库上搜索。

1、AI算力行业研究：智算供给格局分化，国产化进程有望加速1大模型浪潮推动作用下，算力需求缺口将持续扩大1.1 大模型发展对算力需求的推动作用大模型的训练效果、成本和时间与算力资源有密切的关系。大模型发展浪潮有望进一步增加Al行业对智算算力的需求规模。1.1.1 国外大模型的发展大模型数量加速增长，算力成为模型竞赛底座。自2018年以来，海外云厂商巨头接连发布NLP大模型。据赛迪顾问2023年7月发布的数据显示，海外大模型发布数量逐年上升，年发布数量在五年中由2个增长至48个。且仅2023年17月就发布了31个大模型。自2021年起，海外大模型数量呈现加速增长的趋势，结合2023年1-7月的情况，

2、该趋势有望延续。2017-2023年，从各公司发布的公开信息来看，大模型在7年的时间里实现参数量从千万到万亿级的指数型增长。2017年，谷歌团队提出Transformer架构，奠定了当前大模型领域主流的算法架构基础。2018年6月，OpenAI发布了TranSfOrmer模型GPT-1,训练参数量1.2亿。同年10月，谷歌发布了大规模预训练语言模型BERT,参数量超过3亿。2019年，OPenAl推出15亿参数的GPT-2o2019年9月，英伟达推出了83亿参数的Megatron-LMo同年，谷歌推出了110亿参数的T5,微软推出了170亿参数的图灵Turing-NLGo2020年，OpenA

3、I推出了大语言训练模型GPT-3,参数达到1750亿。微软和英伟达在同年10月联合发布了5300亿参数的Megatron-Turing大模型。2021年1月，谷歌推出SwitchTransformer模型，参数量达到1.6万亿，大模型参数量首次突破万亿。2022年，OpenAI推出基于GPT-3.5大模型的ChatGPT,宣告了GPT-3.5版本的存在。2023年，OpenAI推出GPT-4,估计参数规模达到1.8万亿。GPU数量与不同量级大模型所需的算力之间的线性关系。根据2021年8月DeepakNarayanan等人发布的论文，随着模型参数增加，大模型训练需要的总浮点数与GPU数量呈现正

4、相关的线性关系。175B参数量级的大模型所需的A100级别芯片数量为1024片（Token数为300B,训练34天情况下）。当参数增长到IT时，大模型训练所需的A100芯片数量为3072片（TOken数为450B,i）练84天情况下）。加大成本投入，海外大模型训练周期有望进一步缩短。从2020年6月OPenAl发布首个千亿参数量级大模型GPT-3到2021年1月谷歌推出首个万亿参数量级的SwitchTranSformer模型，大模型实现参数量级从千亿到万亿的跨越只用了不到一年。随着海外大厂商加大对大模型训练的成本投入，预计大模型发布周期将进一步缩短。在商业逻辑上，大模型发布数量指数型增长，意味

5、着市场竞争越来越激烈。厂商更愿意通过使用高性能的芯片缩短大模型训练时间，使大模型更早投入应用为公司带来业务增长。因此，芯片性能的提高并不会削弱厂商对芯片数量的需求意愿。1.1.2 国内大模型的发展数量增长情况与海外类似，短期内呈现密集发布的特点。自2019年至2023年7月底，国内累计发布130个大模型，2023年17月国内共有64个大模型发布，大模型发布数量呈现加速增长趋势。数量增长趋势与海外情况一致，我国大模型研发起步较晚，随着在大模型领域布局的厂商数量快速增加，大模型发布周期逐步缩短，预期未来两到三年内国产大模型数量将呈现爆发式增长局面。图3:国内大模型发布数量巨头引领，千亿级参数规模大

6、模型陆续落地。2023年3月，百度发布文心一言1.0；同年4月，阿里发布通义千问大模型、商汤科技发布日日新大模型体系；同年5月，科大讯飞发布星火大模型；同年7月，华为发布面向行业的盘古大模型3.0,千亿级参数规模大模型密集发布。2023年10月，随着百度发布万亿级参数大模型文心一言4.0,国产大模型或将具备对标GPT-4性能的能力。按类型划分，大模型分为行业大模型和通用大模型。据赛迪顾问于2023年7月统计的数据显示，我国通用大模型和行业大模型占比分别为40%和60%o行业大模型分布较多的领域为商业（14个）、金融（13个）、医疗（10个）、工业（7个）、教育（6个）和科研（6个）。研究显示，

7、通用大模型在行业领域及行业细分场景的表现一般。但行业模型可以在通用模型的基础上通过行业数据库进一步训练出来。大模型应用向细分场景下沉。华为发布的盘古大模型实际分为LO（基础大模型）L1（行业大模型）L2（场景模型）三个层级。采取5+N+X模式，即5个基础大模型、N个行业大模型和X个细分场景应用模型。目前行业模型主要应用于矿山、政务、气象、汽车、医学、数字人和研发共七大领域，覆盖14个细分场景。这种通过基础大模型+行业大模型实现大模型商业化落地的模式已经逐渐得到验证，未来行业大模型有望带动大模型本地化部署热潮，在解决行业长尾问题上将发挥更大优势并成为打通大模型“最后一公里”的桥梁。1.2 国产大

8、模型Al算力需求测算大模型算力需求测算方法：根据2023年8月腾讯公布的大模型算力评估通用方法，在大模型训练过程中，训练侧算力需求可量化表达为：训练所需浮点运算量（FLOPS）=6STrainingTokens若训练中使用激活重计算技术，则对应算力需求可量化表达为：训练所需浮点运算量（FLOPS）=8参数量XTrainingTOkenS同时，在大模型推理过程中的算力需求可量化表达为：推理侧所需浮点运算量（FLOPs）=2参数量XPromptTokens由于激活重计算技术是可选的，因此假设在训练中没有选择使用激活重计算技术，按照以上计算方法可得：训练GPT-3量级的大模型算力需求估算为3.15E

9、+23FLOPS；训练GPT-4量级的大模型算力估算为2.15E+25FLOPs,由于GPT-4采用了混合专家（MoE）模型，实际训练调用参数量按约2770亿计算。1.2.1 通用大模型Al算力需求测算训练侧：2023年10月，百度发布文心一言4.0大模型。据百度公开的信息，该大模型在综合水平上可以对标GPT-4o乐观预期下，2023年内，国内头部互联网厂商中，百度能够训练出GPT-4量级的大模型。且假设阿里、腾讯、字节跳动、商汤、科大讯飞、浪潮、华为这7家厂商能够训练出GPT-3量级的大模型。参考2023年上半年国产大模型发布数量情况，预估到2023年年底，国内大模型发布数量可达约200个，

10、年内新增约134个，其中通用大模型新增约80个。除头部大厂商外，其他厂商和科研机构发布的通用大模型数量估计为72个，参数在百亿至千亿之间，保守估计平均参数量级为500亿。由此计算，2023年年内国产通用大模型训练侧算力需求为3.03E+25FLOPSo推理侧：推理侧的算力需求需要在用户的访问峰值情境下计算。通常情况下，访问时间中，80%的访问量都集中在20%的访问时间里。以GPT-4为基准，按日访问量2亿（次），每个用户占用Tokens数80计算，单模型推理算力需求为4.10E+17FLOPSo以GPT-3为基准，按日访问量1亿（次），每个用户占用Tokens数80计算，单模型推理算力需求为1

11、.30E+17FLOPs以500亿参数大模型为基准,按日访问量5000万（次），每个用户占用Tokens数80计算，单模型推理算力需求为1.85E+16FLOPSo结合各参数基准下的大模型数量，2023年国产通用大模型推理侧算力需求预估为2.65E+18FLOPSo表3:2023年国产通用大模型推理侧算力需求测算大模型量皴单模算力需求(FLOP8)数量个)各量级大模型算力需求(FLOPs)GPT-4量级，4.10E+1714.10E17GPT-3lit1.30E1779.07E+17其他量煤1.85E*16721.33E*18推理制总算力需求(FLOPs)2.65E18资料来源：华龙证券研究所

12、由此，2023年国产通用大模型训练和推理侧的算力需求总和为3.03E+25FLOPSo1.2.2 行业大模型Al算力需求测算我国垂类大模型主要分布在遥感、生物制药、气象、轨道交通、代码生成/编辑、金融等领域。未来垂类大模型数量有望随着其在各行业细分场景的渗透上升而加速增长。华为已经在算力和软硬件方面，为多个国产垂类大模型的训练提供支持。在医疗方面，华为和医渡科技于2023年9月在华为全联接大会上联合发布医疗垂类领域大模型训推一体机。该一体机由昇腾Al提供算力支持，内置医渡科技研发的医疗垂类大模型，目标是帮助医院、机构等医疗场所实现大模型私有化。在遥感方面，2022年8月，中科院推出了“空天灵眸

13、”遥感预训练大模型。该大模型基于华为昇腾Al澎湃算力和MindSpore训练而成，有望在中科星图的线下业务中，通过Al赋能公司的数字化产品。总结近年来国内大模型商业化落地的过程和效果可以得出，商业化的一般路径为：厂商基于通用大模型训练行业垂类大模型，再通过定制化服务为企业提供所处行业的细分场景Al解决方案。从垂类大模型数量上看，截至2023年上半年，垂类大模型占国产大模型的40%,预计2023年新增量为54个。垂类大模型训练侧算力需求测算：2023年国内发布的垂类大模型参数量在百亿一千亿量级范围内，按平均500亿参数和5,000亿Tokens估算，训练侧总算力需求为8.1E+24FLOPS。垂

14、类大模型推理侧算力需求测算：按日访问量3000万（次），每个用户占用Tokens数80计算，2023年国产垂类大模型推理侧算力需求为6E+17FLOPso由此，2023年国内发布的垂类大模型训练侧和推理侧总算力需求为8.1E+24FLOPSo综上，根据我们对国产通用大模型和垂类大模型的算力需求测算，预计2023年国产大模型总算力需求为3.84E+25FLOPsoAl芯片需求大模型算力需求具象表现。据英伟达2023年5月的研究数据所示，训练GPT-3的GPU数量随着模型规模的增长而增加，同时GPU的利用效率从44%提升到了52%,说明GPU的利用率存在较大的限制。因此在大模型算力需求细化到GPU

15、数量需求上时，需考虑GPU在模型训练时的实际每秒浮点吞吐量。按44.8%的GPU利用率来计算（GPT-3训练用A100的实际利用率），A100在FP16精度下的算力约为140TFLOPSo随着模型参数量增加，GPU实际利用率会相应有所提升，因此以大模型训练周期60-90天、GPU效率50%计算，2023年国内大模型训练和推理一共约需要31,648-47,472块A100级别芯片。根据以上结论，结合芯片性能和深度学习时代的算力需求增速情况，2025年大模型带来的算力需求估算如下：芯片性能方面，按摩尔定律所述，芯片算力每18个月性能会提升一倍。根据OPenAl的测算，在深度学习快速发展的2012年

16、之后，训练大模型的算力需求约每3.4个月翻一倍。近年来，从2020年6月GPT-3发布到2023年3月GPT-4发布，大模型计算量增长约7倍。未来大模型计算量增速可能受限于成本和硬件效率，因此估计未来两年，即到2025年，训练大模型所需的算力需求增速范围约为5倍到133倍。对比摩尔定律中芯片算力的增速，训练大模型带来的算力需求增长速度预估远大于算力性能的增长速度。1.3 Al算力供给方面：高端芯片进口受限，国产替代为大势所趋1.3.1国际形势：美国进一步收紧芯片对华出口标准2023年10月180,美国发布新禁令提出对高端芯片出口限制标准，从原来对单芯片算力UTP)的关注向“性能密度阈值”(PD)转移，首次提出对小型高性能芯片的出口限制。意在防范Chiplet技术对芯片性能利用率的提升效果。1.3.1 Al芯片国产化替