杠杆资本 赵泽良：当万卡集群成AI主战场“标配”， 如何评判大语言模型的大与新

发布日期：2024-08-16 21:24    点击次数：174

　　赵泽良

　　全国政协经济委员会委员，中国网络空间安全协会理事长

　　以一个45年前即开始写代码的老程序员的身份，我来说说大语言模型。

　　做大语言模型，特别是做基于“Transformer”（即由谷歌在2017年提出并应用于神经机器翻译的seq2seq模型，其结构完全通过自注意力机制完成对源语言序列和目标语言序列的全局依赖建模，由编码器和解码器构成）的大语言模型，我是从4年前开始尝试的。由于是以“个体户”的角色来学习研究大语言模型，这使得我对学习研究中的甜酸苦辣，有着不一样的体会。

　　一个突出感受是，我们用大语言模型，要善用其所长。比如，大家都在讨论可信大模型的创新应用话题。那么，什么是可信大模型、哪些是不可信的或可信度有待提高的？这值得我们去分辨。有专家此前提到，要增加大语言模型的可解释性，换句话说，是不是有些东西现在还不太可解释？我认为这也需要去学习研究。

　　此前业界人士戏称“有些人撒谎就像大语言模型一样”，个人认为这种说法较为偏颇。大语言模型是基于语言空间中的概率分布，对给定语言系列进行判断、并以最大概率去求定它下一个原型的，既然是基于概率分布，那就存在不唯一性或单调性。而将不唯一性与单调性结合，难免会产生不确定性，这也是为什么大语言模型在被用来生成诗画作品时，会产生某种固有特性的原因。当然我们也欣喜地看到，科学家们在想方设法去调和、完善或改善它，也在这一过程中取得了很多进展。

　　用好大语言模型来做判断、分析和分类，会降低我们生产生活中对一些事物的不可信度，因此要特别重视大语言模型在专业领域、细分领域、垂直领域的应用。而如果我们用Transformer去做非语言模型，比如在医疗系统，我们去做CT、X光片解读模型，或者自动驾驶模型，这类模型也能很好地完成分类分析和判断任务、成为非常实用的工具，甚至可以转换为竞争力、发展力。

　　当前，大语言模型亟待创新。OpenAI在2022年底推出了ChatGPT，对推动人工智能发展起到了非常重要的作用，让原本距百姓“千里之外”、高深莫测的实验室高科技和高尖端理论，一下子来到人们身边，不仅让大家知道了什么是AI，同时也让大家明白，ChatGPT让更多资金资本投入到AI大语言模型开发之中，客观上推动了这一领域的发展。

2024年4月首届中国人形机器人产业大会上发布的《人形机器人产业研究报告》预测，2024年中国人形机器人市场规模将达约27亿元，2026年达到104亿元，2029年达到750亿元，将占世界总量的32.7%，占比位居世界第一，到2035年有望达到3000亿元规模；根据全球第二大市场咨询机构Markets&Markets的预测，全球人形机器人产业规模将从2023年的18亿美元增至2028年的138亿美元。

　　对于大语言模型未来发展，一些业界人士认为，只要增加训练算力、语料规模、模型参数，这个市场的规模就可以得到持续增长。去年9月的一场活动上，我对这一观点我提出过担忧，我有点担心基于Transformer的大语言模型已经遇上了发展“天花板”。截至目前，我仍然有这样的担心，大力会不会一定出奇迹？因为在推动大语言模型发展的过程中，我们要提高算力，有必要增加参数，也可以增加训练的数据规模，但更应注重理论上的创新突破。

　　从代码角度来讲，基于Transformer的大语言模型包括K矩阵、Q矩阵、V矩阵，其中还有很多类似loss函数、优化函数等。但依靠这些是否就能产生智能、特别是通用智能，这需要我们从理论上去思考研究。诚然，大语言模型在特定领域、特定任务上可能已经超过了人类，但在更广泛或者通用的领域中，它的理论基础是什么，还需要更多解释。

　　另外，在大语言模型的发展过程中，我们应注意其对环境的影响，要算算投入产出比。既要大力发展这个技术，也要科学有效地发展。消息面显示，当前万卡集群已成AI主战场“标配”，而且是最低的标配。但在我看来，这个“低”可是真不低，万亿参数大语言模型杠杆资本，对应着万卡以上规模的超大算力集群。但在规模算力之外，我们在理论上的突破也要快速跟上来，赋能大语言模型更加科学、环保、有效地发展，这也是研究大语言模型发展时特别需要注意的问题。(本文为其在2024世界人工智能大会——可信大模型助力产业创新发展论坛上的发言，有删节）