2020年,OpenAI团队发表论文,正式提出了大模型开发的经验法则Scaling Law,目前它并没有统一的中文名称,大致可以理解为“规模法则”,更通俗地说是“大力出奇迹”。2022年年底,ChatGPT的横空出世验证了“规模法则”的“智能涌现”能力——规模越大,效果越优。要提升模型效果,就需要不断扩大参数规模、训练数据量、计算资源三要素的规模。自此,Scaling Law被大模型厂商奉为圭臬,一场重点围绕算力、参数的全球AI竞赛打响,并在大模型的狂飙突进中不断升温,如今仍未休止。
继今年4月微软和OpenAI被曝筹建一个可能耗资超千亿美元的AI超级计算机后,特斯拉CEO埃隆·马斯克旗下的人工智能公司xAI、研发开源大模型Llama的Meta近日里均有新动作,喊出了“世界最先进”“最强大”的口号和目标。《中国经营报》记者注意到,科技巨头仍在遵循Scaling Law各自加大AI大模型的资金资源投入,致使大模型竞争持续白热化,而与此同时,通用大模型也在通过降价、开源、多参数版本等措施向“小模型”下沉拓展。
“规模法则”持续:大资金、大算力、大参数