Meta发布最强开源模型Llama 3.1
北京时间7月23日晚,Meta 正式发布最新的开源大模型Llama 3.1系列,进一步缩小了开源模型与闭源模型的差距。Llama 3.1包含8B、70B和450B 3个参数规模,其中450B参数的模型在多项基准测试中超过了OpenAI的GPT-4o,与Claude 3.5 Sonnet 等领先的闭源模型相媲美。在具体细节上,Llama 3.1三个版本的模型上下文窗口都从 8k 增加到了 128K,扩大 16 倍,同时支持8种语言。其中Llama 3.1 -405B模型使用了超过15万亿个tokens进行训练,并且为了能达到这一训练规模,团队使用了1.6万块H100 的GPU。官方表示,405B模型是第一个以这种规模训练的 Llama 模型。
点评:开源大型语言模型在功能和性能方面大多落后于闭源模型,“但现在,我们正迎来一个由开源引领的新时代。”Meta 创始人兼CEO扎克伯格同一时间在官网发布一篇博客为这次发布造势,他表示,Llama 3.1 版本将成为行业的一个转折点,大多数开发人员将开始主要使用开源,开源AI是未来的发展方向。英伟达高级研究科学家Jim Fan在X上发文祝贺Meta团队,他提到,GPT-4的力量就在我们手中,(这是)一个真正具有历史意义的时刻。