对于专注于构建专业人工智能(AI)模型的开发人员来说,他们面临的长期挑战是获取高质量的训练数据。较小的专家模型(参数规模在10亿~100亿)通常利用“蒸馏技术”,需要利用较大模型的输出来增强其训练数据集,然而,使用来自OpenAI等闭源巨头的此类数据受到严格限制,因此大大限制了商业应用。
而就在北京时间7月23日(周二)晚间,全球AI领域的开发人员期待已久的开源大模型“ChatGPT时刻”终于到来——Meta发布最新AI模型Llama 3.1,其中参数规模最大的是Llama 3.1-405B版本。
扎克伯格将Llama 3.1称为“艺术的起点”,将对标OpenAI和谷歌公司的大模型。测试数据显示,Meta Llama 3.1-405B在GSM8K等多项AI基准测试中超越了当下最先进的闭源模型OpenAI GPT-4o。这意味着,开源模型首次击败目前最先进的闭源大模型。