【财新网】开源模型和闭源模型的竞赛还在持续。美国当地时间7月23日,facebook母公司meta(nasdaq:meta)宣布推出llama 3.1开源模型,包含4050亿、700亿、80亿三个参数版本。meta称,此前开源大模型能力落后于闭源模型,随着此次4050亿参数版本开源模型的发布,开源模型将成为领导者。
今年4月,meta刚发布了开源大模型llama 3系列,包含80亿、700亿参数的两个版本,其中700亿参数的版本能力对标gpt-3.5,其长文本能力仅为支持8k上下文窗口,远落后于128k左右的行业平均水平,meta当时称将在接下来数月推出更强长文本能力、多种尺寸的模型(详见财新网报道)。