【财新网】由科技部、北京市支持的民营非营利机构智源研究院公布ai大模型最新进展。6月14日,智源研究院公布万亿参数的大语言模型进展,发布用于检索增强(rag)的向量模型、采用自回归架构的多模态大模型、具身智能大模型和生物计算大模型,以及支持8种芯片的智算操作系统。
具体来看,此次公布的万亿参数大模型“tele-flm“是和联合研发,中国电信主要提供算力和部分数据。智源研究院院长王仲远称,该项目是在112台a800机器(即896块a800 gpu)上训练4个月得出的,已开源发布的520亿参数版本英文能力优于llama2-70b,接近llama3-70b的水平,而中文能力优于llama3-70b和qwen1.5-72b。