4月10日,Techcrunch消息,Meta在本周伦敦举办的一场活动中确定,下个月将正式发布Llama 3并且继续开源。
Meta全球事务总裁Nick Clegg表示,我们希望在下个月,甚至更短的时间内,正式推出新一代基础模型Llama 3。它将有很多个版本,而且功能也各不相同。
根据Meta的AI副总裁Joelle Pineau透露,Llama 3的参数大约只有1400亿左右,将继续保持高性能,低参数的风格。这对于中小企业和个人开发者来说帮助巨大,可以节省很多成本。
Llama系列模型时类ChatGPT开源模型的鼻祖,早在去年2月,ChatGPT火爆出圈时,全球多个国家、地区皆在尝试开发类似的产品。虽然已经有一些开源产品,但在功能、能耗等方面与其相差甚远。
同月,Meta重磅开源了类ChatGPT开源模型LLaMA。随后,国内外不少科研机构、个人开发者在LLaMA基础之上,开发了众多知名开源项目。但LLaMA有一个致命缺点,无法商业化只能用于研究。
LLaMA与ChatGPT同样是基于Transformers架构演变而来,共有70亿、130亿、330亿和650亿参数四种类型,接受了20种不同语言文本的训练。
数据训练方面,LLaMA使用公开可用的数据集进行训练,其中包括开放数据平台Common Crawl、英文文档数据集C4、代码平台GitHub、维基百科、论文平台ArXiv等,总体标记数据总量大约在1.4万亿个Tokens左右。
2023年7月,Meta在LLaMA基础之上训练、开源了LLaMA 2,拥有70亿、130亿、340亿和700亿四种参数。并且这一代终于允许商业化。
Llama 2 预训练模型接受了2万亿个标记的训练,上下文长度是Llama 1的两倍。其微调模型已经接受了超过100 万个人类注释的训练,整体性能非常强悍。
目前,Llama 2也是整个生成式AI开源界应用最多的大模型之一。
本文素材来源Techcrunch,如有侵权请联系删除
END
未经允许不得转载:RPA中国 | RPA全球生态 | 数字化劳动力 | RPA新闻 | 推动中国RPA生态发展 | 流 > Llama 3下月正式发布,继续开源!
热门信息
阅读 (14728)
1 2023第三届中国RPA+AI开发者大赛圆满收官&获奖名单公示阅读 (13753)
2 《Market Insight:中国RPA市场发展洞察(2022)》报告正式发布 | RPA中国阅读 (13055)
3 「RPA中国杯 · 第五届RPA极客挑战赛」成功举办及获奖名单公示阅读 (12964)
4 与科技共赢,与产业共进,第四届ISIG中国产业智能大会成功召开阅读 (11567)
5 《2022年中国流程挖掘行业研究报告》正式发布 | RPA中国