咨询电话

020-26435686

最新公告:
半岛·体育服装诚信为本:市场永远在变,诚信永远不变。
产品展示
020-26435686
广东省广州市半岛工业园体育路136号
公司动态

当前位置: 半岛·体育 > 新闻资讯 > 公司动态

半岛·体育bob官方网重训「羊驼」大模型并彻底开放商用来自UC伯克利博士生

2024-08-24 23:22:11

  半岛·体育官网与此同时,之前发布的70亿以及30亿参数版本也完成了1T token的训练,并发布PyTorch和JAX权重。

  性能测试显示,OpenLLaMA在多项任务中的表现都与原始LLaMA相当,并且不乏超越的情况半岛·体育bob官方网。

  它在Together公司发布的RedPajama数据集上训练,该数据集其实也是LLaMA训练集的复制品,一共包含1.2T token。

  除了数据集不太一样之外,OpenLLaMA使用了与原始LLaMA完全相同的预处理步骤和训练超参数,包括模型架构、上下文长度、训练步骤、学习率时间表和优化器,可以说是“重训”了一把。

  今年5月,该团队率先发布了70亿参数版本,不过当时训练token还是3000亿。

  按照计划,如今和原LLaMA训练数据量一致的130亿参数版本和70亿半岛·体育bob官方网、30亿版本一同发布。

  使用该格式时需要注意先避免使用Hugging Face快速分词器(tokenizer),因为它的自动转换功能有时会给出不正确的tokenization。

  在此请注意,与原始LLaMA不同,该OpenLLaMA的分词器和权重是完全从头开始训练的,因此不再需要获取原始 LLaMA的这俩信息。

  接下来,在训练量已达成一致的情况下,看OpenLLaMA各规模模型的性能表现如何半岛·体育bob官方网。

  在这里,作者使用EleutherAI发布的自回归语言模型few-shot评估框架(lm-evaluation-harness)对两只“羊驼”进行评估,以及还加入了“第三者”:

  需要注意的是,可能是因为不同的评估协议,作者跑出来的LLaMA结果与原始LLaMA略有不同。

  与此同时,只有30亿参数的OpenLLaMA平均性能超越60亿参数的GPT-J。

  特斯拉前AI高级总监Andrej Karpathy在上个月的微软Build大会的演讲上,曾多次表达一个意思:

  现在,650亿的商用平替羊驼虽然还没出现,130亿和70亿是已经妥妥安排好了。

  就在几天前半岛·体育bob官方网,据The Information爆料,Meta AI正计划发布一个新的LLM,并且免费供大家商用。

  有观点指出,在如今行业大佬如谷歌Bard和OpenAI ChatGPT都“紧闭大门”的情况下,Meta这一做法可能会引发连锁反应,并且开源模型和闭源模型的差距会越来越小。

  特别声明:以上内容(如有图片或视频亦包括在内)为自媒体平台“网易号”用户上传并发布,本平台仅提供信息存储服务。

  就在下周!英伟达将交出“近年最重要的科技财报” 能戳破“AI泡沫论”吗?

  iPhone 16两周后亮相?苹果或9月10日举行今年最重磅新品发布会

  前后十四载半岛·体育bob官方网!郭艾伦辽宁生涯出战408场 场均17.1分3.5板5.2助

  ColorOS 15 Beta版即将内测:OPPO Find X7首发尝鲜

  4年前的旗舰依然保值!原封华为Mate 40 Pro在第三方渠道卖到5000元

  洋娃娃的高跟鞋走路,果然爱美是每个女孩的天性!妈妈:“只要她开心,喜欢什么都支持她”

  萌娃和魔术师学习魔术,同样的操作结果却天差地别,萌娃 :我是错过了哪一步

网站首页 关于半岛·体育 产品展示 新闻资讯 工程案例 健身知识 售后服务 客户留言 联系半岛·体育

地址:广东省广州市半岛工业园体育路136号 电话:020-26435686


Copyright © 2012-2024 半岛·体育有限公司 版权所有

ICP备案编号:辽ICP备14009543号-1

扫一扫,加关注