研究表明,开源语言模型无法与GPT-4相提并论
5月29日消息,开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?
诸如之前所报道的,使用Alpaca Formula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。
Alpaca Formula指的是开发人员使用 ChatGPT 生成的训练数据来微调Meta语言模型 LLaMA 。使用这些数据,LLaMA 模型可以在很短的时间内学习生成类似于 ChatGPT 的输出,并且只需要很少的计算量。
但伯克利大学的研究人员在最近的一项研究中得出了不同的结论:他们将Alpaca Formula应用于LLaMA和 GPT-2的一些基础模型,然后让这些结果由人工评估并由GPT-4自动评估。
最初,他们得出了与之前的开发人员相同的结论:使用指令改进的模型(研究人员称之为“模仿模型”)的性能远远超过基础模型,与 ChatGPT 相当。
然而,“更有针对性的自动评估”表明,模仿模型实际上只在他们看到模仿数据的任务中表现良好。在所有其他领域,与GPT-4仍然存在明显的性能差距。因为这些基础模型在广泛的预训练过程中获得了大部分功能,而不是在微调过程中获取的。
研究人员表示,这些所谓的评价的工作者经常在没有专业知识的情况下在短时间内评估人工智能内容,很容易被忽悠。
OpenAI 研究员约翰舒尔曼最近也批评使用 ChatGPT数据微调开源基础语言模型,称如果微调数据集包含原始模型中不存在的知识,它们可能会产生更多不正确的内容。
您可能也感兴趣:
官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

想在手机上看科技资讯和科技八卦吗?
想第一时间看独家爆料和深度报道吗?
请关注TechWeb官方微信公众帐号:
1.用手机扫左侧二维码;
2.在添加朋友里,搜索关注TechWeb。
为您推荐
年轻人的第一台NAS该如何入手?(三)如何用Windows系统搭建NAS?
Meta正式发布人工智能聊天机器人Meta AI
分析师称iPhone 16系列将搭载A18、A18 Pro芯片 命名方式再度调整
ChatGPT再升级:终于可浏览互联网 不再局限于两年前旧数据
消息称iPhone SE 4在苹果内部代号Ghost 设计和硬件配置都将升级
法拉第未来计划通过发行股票筹集最多9000万美元资金
11999元起!华为Mate60 RS 非凡大师今日首销:直板手机旗舰之王
分析师普遍预计特斯拉Q3交付46.2万辆电动汽车 不及Q2
因需求疲软 大众汽车将削减两家德国工厂的电动汽车产量
更多
- 理想汽车第一个百万辆量产车完成时间大概率会短于特斯拉
- iPhone 15系列初期所需显示屏主要由三星供应 京东方有望年底开始供货
- 投行分析师下调特斯拉三季度交付量预期 由45.5万辆降至44万辆
- Meta新一代VR头显Quest 3开启预订 起售价为499美元
- Meta正式发布人工智能聊天机器人Meta AI
- 分析师:苹果明年对3纳米制程工艺需求将低于预期
- 微软前首席产品官帕奈将担任亚马逊设备和服务业务负责人
- 分析师称iPhone 16系列将搭载A18、A18 Pro芯片 命名方式再度调整
- ChatGPT再升级:终于可浏览互联网 不再局限于两年前旧数据
- 消息称iPhone SE 4在苹果内部代号Ghost 设计和硬件配置都将升级