研究表明,开源语言模型无法与GPT-4相提并论
5月29日消息,开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?
诸如之前所报道的,使用Alpaca Formula训练的开源语言模型几乎不需要怎么训练以及很低的成本就能达到了类似于ChatGPT的水平。
Alpaca Formula指的是开发人员使用 ChatGPT 生成的训练数据来微调Meta语言模型 LLaMA 。使用这些数据,LLaMA 模型可以在很短的时间内学习生成类似于 ChatGPT 的输出,并且只需要很少的计算量。
但伯克利大学的研究人员在最近的一项研究中得出了不同的结论:他们将Alpaca Formula应用于LLaMA和 GPT-2的一些基础模型,然后让这些结果由人工评估并由GPT-4自动评估。
最初,他们得出了与之前的开发人员相同的结论:使用指令改进的模型(研究人员称之为“模仿模型”)的性能远远超过基础模型,与 ChatGPT 相当。
然而,“更有针对性的自动评估”表明,模仿模型实际上只在他们看到模仿数据的任务中表现良好。在所有其他领域,与GPT-4仍然存在明显的性能差距。因为这些基础模型在广泛的预训练过程中获得了大部分功能,而不是在微调过程中获取的。
研究人员表示,这些所谓的评价的工作者经常在没有专业知识的情况下在短时间内评估人工智能内容,很容易被忽悠。
OpenAI 研究员约翰舒尔曼最近也批评使用 ChatGPT数据微调开源基础语言模型,称如果微调数据集包含原始模型中不存在的知识,它们可能会产生更多不正确的内容。
您可能也感兴趣:
官方微博/微信

每日头条、业界资讯、热点资讯、八卦爆料,全天跟踪微博播报。各种爆料、内幕、花边、资讯一网打尽。百万互联网粉丝互动参与,TechWeb官方微博期待您的关注。

想在手机上看科技资讯和科技八卦吗?
想第一时间看独家爆料和深度报道吗?
请关注TechWeb官方微信公众帐号:
1.用手机扫左侧二维码;
2.在添加朋友里,搜索关注TechWeb。
为您推荐
华硕竟然推出了一款能装硬盘的显卡
外媒称特斯拉上海超级工厂37秒下线一辆整车 远快于得克萨斯超级工厂
消息称AMD Instinct MI300系列出货量预计将达到30-40万颗
消息称字节跳动开启新一轮回购 最新估值约2680亿美元
买工厂、拉央企入局换电 蔚来正迎来新转机
马斯克AI初创公司xAI寻求融资10亿美元 已完成近1.35亿美元
微软推出必应深度搜索功能 可为复杂搜索查询提供更多相关答案
马斯克:2.5万美元电动汽车将先在得州工厂生产 再在墨西哥工厂生产
更多
- 机构称Q3全球NAND闪存销售额92亿美元 预计Q4环比增长超过20%
- OpenAI联合创始人兼CEO阿尔特曼被《时代》周刊评为年度CEO
- 三星电子晶圆代工业务与台积电市场份额差距在三季度有扩大
- 外媒:苹果副总裁史蒂夫・霍特林将退休
- 外媒称特斯拉上海超级工厂37秒下线一辆整车 远快于得克萨斯超级工厂
- 消息称AMD Instinct MI300系列出货量预计将达到30-40万颗
- 消息称苹果明年年初将推出两款iPad Air两款iPad Pro
- 分析师:苹果计划在2024年3月左右推出搭载M3芯片的MacBook Air
- 消息称iPhone SE 4将采用iPhone 14同款电池 容量较上一代增加1200mAh
- 软银集团旗下电信子公司将斥资5亿美元收购Cubic Telecom 51%股份