华盛顿大学的研究人员揭开了 原驼 ，一个开源聊天机器人，旨在与 ChatGPT 同时显着减少培训所需的时间和资源。 guanaco 以美洲驼的南美亲戚命名，建立在 LlaMA 语言模型之上，并采用了一种称为 QLoRA 的新颖微调方法。

guanaco 的创建者声称它的性能可与 ChatGPT 但只需一天即可训练。 这一非凡的壮举是通过 QLoRA 实现的，QLoRA 是一种语言模型微调技术，可大幅减少训练所需的 GPU 内存量。 尽管 ChatGPT 需要高达 780 GB 的 GPU 内存 对于一个有 65 亿个参数的模型，Guanaco 最简单的版本只需要 5 GB。

凭借这些令人印象深刻的效率提升，Guanaco 和类似的开源模型正在挑战这样一种观念，即必须进行昂贵的培训 最先进的语言模型 . 原驼的出现， 羊驼 及 其他型号 以一小部分成本进行训练引发了对 GPT 等昂贵模型未来的猜测。

然而，并非所有人都同意这种对开源模型的乐观看法。 加州大学最近进行的一项研究 产生了怀疑 羊驼等模型的能力，并提出了对其真正潜力的质疑。 最初，研究人员得出了与 Guanaco 的创建者类似的结论：经过适当的训练，开源模型可以在能力上与 GPT 相媲美。 进一步的测试揭示了一个重要的局限性。 这些有时被称为“Dolly”模型的模型擅长模仿他们在训练期间遇到的问题的解决方案。 然而，他们很难在没有明确接触过的任务上表现出色，落后于更先进的模型。

这一启示表明 数百万投资于培训 GPT 类似的模型可能没有白费。 虽然 Guanaco 及其同行展示了可喜的成果，但仍有一些领域更复杂的模型表现出色。 值得注意的是 加州大学进行的研究 挑战开源模型可以完全取代 GPT 等昂贵模型的流行观念。

随着自然语言处理领域的发展，观察 Guanaco 和其他开源模型如何与既定模型公平竞争将会很有趣 基准例如 ChatGPT . 毫无疑问，高创新率和持续研究将影响语言模型的未来，并决定哪些模型成为特定应用程序的首选。

• Dolly 2.0，第一个商用开源 12B Chat-LLM， 已经宣布 通过数据块。 这对机器学习行业来说是一项重大进步，使企业无需投资昂贵的 GPU 集群即可创建有效的语言模型。 Databricks 聘请了 5,000 名员工来创建他们的开源语言模型，其中包括 EleutherAI 的 Pythia-12B 语言模型，该模型获得了 MIT 许可。 Dolly 2.0 以及相关代码在 MIT 许可下可用。 Dolly 2.0 具有改变行业的潜力，是机器学习向前迈出的重要一步。

阅读有关人工智能的更多信息：

• GPT 支持的聊天机器人和医生的 AI 助手正在改变医疗保健
• SoundStorm：谷歌推出能够实时复制语音的可怕人工智能工具
• GPT-4 在美国司法考试中的表现与其声称相矛盾

< 上一篇文章

ChatGPT

语言模型

免责声明

此页面上的任何数据、文本或其他内容均作为一般市场信息提供，而非投资建议。 过去的表现不一定是未来结果的指标。

信托项目 是致力于建立透明度标准的全球新闻组织集团。

Damir 是团队领导、产品经理和编辑 Metaverse Post，涵盖 AI/ML、AGI、LLM、Metaverse 等主题 Web3- 相关领域。 他的文章每月吸引超过一百万用户的大量读者。 他似乎是一位在 SEO 和数字营销方面拥有 10 年经验的专家。 达米尔曾在 Mashable、Wired、 Cointelegraph、《纽约客》、Inside.com、Entrepreneur、BeInCrypto 和其他出版物。 他作为数字游牧者往返于阿联酋、土耳其、俄罗斯和独联体国家之间。 达米尔获得了物理学学士学位，他认为这赋予了他在不断变化的互联网格局中取得成功所需的批判性思维技能。

更多文章

达米尔亚拉洛夫

更多文章