开源在 GenAI 中的重要性

随着生成式人工智能(AI)的兴起,开源技术也重新获得了人们的关注和增长。然而,在生成式AI领域中,开源的问题仍然是一个“开放”的话题。

有时,代码是公开的;而其他时候,训练数据和权重也是可访问的。

在开源大型语言模型领域中,Meta公司处于领先地位。然而,尽管这家社交媒体巨头的Llama系列大型语言模型(LLM)广受欢迎,但有人表示它们并非完全开源。

Lightning AI是在Llama基础上进行开发的一家供应商。该公司以PyTorch Lightning而闻名,这是一个开源的Python库,为深度学习框架PyTorch提供了高级支持。

今年3月,Lightning推出了Thunder,这是为PyTorch设计的源到源编译器。Thunder可以加速训练,并为多个GPU上的生成式AI模型提供服务。

2023年4月,Lightning引入了Lit-Llama。该供应商从NanoGPT的代码开始创建了Lit-Llama模型,NanoGPT是由OpenAI联合创始人、特斯拉前AI总监Andrej Karpathy创建的用于文本生成的小型GPT。据Lightning称,Lit-Llama是Llama源代码的完全开源实现。

能够在Llama的基础上进行创作凸显了“可破解”技术的重要性,Lightning AI的首席技术官Luca Antiga在TechTarget Editorial的Targeting AI播客中表示。

“技术变得可破解的那一刻,就是人们可以在其基础上进行构建的时刻,”他说道。

然而,Antiga继续说,开源机制在生成式AI技术中还有待充分发展。同时,开源模型也不太可能超越专有模型。

Antiga表示:“开源将倾向于保持模型规模较小且功能越来越强大,这确实具有开创性和突破性,而封闭源代码可能会通过扩展规模来取胜。这是一场非常精彩的竞赛。”

© 版权声明

相关文章

暂无评论

您必须登录才能参与评论!
立即登录
暂无评论...