开源在 GenAI 中的重要性

随着生成式人工智能（AI）的兴起，开源技术也重新获得了人们的关注和增长。然而，在生成式AI领域中，开源的问题仍然是一个“开放”的话题。

有时，代码是公开的；而其他时候，训练数据和权重也是可访问的。

在开源大型语言模型领域中，Meta公司处于领先地位。然而，尽管这家社交媒体巨头的Llama系列大型语言模型（LLM）广受欢迎，但有人表示它们并非完全开源。

Lightning AI是在Llama基础上进行开发的一家供应商。该公司以PyTorch Lightning而闻名，这是一个开源的Python库，为深度学习框架PyTorch提供了高级支持。

今年3月，Lightning推出了Thunder，这是为PyTorch设计的源到源编译器。Thunder可以加速训练，并为多个GPU上的生成式AI模型提供服务。

2023年4月，Lightning引入了Lit-Llama。该供应商从NanoGPT的代码开始创建了Lit-Llama模型，NanoGPT是由OpenAI联合创始人、特斯拉前AI总监Andrej Karpathy创建的用于文本生成的小型GPT。据Lightning称，Lit-Llama是Llama源代码的完全开源实现。

能够在Llama的基础上进行创作凸显了“可破解”技术的重要性，Lightning AI的首席技术官Luca Antiga在TechTarget Editorial的Targeting AI播客中表示。

“技术变得可破解的那一刻，就是人们可以在其基础上进行构建的时刻，”他说道。

然而，Antiga继续说，开源机制在生成式AI技术中还有待充分发展。同时，开源模型也不太可能超越专有模型。

Antiga表示：“开源将倾向于保持模型规模较小且功能越来越强大，这确实具有开创性和突破性，而封闭源代码可能会通过扩展规模来取胜。这是一场非常精彩的竞赛。”