什么是语言建模？

语言建模（Language Modeling，简称LM）是使用各种统计和概率技术来确定给定单词序列在句子中出现的概率。语言模型分析文本数据，以提供其单词预测的基础。

语言建模广泛应用于人工智能（AI）、自然语言处理（NLP）、自然语言理解和自然语言生成系统，特别是在文本生成、机器翻译和问答系统中。

大型语言模型（LLMs）也使用语言建模。这些是先进的语言模型，如OpenAI的GPT-3和Google的Palm 2，能够处理数十亿的训练数据参数并生成文本输出。

自然语言处理结合了自然语言生成和自然语言理解。

语言建模的工作原理

语言模型通过分析文本数据来确定单词的概率。它们通过将数据输入算法来解读这些数据，该算法建立了自然语言中的上下文规则。然后，模型在语言任务中应用这些规则，以准确预测或生成新句子。模型本质上学习基本语言的特征和特性，并利用这些特征来理解新短语。

本文是

企业人工智能指南

• 还包括：
• 2024年十大人工智能和机器学习趋势
• 2024年十大人工智能认证和课程
• 人工智能的未来：未来五年的展望

有几种不同的概率方法用于建模语言。它们根据语言模型的目的而有所不同。从技术角度来看，各种语言模型类型在分析的文本数据量和使用的数学方法上有所不同。例如，旨在为自动社交媒体机器人生成句子的语言模型可能使用不同的数学方法，并以不同的方式分析文本数据，而不是用于确定搜索查询可能性的语言模型。

语言建模类型

构建语言模型有几种方法。一些常见的统计语言建模类型包括：

• N-gram：这种简单的语言模型方法为序列n创建概率分布。n可以是任何数字，并定义被分配概率的词序列或随机变量的大小。这使得模型能够准确预测句子中的下一个单词或变量。例如，如果n=5，一个gram可能是“can you please call me”。模型然后使用n大小的序列分配概率。基本上，n可以被视为模型被告知考虑的上下文量。一些类型的n-gram包括单元词（unigram）、双元词（bigram）、三元词（trigram）等。n-gram还可以通过分析文件中的字符串来帮助检测恶意软件。
• 单元词（Unigram）：这是最简单的语言模型类型。它在计算中不考虑任何条件上下文。它独立评估每个单词或术语。单元词模型通常处理信息检索等语言处理任务。单元词是更具体的模型变体——查询可能性模型的基础，该模型使用信息检索来检查文档池，并将最相关的文档与特定查询匹配。
• 双向模型（Bidirectional）：与单向分析文本的n-gram模型不同，双向模型同时分析文本的前后。这些模型可以通过使用文本中的其他单词来预测句子或文本中的任何单词。双向检查文本提高了结果的准确性。这种类型通常用于机器学习模型和语音生成应用。例如，Google使用双向模型来处理搜索查询。
• 指数模型（Exponential）：也称为最大熵模型，指数模型比n-gram更复杂。简单地说，它使用结合特征函数和n-gram的方程来评估文本。基本上，这种模型指定所需结果的特征和参数，与n-gram不同，它对分析参数的规定更模糊——例如，它不指定单个gram的大小。该模型基于熵原理，该原理表明，具有最大熵的概率分布是最佳选择。换句话说，模型越混乱、假设越少，就越准确。指数模型旨在最大化交叉熵，从而最小化可以做出的统计假设。这使用户对从这些模型获得的结果更加信任。
• 神经语言模型（Neural Language Models）：神经语言模型使用深度学习技术来克服n-gram模型的局限性。这些模型使用神经网络，如递归神经网络（RNN）和变换器（Transformers），以捕捉文本中的复杂模式和依赖关系。RNN语言模型包括长短期记忆（LSTM）和门控递归单元（GRU）模型。这些模型可以在预测下一个单词时考虑句子中的所有前面单词。这使它们能够捕捉长距离依赖关系并生成更具上下文相关性的文本。变换器使用自注意机制来权衡句子中不同单词的重要性，使它们能够捕捉全局依赖关系。生成式AI模型，如GPT-3和Palm 2，基于变换器架构。
• 连续空间模型（Continuous Space）：这是另一种神经语言模型，将单词表示为神经网络中权重的非线性组合。为单词分配权重的过程也称为词嵌入（Word Embedding）。这种模型在数据集变大时尤其有用，因为较大的数据集通常包含更多独特的单词。大量独特或少用单词的存在可能会给线性模型（如n-gram）带来问题。这是因为可能的单词序列数量增加，而影响结果的模式变得较弱。通过以非线性、分布式的方式加权单词，该模型可以“学习”近似单词，而不被任何未知值误导。它对给定单词的“理解”不如n-gram模型那样紧密依赖于周围的单词。

上述模型是更一般的统计方法，从中衍生出更具体的变体语言模型。例如，如n-gram描述中提到的，查询可能性模型是使用n-gram方法的更具体或专业的模型。模型类型可以相互结合使用。

这些模型的复杂性也有所不同。一般来说，更复杂的语言模型在NLP任务中表现更佳，因为语言本身极其复杂且不断演变。因此，指数模型或连续空间模型可能比n-gram在NLP任务中更好，因为它们旨在考虑语言中的模糊性和变异性。

一个好的语言模型还应该能够处理长期依赖关系，处理那些可能从文本中遥远而不相邻的其他单词派生其意义的单词。语言模型应该能够理解一个单词是否在引用一个遥远的单词，而不是总是依赖于固定历史中的相邻单词。这需要更复杂的模型。

语言建模的重要性

语言建模在现代NLP应用中至关重要。它使机器能够理解定性信息。每种语言模型类型在某种程度上都将定性信息转化为定量信息。这使得人们能够像与彼此沟通一样与机器进行交流，尽管程度有限。

语言建模在信息技术、金融、医疗、交通、法律、军事和政府等多个行业中得到应用。此外，许多人在一天中的某个时刻可能以某种方式与语言模型互动，无论是通过Google搜索、自动补全文本功能，还是与语音助手进行互动。

语言建模的根源可以追溯到1948年。那一年，Claude Shannon发表了一篇题为《通信的数学理论》的论文。在这篇论文中，他详细描述了使用一种称为马尔可夫链的随机模型来创建英文文本字母序列的统计模型。这篇论文对电信行业产生了重大影响，并为信息理论和语言建模奠定了基础。马尔可夫模型至今仍在使用，n-gram与该概念紧密相关。

语言建模的用途和示例

语言模型是NLP的支柱。以下是一些使用语言建模的NLP用例和任务：

• 语音识别：这涉及机器能够处理语音音频。语音助手如Siri和Alexa通常使用语音识别。
• 文本生成：该应用程序使用预测生成连贯且上下文相关的文本。它在创意写作、内容生成以及结构化数据和其他文本的摘要中有应用。
• 聊天机器人：这些机器人与用户进行类人对话，并生成准确的回答。聊天机器人用于虚拟助手、客户支持应用和信息检索系统。
• 机器翻译：这涉及机器将一种语言翻译成另一种语言。Google Translate和Microsoft Translator就是两个执行此操作的程序。另一个是SDL Government，用于实时翻译外国社交媒体动态以供美国政府使用。
• 词性标注：此用法涉及按某些语法特征标记和分类单词。该模型用于语言学研究。它首次也是最著名地用于布朗语料库的研究，这是一个旨在由计算机研究的随机英语散文体。该语料库已用于训练几个重要的语言模型，包括用于提高搜索质量的Google模型。
• 解析：此用法涉及分析符合正式语法和句法规则的任何数据字符串或句子。在语言建模中，这可以采取句子图的形式，描述每个单词与其他单词的关系。拼写检查应用程序使用语言建模和解析。
• 光学字符识别：该应用程序涉及使用机器将文本图像转换为机器编码文本。图像可以是扫描文档或文档照片，或包含文本的照片——例如在标志上。光学字符识别通常在处理需要数字化的旧纸质记录时用于数据录入。它还可用于分析和识别手写样本。
• 信息检索：这种方法涉及在文档中搜索信息、搜索文档以及搜索与文档对应的元数据。Web浏览器是最常见的信息检索应用程序。
• 观察数据分析：这些语言模型分析观察到的数据，如传感器数据、遥测数据和实验数据。
• 情感分析：该应用程序涉及确定给定短语背后的情感。具体而言，情感分析用于理解文本中表达的意见和态度。企业使用它来分析非结构化数据，如产品评论和关于其产品的一般帖子，以及分析内部数据，如员工调查和客户支持聊天。一些提供情感分析工具的服务包括Repustate和HubSpot的Service Hub。Google的NLP工具Bert也用于情感分析。

情感分析使用语言建模技术检测和分析客户评论和帖子中的关键词。

语言建模的未来

最先进的大型语言模型（LLMs）在生成自然语言和类人文本以及理解复杂语言模式方面表现出色。推动ChatGPT和Bard等模型的技术拥有数十亿个参数，并在大量数据上进行训练。它们的成功使其被应用于Bing和Google搜索引擎，承诺改变搜索体验。

新的数据科学技术，如微调（fine-tuning）和迁移学习（transfer learning），在语言建模中变得至关重要。与从头开始训练模型不同，微调允许开发人员使用预训练的语言模型并将其适应于特定任务或领域。这种方法减少了训练所需的标记数据量，并提高了模型的整体性能。

随着语言模型及其技术变得越来越强大和有效，伦理考量变得越来越重要。生成文本中的偏见、错误信息和AI驱动的语言模型潜在滥用等问题，促使许多AI专家和开发者，如Elon Musk，警告不要对其进行不受监管的发展。

语言建模是生成式AI中的领先技术之一。了解生成式AI的八大伦理关注点。