欢迎来到飞鸟慕鱼博客,开始您的技术之旅!
当前位置: 首页知识笔记正文

什么是多模型语言

终极管理员 知识笔记 164阅读

语言模型是什么?

答:语言模型(language model,LM)在自然语言处理中占有重要的地位,它的任务是预测一个句子在语言中出现的概率。 截至目前,语言模型的发展先后经历了文法规则语言模型、统计语言模型、神经网络语言模型。 一个语言模型通常构建为字符串 的概率分布 ,这里 试图反映的是字符串 作为一个句子出现的频率。

二元语言模型有什么用?

答:二元语言模型也能比一元语言模型能够更好的get到两个词语之间的关系信息。 比如在p (pizza|eats)与p (pizza|drinks)的比较中,二元语言模型就能够更好的get到它们的关系,比如 我们再看一下该二元模型所捕捉到的一些实际信息:

一元语言模型的概率有多大?

答:我们可以看出,其实通过一元语言模型的计算公式,我们看不出上面两个句子的概率有多大差别,但是我们很明显知道第一句话比第二句话的概率要大的多,因为正确的表达应该就是吃披萨,而不是喝披萨。 但是由于我们用了一元语言模型,假设每个词都是条件无关的,这样的话就会导致我们考虑不到两个词之间的关系搭配,比如在这个例子中,很明显应该判断的是p (pizza|eats)与p (pizza|drinks)的概率大小比较。 这也就是二元语言模型需要考虑的问题。

语言模型(language model)在自然语言处理中占有重要地位,它的任务是什么?

答:语言模型(language model,LM)在自然语言处理中占有重要的地位,它的任务是预测一个句子在语言中出现的概率。

声明:无特别说明,转载请标明本文来源!