语言模型
什么是语言模型
语言模型可以用来判断：是否一句话从语法上通顺，并进行纠正

比较：
今天是周日 - 今天周日是
全民AI是趋势 - 趋势全民AI是

语言模型的作用就是将后者纠正成前者。

通过计算正确率：
P(今天是周日) =60% > p(今天周日是) =20%
p(全民Ai是趋势) =60% > p(趋势全民AI是) =20%

那么如何进行对概率的计算呢？
那么我们就要清楚什么是联合概率：

两个随机变量时：
p(A,B) = p(A|B)*p(B)

四个随机变量时：
p(A,B,C,D) = P(A)P(B|A)P(D|A,B,C)

概率方面
概率部分可以参考概率论相关，因此A,B,C,D同样可以是其他的元素，比如汉字：
p(今天,是,春节) = p(今天)p(是|今天)p(春节|今天,是)

实现
语言模型就是我们提前去计算这些概率，并且在让他判断这句话时，这些概率都会计算完毕。
通过简单的统计，就可以计算出这些概率，例如，给你一篇文档，文档中有“今天是春节”，“今天是周末”等，程序应该做的是遍历整个文档（语料库），并找到要求判断的话，当找到这两句话之后，就可以计算这个概率（p(春节|今天是）了，而“今天是春节的概率”则是二分之一，因为文章中只出现了两次今天是...，而在这两次中，只有一次是符合“今天是春节”这句话的，因此，概率为二分之一。

马尔科夫假设：
随机过程中，有一类具有“无后效性性质”，即当随机过程在某一时刻to所处的状态已知的条件下，过程在时刻t>to时所处的状态只和to时刻有关，而与to以前的状态无关，则这种随机过程称为马尔科夫过程。 即是：ito为确知,it(t>to)只与ito有关，这种性质为无后效性。

比如：
p(休息|今天，是，春节，我们，都) 可以看做 p(休息|都) 、p(休息|是)
当然，距离休息这个词语最近的“都”是最准确的。