生活中一般不会直接推断一个事件发生的概率,因为并不容易推断出结果。例如“足球赛平局的概率是多少?”这个问题很难回答,因为并没说清是哪场比赛平局的概率,或者还是指历史上所有足球赛中平局的概率。一般而言,现实中的事件总是不会孤立发生的,而是伴随着条件发生的。
条件概率
条件概率的具体描述是:在事件$B$发生的前提下,事件$A$发生的概率,记作$P(A|B)$。也可以理解为在事件$B$发生的前提下,事件$A, B$同时发生的概率,所以$P(A|B) = \frac{P(AB)}{P(B)}$。
事件的独立性
从条件概率引出了事件的独立性,如果事件$A, B$是有关联的,则$P(A|B) = \frac{P(AB)}{P(B)}$成立,可以说事件$B$影响了事件$A$的概率的计算。但如果事件$A, B$相互独立,代表了事件$A, B$之间没有什么关系,就像“今天足球赛平局的概率”和“你今天吃烧烤的概率”关联并不大,那你今天吃什么就不大会对比赛结果造成影响,事件$B$对事件$A$造成不了影响,于是$P(A|B)$就依然等于$P(A)$,即$P(A|B) = \frac{P(AB)}{P(B)} = P(A) \Rightarrow P(AB) = P(A)P(B)$,所以$P(AB) = P(A)P(B)$就成了判断两个事件是否相互独立的条件,而一般情况下应该是$P(AB) = P(A|B)P(B)$。
全概率公式
我们想看看各种事件对事件$A$造成的影响,而不是仅有一个事件$B$,假设有事件$B_1, B_2, \dots, B_n$,他们的总和构成了全体事件$\Omega$,他们之间是相互独立的(即不会互相影响,方面描述),用表达式描述如下:
因为$\Omega$为全体事件,所以$P(A) = P(A\Omega) = P(AB_1 + AB_2 + \cdots+ AB_n)$,因为$B_1, B_2, \dots, B_n$相互独立,所以$AB_1, AB_2, \dots, AB_n$之间也相互独立,所以$P(AB_1 + AB_2 + \cdots+ AB_n) = P(AB_1) + P(AB_2) + \cdots+ P(AB_n)$,再使用条件概率公式得$P(A) = P(A|B_1)P(B_1) + P(A|B_2)P(B_2) + \cdots+ P(A|B_n)P(B_n) = \sum\limits_{i = 1}^{n}P(A|B_i)P(B_i)$,即全概率公式。全概率$P(A)$是各条件概率$P(A|B_k)$以$P(B_k)$为权重的加权平均值。
贝叶斯公式
全概率公式可以看作是通过事件$B_1, B_2, \dots, B_n$去推断事件$A$发生的概率,贝叶斯公式则是反过来,如果事件$A$发生了,我想知道事件$B_k$在事件$A$的发生中起了多大作用,即$P(B_k|A)$,计算一下“今天足球赛平局是你吃烧烤造成的概率”。进一步使用全概率公式推导如下:
$P(B_k)$被称作先验概率,指的是在没有别的前提信息情况下的概率值,$P(B_k|A)$被称作后验概率,指的是获得“事件$A$发生了”这个信息后原因$B_k$出现的概率,后验概率可以看做是先验概率在获取了新信息之后的一种修正。