機率基本觀念:Joint、Marginal 與 Conditional

feature image

source: Pixabay

前言 & 概述

「機率」(Probability) 是機器學習的基礎,想精通機器學習演算法,必須先對機率的概念有足夠多的了解。然而,網路上許多機率觀念的介紹,往往要求某些先備知識,使得初學者不易入門。

在本篇文章中,我們假設讀者沒有任何的先備知識,將從最基本的「表示法」(Notation) 開始談起,再介紹 3 種不同的機率類型。

機率的表示法 (Notation)

「機率」的概念通常伴隨著某一個「事件」。這裡的「事件」(Event) 不是什麼博大精深的概念,僅僅就是指描述某一件「事情」。舉例來說,「今天的天氣是雨天」、「擲一個骰子得到點數為 3」或是「從球袋中抽出一顆紅球」都可以理解為「事件」。

我們喜歡透過機率來描述這個事件發生的可能性。以上面提到的例子而言,我們可能會說「『今天的天氣是雨天』的機率為 50%」、「『擲一個骰子得到點數為 3』的機率為 1/6」、「『從球袋中抽出一顆紅球』的機率為百分之三十」。

事件的結果往往不只有一個,且每一個結果都有發生的可能。在數學上,我們會透過一個變數來表示事件可能的結果。我們之所以透過機率來描述事件(結果)發生的可能性,正是因為我們不確定哪一個事件(結果)會發生。我們之所以無法確定,是因為哪一個結果會發生本身帶有隨機性。因此,在數學上描述事件的變數又稱為「隨機變數」(Random Variable)

透過「擲骰子」的例子說明隨機變數的概念。我們都知道「擲骰子」的結果可能是 1、2、3、4、5、6 其中一個結果,哪一個結果會發生是帶有隨機性的,所以我們無法知道。在數學上,我們可以定義一個隨機變數 X ={1, 2, 3, 4, 5, 6} 來表示擲骰子的結果。

簡單來說,我可以透過「言語」說明擲骰子的結果:

「擲骰子的結果為『1、2、3、4、5、6 』」
「擲骰子的結果為『1』的機率」

也可以透過「數學」表示擲骰子的結果:

X = {1, 2, 3, 4, 5, 6}
P(X=1)

從上面我們發現,透過隨機變數「X」可以簡單描述一個事件的所有結果;透過「P(X=1)」可以簡單描述一個事件(結果)發生的機率 (P 表示 Probability)。

三種基本的機率類型

了解隨機變數與機率的數學表示法後,緊接著學習三種基本的機率類型,分別為:邊際機率 (Marginal Probability)、聯合機率 (Joint Probability) 與條件機率 (Conditional Probability)。

  • Marginal Probability
    指的是描述「某一個」事件發生的機率。舉例來說:A 是一個事件,則此事件發生的機率為 P(A),P(A) 就是 Marginal Probability。以撲克牌的例子來說,假設 A =「從一副撲克牌中抽出一張 6」,則 P(A) = 4/52 (因為一副撲克牌有 52 張,其中包含 4 張 6)。
  • Joint Probability
    指的是「兩個或多個」事件同時發生的機率。A 與 B 是兩個不同的事件,A 與 B 同時發生的機率為 P(A  B)。「」符號稱為「交集」,就是指兩個都要的意思。以撲克牌的例子來說,假設 A =「從一副撲克牌中抽出一張 6」且 B =「從一副撲克牌中抽出一張紅色」,則 P(A  B) = 2/52 (因為一副撲克牌有 52 張,同時是 6 又是紅色的有 2 張)。
  • Conditional Probability
    指的是某一個事件發生的「前提」之下,另外一個事件發生的機率。例如,A 與 B 是兩個不的事件,在 B 事件發生的前提下,A 事件發生的機率為 P(A | B)。以撲克牌的例子來說,B = 「抽出紅色的卡牌」,A = 「抽出數字 4 的卡牌」,則 P(A | B) = 2/26 (因為已經先抽出 26 張紅色的卡牌,其中包含兩張數字 4)。

三種機率的結合 — 乘法法則

了解完三種的基本的機率後,接著介紹機率中的「乘法法則」(Multiplication Rule)。

probability multiplication rule

機率中的乘法法則

由上圖可以發現,乘法法則將我們前面所介紹的三種機率類型整合在一起!從下圖的文氏圖,我們可以更加了解公式的含義。

文氏圖

透過文氏圖了解乘法法則

P(B) 表示 B 事件發生的機率,也就是上圖的 B 圓圈;P(A) 表示 A 事件發生的機率,也就是上圖的 A 圓圈。P(A ∩ B) 表示 A 事件與 B事件同時發生的機率,也就是上圖中兩個圈圈重疊的地方。

因此,在 B 事件發生的前提下,A 事件發生的機率 P(A | B) 即為 B 事件發生的機率 P(B) 分之 A 與 B 事件同時發生的機率 P(A ∩ B)。

結語

在本篇文章中,我們介紹了機率 (Probability)、事件 (Event) 與隨機變數 (Random Variable) 的概念,並說明三種基本的機率類型:

  • Marginal Probability
  • Joint Probability
  • Conditional Probability

在下一篇文章中,我們會補充其他的基本觀念,更詳細的說明更詳細的說明 Joint Probability 與 Conditional Probability 的差別,以及機率中 AND 與 OR 的概念。