機率基本觀念：Joint、Marginal 與 Conditional

source: Pixabay

前言 & 概述

「機率」(Probability) 是機器學習的基礎，想精通機器學習演算法，必須先對機率的概念有足夠多的了解。然而，網路上許多機率觀念的介紹，往往要求某些先備知識，使得初學者不易入門。

在本篇文章中，我們假設讀者沒有任何的先備知識，將從最基本的「表示法」(Notation) 開始談起，再介紹 3 種不同的機率類型。

機率的表示法 (Notation)

「機率」的概念通常伴隨著某一個「事件」。這裡的「事件」(Event) 不是什麼博大精深的概念，僅僅就是指描述某一件「事情」。舉例來說，「今天的天氣是雨天」、「擲一個骰子得到點數為 3」或是「從球袋中抽出一顆紅球」都可以理解為「事件」。

我們喜歡透過機率來描述這個事件發生的可能性。以上面提到的例子而言，我們可能會說「『今天的天氣是雨天』的機率為 50%」、「『擲一個骰子得到點數為 3』的機率為 1/6」、「『從球袋中抽出一顆紅球』的機率為百分之三十」。

事件的結果往往不只有一個，且每一個結果都有發生的可能。在數學上，我們會透過一個變數來表示事件可能的結果。我們之所以透過機率來描述事件(結果)發生的可能性，正是因為我們不確定哪一個事件(結果)會發生。我們之所以無法確定，是因為哪一個結果會發生本身帶有隨機性。因此，在數學上描述事件的變數又稱為「隨機變數」(Random Variable)。

透過「擲骰子」的例子說明隨機變數的概念。我們都知道「擲骰子」的結果可能是 1、2、3、4、5、6 其中一個結果，哪一個結果會發生是帶有隨機性的，所以我們無法知道。在數學上，我們可以定義一個隨機變數 X ={1, 2, 3, 4, 5, 6} 來表示擲骰子的結果。

簡單來說，我可以透過「言語」說明擲骰子的結果：

「擲骰子的結果為『1、2、3、4、5、6 』」
「擲骰子的結果為『1』的機率」

也可以透過「數學」表示擲骰子的結果：

X = {1, 2, 3, 4, 5, 6}
P(X=1)

從上面我們發現，透過隨機變數「X」可以簡單描述一個事件的所有結果；透過「P(X=1)」可以簡單描述一個事件(結果)發生的機率 (P 表示 Probability)。

三種基本的機率類型

了解隨機變數與機率的數學表示法後，緊接著學習三種基本的機率類型，分別為：邊際機率 (Marginal Probability)、聯合機率 (Joint Probability) 與條件機率 (Conditional Probability)。

• Marginal Probability
  指的是描述「某一個」事件發生的機率。舉例來說：A 是一個事件，則此事件發生的機率為 P(A)，P(A) 就是 Marginal Probability。以撲克牌的例子來說，假設 A =「從一副撲克牌中抽出一張 6」，則 P(A) = 4/52 (因為一副撲克牌有 52 張，其中包含 4 張 6)。
• Joint Probability
  指的是「兩個或多個」事件同時發生的機率。A 與 B 是兩個不同的事件，A 與 B 同時發生的機率為 P(A ∩ B)。「∩」符號稱為「交集」，就是指兩個都要的意思。以撲克牌的例子來說，假設 A =「從一副撲克牌中抽出一張 6」且 B =「從一副撲克牌中抽出一張紅色」，則 P(A ∩ B) = 2/52 (因為一副撲克牌有 52 張，同時是 6 又是紅色的有 2 張)。
• Conditional Probability
  指的是某一個事件發生的「前提」之下，另外一個事件發生的機率。例如，A 與 B 是兩個不的事件，在 B 事件發生的前提下，A 事件發生的機率為 P(A | B)。以撲克牌的例子來說，B = 「抽出紅色的卡牌」，A = 「抽出數字 4 的卡牌」，則 P(A | B) = 2/26 (因為已經先抽出 26 張紅色的卡牌，其中包含兩張數字 4)。

三種機率的結合 — 乘法法則

了解完三種的基本的機率後，接著介紹機率中的「乘法法則」(Multiplication Rule)。

機率中的乘法法則

由上圖可以發現，乘法法則將我們前面所介紹的三種機率類型整合在一起！從下圖的文氏圖，我們可以更加了解公式的含義。

透過文氏圖了解乘法法則

P(B) 表示 B 事件發生的機率，也就是上圖的 B 圓圈；P(A) 表示 A 事件發生的機率，也就是上圖的 A 圓圈。P(A ∩ B) 表示 A 事件與 Ｂ事件同時發生的機率，也就是上圖中兩個圈圈重疊的地方。

因此，在 B 事件發生的前提下，A 事件發生的機率 P(A | B) 即為 B 事件發生的機率 P(B) 分之 A 與 B 事件同時發生的機率 P(A ∩ B)。

結語

在本篇文章中，我們介紹了機率 (Probability)、事件 (Event) 與隨機變數 (Random Variable) 的概念，並說明三種基本的機率類型：

• Marginal Probability
• Joint Probability
• Conditional Probability

在下一篇文章中，我們會補充其他的基本觀念，更詳細的說明更詳細的說明 Joint Probability 與 Conditional Probability 的差別，以及機率中 AND 與 OR 的概念。