1.4. Probability and Distribution Review

1.4. Probability and Distribution Review

이 글은 공부를 위해 적는 것입니다.
모든 저작권은 KAIST 문일철 교수님과 Edwith에 있습니다.
강좌 URL : https://www.edwith.org/machinelearning1_17/lecture/10577/
PDF는 위 강좌 URL을 통해 무료로 다운받을 수 있습니다.
Image 파일 아래의 글들은 강의를 토대로 작성되었으며 저의 생각이 약간 감미된 경우 또한 있습니다.

배운점

• Probability
• Conditional Probability
• Probability Distribution
• Normal Distribution : Continuous numerical value
• Beta Distribution : Continuous numerical value [0,1]
• Binomial Distribution : Discrete value
• Multinomial Distribution : Generalization of the Binomial Distribution

문제를 해결하기위해 Probability, Distribution, 다른 수학적 기법들을 알아야한다.

$P(E) \in R,\quad P(E) \ge0 \quad P(\Omega)=1$
$P(E_1 \cup E_2 \cup \cdots) = \sum_{i=1}^\infty P(E_i)$ when a sequence of mutually exclusive
함수는 mapping
Subsequent Characteristics
if $A\subseteq B$ then $P(A) \le P(B) \quad P(\phi)=0 \quad 0\le P(E) \le 1$
$P(A\cup B) = P(A) + P(B) - P(A\cap B) \quad P(E^c) = 1 - P(E)$

Conditional Probability 조건부확률
Condition Scope 범주를 주는 것 $P(A|B) = {P(A \cap B) \over P(B)}$
$$P(B|A) = {P(A|B)P(B) \over P(A)} \quad Posterior = {Likelihood \times Prior Knowledge \over Normalizing Constant}$$
$$P(A) = \sum_n P(A|B_n)P(B_n)$$

P라는 Mapping 자체에 대해 알아야함
대표적 정의 Probability Distribution : assing 해주기 위한 것
A function mapping an event to a probability
$f(x) = {e^{-{1 \over 2}x^2} \over \sqrt{2\pi}}$
PDF : Probability Density Function = f(x)
CDF : Cumulative Distribution Function = $\int_{-\infty}^x f(x)\, dx$

1. 함수의 공식을 정하고 Parameter를 바꾸는 방법 -> 모양 조정
2. 공식 자체를 바꾸는 것 => 이름을 준다. Normal Dist, Poisson Dist
Normal Distribution : Continuous numerical Value
$f(x; \mu, \sigma) = {1\over {\sigma\sqrt{2\pi}}}e^{-{(x-\mu)^2 \over 2\sigma^2}}$
Notation : $N(\mu, \sigma^2)$
Mean : $\mu$
Variance : $\sigma^2$
long & tail이 존재 0이 아닌 양쪽의 끝 부분

Beta Distribution : Continuous numerical value [0,1]
long & tail이 없고 정해진 구간에만 값이 존재
범위가 딱 떨어지는 확률일 때 Beta Distribution이 적합
$$f(\theta; \alpha,\beta) = {\theta^{\alpha-1}(1-\theta)^{\beta-1} \over B(\alpha,\beta)}, B(\alpha, \beta)={\Gamma(\alpha)\Gamma(\beta) \over \Gamma(\alpha+\beta)}$$
Notation : Beta($\alpha,\beta$)
Mean : ${\alpha \over \alpha+\beta}$
Variance : ${\alpha\beta \over (\alpha+\beta)^2(\alpha+\beta+1)}$

Binomial Distribution : Discrete values
$f(\theta;n,p) = {n \choose k}p^k(1-p)^{n-k}, {n \choose k} = {n! \over k!(n-k)!}$
Notation : B(n,p)
Mean : np
Variance : np(1-p)
parameter : n, p

Multinomial Distribution
The Generalization of the binomial distribution
ex) 앞, 뒤, 좌, 우 등과 같이 2개의 선택지 이상의 선택시
ABCDEF ... Z 중 하나를 선택
$f(x_1, \cdots,x_k;n,p_1,\cdots,p_k)={n! \over x_1!\cdots x_k!}p_1^{x_1} \cdots p_k^{x_k}$
Notation : $Mult(P),P=$
Mean : $E(x_i) = np_i$
Variance : $Var(x_i) = np_i(1-p_i)$