若葉の技術メモ

コンピュータやプログラミングに関して調べたり、取り組んだりしたことをまとめる若葉のノート📓。コンピュータ・プログラミング初めてって方も一緒に勉強していきましょう!初心は大事!いつでも若葉☘のような意気込みで!

  • No.   

若葉の技術メモ

コンピュータやプログラミング・数理に関して調べたり、取り組んだりしたことをまとめる若葉のノート。

コンピュータ・プログラミング・数理が初めてって方も一緒に勉強していきましょう!

初心は大事!いつでも若葉☘のような意気込みで!

【わかりやすい確率の基礎】平均と分散

平均。

日本人の身長の平均とか、学校のテストの平均点とか、ありますよね!

「あーあれか、全部足して、その足した数で割るやつ」

そうです!それです!

ですが、それはあくまで標本平均と呼ばれる平均でいわゆる確率論における平均とは異なります。

ということで、今回の記事では「確率」を意識して平均・分散とは何なのかについて書きたいと思います!


はじめに

まずは確率変数を簡単に準備しましょう(確率変数については長くなってしまうので詳しくは違う記事で執筆したいと思います💦)。

今、例としてサイコロの目を考えます!

このサイコロの目は不正が特にされていなければ投げ続けると1から6までの目がおよそ均等な割合で出るはずです。 例えば、60回投げると約10回ずつくらい1から6の目が出てるだろうし、600回投げると約100回ずつくらい1から6の目が出るはずです。 このように値に対してある値を取る割合、すなわち確率が定まっている”ランダムな変数”を確率変数といいます

もう少し数学っぽい言葉で表すならば、確率変数 Xとは、その変数がある値を取る確率


P(X=x), x\in \{ X\mbox{が取りうる値}\}

が定まっているもののことをいいます。そして、この Pのことを確率分布といいます。

例えば、先ほどの公平なサイコロの目の場合だとこんな感じの確率分布になります。

x
 P(X=x) 1/6 1/6 1/6 1/6 1/6 1/6

ただし、ここまでは離散的な値しか取らない場合に限ります

身長など連続的な値の場合は少し話が難しくなりますが、基本的には確率変数 Xとは、その変数がある区間に入る確率


P(a \leq X \leq b), a,b\in \mathbb{R}

が定まっているものと考えてもらえればここではOKです。例えば、身長などの分布を表すガウス分布では


P(a \leq X \leq b) = \int_{a}^{b} \frac{1}{\sqrt{2\pi \sigma^{2}}} \exp \left( -\frac{(x-\mu)^{2}}{2\sigma^{2}}\right) dx

などと表されます。そして、この区間に入る確率のうち


p(x) = \frac{d}{dx} P(X \leq x) := \lim _{\Delta x\rightarrow 0}\frac{P(x \leq X \leq x+\Delta x)}{\Delta x}

つまり、区間に入る確率をその区間の大きさで割ったものの極限が計算できるとき、 p確率密度といいます。先ほどのガウス分布の場合では


p(x)= \frac{1}{\sqrt{2\pi \sigma^{2}}} \exp \left( -\frac{(x-\mu)^{2}}{2\sigma^{2}}\right)

となります。

さて、お疲れ様です!ここまでで準備は完了です!

平均と分散の定義

というわけで、ここからは平均分散を定義していきましょう!

平均

今、離散確率変数 Xの確率分布を Pとしましょう。

このとき、平均は


\mathbb{E}[X] := \sum _{x} x P(X=x)

と定義されます。すなわち、取る値とその値を取る確率を掛け合わせたものを足したものを平均(もしくは期待値)というのです。

例えば、先ほどのサイコロの例では


1\times \frac{1}{6} +  2\times \frac{1}{6} + 3\times \frac{1}{6} + 4\times \frac{1}{6} + 5\times \frac{1}{6} + 6\times \frac{1}{6}=3.5

がサイコロの目の平均となるわけです。

連続確率変数 Xの場合は少し異なります。こちらの場合は確率密度 pを使って


\mathbb{E}[X] := \int xp(x)dx

となります。すなわち、取る値とその値の微小区間に入る確率 p(x)dxをかけ合わせたものを全て足したものを平均(もしくは期待値)というのです。

また、確率変数自体の平均ではなく、確率変数を何か変換した f(X)の平均、例えば f(X)=X^{2}などの平均は離散の場合


\mathbb{E}[f(X)] = \sum _{x} f(x)P(X=x)

となり、連続の場合、


\mathbb{E}[f(X)] = \int f(x)p(x)dx

となります。

すなわち、確率論における平均とは、取る値に対して、その値が生じる頻度を掛けて、足し合わせたもののことをいうのです!

分散

分散も実は平均の範疇で考えることができます。平均の際と同じ設定のもと、離散確率変数の分散は


\mathbb{V}[X] = \mathbb{E}[(X-\mathbb{E}[X])] = \sum_{x} (x-\mathbb{E}[X])^{2} P(X=x)

です。また、連続確率変数も同様で


\mathbb{V}[X] = \mathbb{E}[(X-\mathbb{E}[X])] = \int (x-\mathbb{E}[X])^{2} p(x)dx

となります。すなわち、平均からの差を二乗したものの平均が分散なのです。

標準偏差

ちなみに分散のルートを取ったものを標準偏差といいます。


\sigma [X] = \sqrt{\mathbb{V}[X]}

これは平均の周りでばらつく平均の距離のようなものを表していると考えてもらえればOKです。

具体例

例としてコイン投げで考えてみましょう。今、裏に0点、表に1点と書かれたコインを投げることを考えましょう。

特にこのコインには細工がしてあって、裏が出る確率が3/4、表が出る確率が1/4としましょう(点数が出にくいコイン💦)。

  • コインから得られる点数の平均

    
0\times \frac{3}{4} + 1\times \frac{1}{4} = \frac{1}{4}

    つまり、0.25点がこのコインから得られる平均の点数となります。

  • コインから得られる点数の分散

    
(0-0.25)^{2}\times \frac{3}{4} + (1-0.25)^{2} \times \frac{1}{4} = 0.1875

    となります。

平均と分散のおもしろい性質

さて、ここでは平均と分散のおもしろい性質に触れていきましょう!

分散を平均で表すと?

分散は実は異なる式で表すことができます。それは


\mathbb{V}[X] = \mathbb{E}[X^{2}] - \mathbb{E}[X]^{2}

です。すなわち、確率変数の二乗の平均から確率変数の平均の二乗を差っ引くと分散になるという性質です。

平均からの距離が大きくなる確率は?

今、確率変数 Xが平均 \mu、分散 \sigma^{2}を持つとします。このとき、平均からの距離 |X-\mu| t\sigmaより大きくなる確率は tで上から抑えることができます


P(|X-\mu|\geq t \sigma) \leq \frac{1}{t^{2}}

これはチェビシェフの不等式と呼ばれる性質です。これをもう少し書き換えてみると、


P(|X-\mu| \lt t\sigma )\geq 1-\frac{1}{t^{2}}

となります。すなわち、

f:id:wakaba-mafin:20181120005650j:plain

区間に入る確率(色付きの面積)が 1-1/t^2以上であることになります。

上に凸な関数の平均は?

今、上に凸な関数 fを考えましょう。上に凸な関数とはそのグラフ上のどの二点をとって線分を引いても必ずグラフの下側に来る関数のことです。

f:id:wakaba-mafin:20181120005708j:plain

こんな感じ。

そして、この凸な関数に対しては


\mathbb{E}[f(X)] \leq f(\mathbb{E}[X])

が成り立ちます。すなわち、凸な関数の平均は凸な関数に平均を与えたものよりも小さいという性質です。 これはイェンセンの不等式と呼ばれるものです。

まとめ

さて、今回の記事では確率論的な平均・分散とは何なのか、簡単にご紹介しました。

普段用いている平均、全部足して、足した個数で割るというのは実は統計的な意味が入ってくるので実は確率的な平均とはまた意味が変わってきます。 そして、その確率的な平均とは確率分布を元にして定義される量です。 そのもとで平均・分散のおもしろい3つの性質

  1. 分散は二乗の平均から平均の二乗を引いたもの

  2. 平均から標準偏差の何倍くらい離れるかの確率はその何倍の数によって上から抑えることができる(チェビシェフの不等式)

  3. 上に凸な関数の平均はその関数に平均を与えた数以下である(イェンセンの不等式)

をご紹介しました!

今回の記事で平均・分散のおもしろさに触れていただければ幸いです!

間違いのご指摘やご意見等ございましたら、ぜひコメントのほどよろしくお願いします!