ズサギコ教授の何でも講義（ギコ教授の何でも講義妄想編）

／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
|　補講。エントロピーという用語は複数の学問領域で使われています。
|　それぞれ定義は違いますが、全て「乱雑さ」を示すという点で共通します。
＼＿＿ 　＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
━━━∨━━━━━━━━━━━━━
　　　・熱力学におけるエントロピー
　　　・統計力学におけるエントロピー
　　　・情報理論におけるエントロピー
　 ,＿＿
　 iii■∧ 　 /
━ (,, ﾟДﾟ) / ━━━━━ ∧∧━━━━ ∧∧
　　 |　　 つ　∇　　　　　 （ﾟДﾟ,,）　　　　　（ﾟДﾟ,,）
　　 |　 ｜┌─┐　　　/⊂　　 ヽ　　　　/⊂　　ヽ
　〜|　 ｜｜□｜　　√￣ (_＿_ﾉ〜　√￣ (_＿_ﾉ〜
　　 ∪∪ ｜ 　 |　　||　　　━┳┛　 ||　　　━┳┛
￣￣￣￣｜ 　 | ＝＝＝＝∧＝＝＝＝＝＝＝＝＝＝
　　　　／￣￣￣￣￣￣￣　 ￣￣￣￣￣￣￣￣￣
　　 　 |　一口にエントロピーっても色々あるんだな。
　　　　＼＿＿＿_　　　　　　　　　　　 .　 ∧
　　　　　　　　　／￣￣￣￣￣￣￣￣￣　￣￣￣￣￣￣
　　　　　　 　 　|　で、乱雑さ、とは？
　　　　　　　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
|　そうですね…先程のギヌ教官（牛の骨氏）の○と●の例を使ってみましょう。
|　○になる確率が５０％と１００％の場合、どちらがごちゃごちゃしますか？
＼＿＿ 　＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
━━━∨━━━━━━━━━━━━━
　　　　　　 ５０％
　　　　　　　　　○●○○●○●●
　 ,＿＿　１００％
　 iii■∧　　/　○○○○○○○○
━ (,, ﾟДﾟ) / ━━━━━ ∧∧━━━━ ∧∧
　　 |　　 つ　∇　　　　　 （ﾟДﾟ,,）　　　　　（ﾟДﾟ,,）
　　 |　 ｜┌─┐　　　/⊂　　 ヽ　　　　/⊂　　ヽ
　〜|　 ｜｜□｜　　√￣ (_＿_ﾉ〜　√￣ (_＿_ﾉ〜
　　 ∪∪ ｜ 　 |　　||　　　━┳┛　 ||　　　━┳┛
￣￣￣￣｜ 　 | ＝＝＝＝∧＝＝＝＝＝＝＝＝＝＝
　　　　／￣￣￣￣￣￣￣　 ￣￣￣￣￣￣￣￣￣
　　 　 |　まあ、そりゃ上のほうがゴチャゴチャしてるわな。
　　　　＼＿＿＿_　　　　　　　　　　　 .　 ∧
　　　　　　　　　／￣￣￣￣￣￣￣￣￣　￣￣￣￣￣￣
　　　　　　 　 　|　つまり、白黒５０％ずつのほうが乱雑だと。
　　　　　　　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
|　見た目でどちらが乱雑かおおよそ見当はつきますが、その乱雑さを
|　具体的に数値化したものがエントロピーになります。
|　とりあえず式は書いておきますが、これは読み飛ばして結構です。
＼＿＿ 　＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
━━━∨━━━━━━━━━━━━━
　　情報理論におけるエントロピーの計算式

　　　　　Σ -p(x) log2 p(x)　　　起こりうる全ての確率の
　　　　x∈X　　　　　　　　　　　　- (確率) log2 (確率) を足しあわせる
　　　　　　　　　　　　　　　　　　　　　　　　　　※　log2 ： ２を底とする対数
　　たとえば白が５０％、黒が５０％なら
　　　　　- (白の確率)log2(白の確率) - (黒の確率)log2(黒の確率)
　 ,＿＿　　　　　= - (1/2)log2(1/2) - (1/2)log2(1/2)
　 iii■∧ 　 /　　= - (1/2)×(-1) - (1/2)×(-1) = 1　エントロピーは1
━ (,, ﾟДﾟ) / ━━━━━ ∧∧━━━━ ∧∧
　　 |　　 つ　∇　　　　　 （ﾟДﾟ;;）　　　　　（ﾟДﾟ;;）
　　 |　 ｜┌─┐　　　/⊂　　 ヽ　　　　/⊂　　ヽ
　〜|　 ｜｜□｜　　√￣ (_＿_ﾉ〜　√￣ (_＿_ﾉ〜
　　 ∪∪ ｜ 　 |　　||　　　━┳┛　 ||　　　━┳┛
￣￣￣￣｜ 　 | ＝＝＝＝∧＝＝＝＝＝＝＝＝＝＝
　　　　／￣￣￣￣￣￣￣　 ￣￣￣￣￣￣￣￣￣
　　 　 |　…えっと。
　　　　＼＿＿＿_　　　　　　　　　　　 .　 ∧
　　　　　　　　　／￣￣￣￣￣￣￣￣￣　￣￣￣￣￣￣
　　　　　　 　 　|　まあ読み飛ばしていいのなら飛ばすか。
　　　　　　　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
|　ともかく、エントロピーは乱雑であればあるほど大きくなります。
＼＿＿ 　＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
━━━∨━━━━━━━━━━━━━
　　　　　 白５０％・黒５０％　→　エントロピー = 1

　 ,＿＿　白１００％　→　エントロピー = 0
　 iii■∧ 　 /　　　( - 1 log2 1 = 0 )
━ (,, ﾟДﾟ) / ━━━━━ ∧∧━━━━ ∧∧
　　 |　　 つ　∇　　　　　 （ﾟДﾟ,,）　　　　　（ﾟДﾟ,,）
　　 |　 ｜┌─┐　　　/⊂　　 ヽ　　　　/⊂　　ヽ
　〜|　 ｜｜□｜　　√￣ (_＿_ﾉ〜　√￣ (_＿_ﾉ〜
　　 ∪∪ ｜ 　 |　　||　　　━┳┛　 ||　　　━┳┛
￣￣￣￣｜ 　 | ＝＝＝＝∧＝＝＝＝＝＝＝＝＝＝
　　　　／￣￣￣￣￣￣￣　 ￣￣￣￣￣￣￣￣￣
　　 　 |　エントロピーが大きいほど乱雑だと。
　　　　＼＿＿＿_　　　　　　　　　　　 .　 ∧
　　　　　　　　　／￣￣￣￣￣￣￣￣￣　￣￣￣￣￣￣
　　　　　　 　 　|　わかったようなわからないような。
　　　　　　　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
|　今回は補講ということで課題は科しません。それでは。
＼＿＿ 　＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
━━━∨━━━━━━━━━━━━━

　　　　　　　オチもとくになし。
　 ,＿＿
　 iii■∧ 　 /
━ (,, ﾟДﾟ) / ━━━━━ ∧∧━━━━ ∧∧
　　 |　　 つ　∇　　　　　 （ﾟДﾟ,,）　　　　　（ﾟДﾟ,,）
　　 |　 ｜┌─┐　　　/⊂　　 ヽ　　　　/⊂　　ヽ
　〜|　 ｜｜□｜　　√￣ (_＿_ﾉ〜　√￣ (_＿_ﾉ〜
　　 ∪∪ ｜ 　 |　　||　　　━┳┛　 ||　　　━┳┛
￣￣￣￣｜ 　 | ＝＝＝＝∧＝＝＝＝＝＝＝＝＝＝
　　　　／￣￣￣￣￣￣￣　 ￣￣￣￣￣￣￣￣￣
　　 　 |　コロッケオチにしないんだな、今回は。
　　　　＼＿＿＿_　　　　　　　　　　　 .　 ∧
　　　　　　　　　／￣￣￣￣￣￣￣￣￣　￣￣￣￣￣￣
　　　　　　 　 　|　単にネタが思いつかないだけだろ。
　　　　　　　　　＼＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿

／￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣￣
|　今回の要点。
＼＿＿ 　＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿＿
━━━∨━━━━━━━━━━━━━

　　　　・エントロピーは、よりわかりやすく言えば「乱雑さ」
　　　　・エントロピーは大きければ大きいほど乱雑である
　 ,＿＿
　 iii■∧ 　 /
━ (,, ﾟДﾟ) / ━━━━━━━━━━━━
　　 |　　 つ　∇
　　 |　 ｜┌─┐　　　/　　　　　　　　 /
　〜|　 ｜｜□｜　　√￣　　　　　　 √￣
　　 ∪∪ ｜ 　 |　　||　　　━┳┛　 ||　　　━┳┛
￣￣￣￣｜ 　 | ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝