■ちょっとした疑問はここへ書いてね(はぁと)■
277 ：ご冗談でしょう？名無しさん：
>>276
あんまり詳しくないんだけど、確かこんな感じだったと思う↓
熱力学だと、例えば期待がどこか一箇所に集まってたりすると
エントロピーが低い状態にある。
で、エントロピーが高くなる方向に変化していって、
期待がどの場所にも均一に存在するようになる。
式にすると、系の取りうる状態数をωとすると、ωlogω
情報理論だと、同じ符号がたくさん並んでたり、
一定の規則性を持ってならんでてりするとエントロピーが低い。
逆にランダムに並んでるとエントロピーが高い。
しきにすると、各符号の出てくる割合をa_iとすると、Σ[i]a_i・log(a_i)
あんまり詳しくないんだけど、確かこんな感じだったと思う↓
熱力学だと、例えば期待がどこか一箇所に集まってたりすると
エントロピーが低い状態にある。
で、エントロピーが高くなる方向に変化していって、
期待がどの場所にも均一に存在するようになる。
式にすると、系の取りうる状態数をωとすると、ωlogω
情報理論だと、同じ符号がたくさん並んでたり、
一定の規則性を持ってならんでてりするとエントロピーが低い。
逆にランダムに並んでるとエントロピーが高い。
しきにすると、各符号の出てくる割合をa_iとすると、Σ[i]a_i・log(a_i)
|
|
|