情報理論・符号理論を語るスレ

無かったので立ててみました。

人生につかれています

シャノン賞

この賞は情報理論の創始者であるシャノンの業績を称えて
IEEEの情報理論ソサイエティが1973年に創設したもので
同ソサイエティ最高の賞であります。
第1回目の受賞者はシャノン先生です。
各年の受賞者は高々1名です。

食え

＞第1回目の受賞者はシャノン先生です。

知らなかった。

>>2
卒論ですか？

なんか語ろーぜってことでネタ振り．

LDPC符号ってどうなんやろうね．最近研究する人むっちゃ増えてるが…
俺にはいまいちすごい符号とは思えん．

Turing賞ってどうなんだろうね？
Shannon賞　＞　Turing賞　？

>>8 逆かと。

応用数学科で情報理論やってる人って将来何になるの？？

ユニバーサル符号とかターボ符号とか？

>11
そうだと思うんだが

産総研てどうよ？

津田さん

誰ですか？？？

津田さん有名じゃん

ﾏｯｸｽﾌﾟﾗﾝｸ研究所に移ってた

日本人でもらった人いる？> Shannon賞

ユニバーサル符号ってどんなの？

ハミングの必要条件の方は分かるのだが、
十分条件が分からん。
2ｔ-1ってどこから出てくるの？

誰か情報量の定義の導出の仕方教えてください
（1）生起確率pが大きければ大きいほど情報量は小さくなる、つまり情報量I（p）はpの単調減少関数である
（2）I（p1・p2）＝I(p1）+I（p2）

以上から情報量I（p）＝-ｋlog(p)

(2)からklog(p)が導けません・・・・

http://d.hatena.ne.jp/keyword/%A5%A8%A5%F3%A5%C8%A5%ED%A5%D4%A1%BC

それは導出って言わない希ガス

積分すればいいんじゃない？

どうでもいいから>>22でも読んどけｗ

宿題やってろ

>>21

【entropy】無秩序さや乱雑さの度合い。

1. 熱力学的には、可逆な過程で系に与えられた熱量を系の絶対温度で除したものが過程の前後のエントロピーの差と定義される。
2. 統計力学的には、系が取りうる状態の数の自然対数?にボルツマン定数をかけた量。
3. 情報科学的には情報量?と同義。単位はビットになる。

　たとえば情報量の計算では、確率 P で起こる事象に関する情報量は -log_2 Pビットと計算される。
確率 1/8 で起こることなら 3bit、など。稀な事象が起こったという情報ほど情報としての重要性が大きいと言うこと。
たとえば「今日は中央線が人身事故のため遅れています」という情報はよくあることなので情報量が低い。
しかし「阪神が日本シリーズで優勝した」という情報は稀なことなので情報量が多い。

なぜ -Log Pなのかというと、例えば「中央線が止まってて、阪神が日本シリーズで優勝した」という情報の情報量は
それぞれの情報量の和になるが、そういう事が起こる確率はこの場合二つの事象がほぼ独立と考えられるので、
中央線が止まる確率 Pa と阪神優勝の確率 Pb の積 Pa･Pb となる。
log(Pa･Pb)＝log Pa + log Pb となるので、Log ならばちゃんと二つの情報量の和になることが分かる。

自己解決しました
微分の定義を使って導出できました

情報理論やるんだったら今井の本なんかじゃなくて
Thomas M Coverの「Elements of Information Theory」
読んで, Fellerで確率論勉強しましょう.
符号ならGallagerやMcelliceやBlahutかな？

情報エントロピーに関して，とても分かりやすくてしっかり計算方法が書いてあるおすすめの本ってないですか？

Richard Blahutの"Principle and Practice of Information Theory"

今井秀樹の情報理論　いいとおもいます。
工学部ならまずこれで勉強して言いと思います。

定期age

なんて過疎ってんだ！＞＜俺、情報理論の質問したくてきたのに・・・。
今井秀樹の情報理論でさ、８７ｐの演習問題４．６（第４章）の(ｂ)で「１
」の確率が０．５９１６とか解答で書いてあるんだけどどう考えても０．３３３３・・・・としか，
思えないんだ。誰か俺を救ってくれ、１，０１，００１，０００１，０００００の状態図でも解けるって書いてあるけど、
これもかけないってか、もっと簡単な方法で、Ｐ(1)=ω0*Ｐs0(1)+ω1*Ｐs1(1)でいいんじゃないのか？
でもこれじゃ計算が合わないんだ、俺を救ってくれ＞＜教えてくれたらすかさずお礼を言いますから＞＜

・・・シーン・・・

問題を書き込みます．
誰か答えて下さい．
問１．ｎ個のメッセージが同格率で出現する情報源を符号化する場合，瞬時符号の平均符号長の限界（最短長）はどうのようになるのか？
また，その理由は？

問２，８３個のメッセージを３元の等長の文字列で表す場合，１メッセージを表す長さは？

問３，ハフマン符号の構成には”木”（ハフマン木という）の性質を利用しているが，符号化に木を利用する理由はなにか？

問４，情報源符号化，通信路符号化の本質的な違いはなにか答えなさい．

問５，符号長がＮ（＝２ｍ）のハミング符号のパリティ検査行列を書きなさい．

問６，線形符号においては，最小ハミング距離と最小ハミング重みが等しいことを証明しなさい．

すいません．．お願いします．

フルーエンシ情報理論ってどうよ？

>>36
ぷぎやーm9(*･ω･*)

>>18
果てしなくおそレスだが、嵩先生がシャノン賞を貰っておるぞ。

知らぬ間に今井さんの新しい本が出てた。
ttp://www.amazon.co.jp/exec/obidos/ASIN/433901835X/249-8423768-7497128

レビューヨロ

>>40の本と古い奴（「情報理論」）では具体的にどんな違いがあるのだろう。

>>42
おれも気になる。のでage

今井さんって退官したらしいね？

Reviewよろｗ

そんなことより
情報エントロピと熱エントロピとの変換式をはやく教えろ。

ある制約条件の下で情報エントロピーを最大化するような確率分布がボルツマン分布や正規分布になるというのは目からウロコが落ちますた

情報理論ってまだやってる人いるの？

>>44
退官して産総研情報セキュリティ研究センターのセンター長専任になったの?

>>48
○○情報量とかいうのを次々と考え出して延々と議論してる香具師は世界中いたる処に生息していそうであります。

ちょっと質問なんですがサイコロ振って
123456123456123456123456123456・・・
という規則性にしたがって目が出たとした場合エントロピーはいくつになりますか？
p(1)=1/6, p(2)=1/6, ・・・, p(6)=1/6
だからエントロピーは1？

全部確率１で指定できるんなら０じゃないの？

列が規則的だから確率1ってことですか？
規則的だと思わないでさいころふってて偶然上のような列が出たとしたらどうですか？
6面サイコロなら全部等確率の1/6ででるからエントロピーの式にあてはめると1だと思うんですが。

どこが間違ってるでしょう。

http://www.freepe.com/ii.cgi?95791602

情報理論、通信理論、符号理論分野の研究って難しいですか？
理論を研究するっていうのは難しいように感じるのですが。
学生が１年間とか２年間で論文を出せるのでしょうか？

>>50
たしかに

フルーエンシ情報理論

情報系と電気通信系ってどっちが就職いいですか？

電気通信系じゃないの？俺は情報系だけど。

情報系ってダメなんですか。
就職ってどういったところがあるんでしょうか。
研究職ってありますか？
研究職以外はどういったところにつけますか？
現在高校生で迷ってます。

SE

60さんへ
沢山あります。オラクル、マイクロソフト、防衛庁、ＮＴＴ、
ＭＩＴ世界へはばたけます。

可哀想だからいじめるなよｗ

>>57
寅一和男？

>>64
ええ、よくご存知ですね