ニューラルネットワークについて

BPとかの階層型の話が多いけど、自己組織化マップやってる人いますか？
自分は今自己組織化マップの方やってるんですけど、結構面白いです。

今時勉強するならRNNにしとけ
SOMやBPじゃ論文は書けん

ほ

NNって点推定だけ？
誤差を考慮した区間推定はできる？

初めてこのスレ来ました。
誤差を考慮した信頼区間を求めるというのは、「回帰関数からどれくらいばらつくか（分散）」の話か「パラメータの信頼区間」の話かどちらでしょうか。

前者は、サンプル数が多ければ、誤差逆伝播法が収束したら、サンプル分散を求めればだいたい問題ないと思います。
後者は、ニューロンのパラメータの事後分布を推定することは難しいですが、誤差逆伝播法が収束したら、回帰係数に関してのみ信頼区間を求めることは簡単だと思います。

あと誤差逆伝播法の収束が遅い問題は準ニュートン法などを用いればだいぶましになります。

唐突に、ＡＩやってみたくなったんで、ニューラルネットワークについてまとめてみた。 
突っ込みがあったらよろしくお願いしたい。 

http://www.ff.iij4u.or.jp/~ranmaru/ai/ai_memo01.html 

このあと、学習についても勉強したいのだが、わからないことはここで聞いてもいいかな？ 
今現在だと、こんなのでシステム組んでどうやって学習させろと・・・・っていう感じ 
「学習とニューラルネットワーク」って森北出版からの本を参考にしながら勉強中。 

昨日まとめたところまで、実装してみた。
つっこみよろしくお願いします。

http://www.ff.iij4u.or.jp/~ranmaru/ai/ai_memo_index.html

ところで、学習ってやつは、「ニューロン」がおこなうのか？
それとも「ニューロン」以外の何かが、「ニューロン」に操作を行うことで行うのか？
この辺がよくわかってない、誰か教えて。

　　　　　　　　　　 　 -‐ '´￣￣｀ヽ､
　　 　 　 　 　 　 ／　／" ｀ヽ ヽ　　＼
　　　　　　　　　//, '/　　　　 ヽﾊ 　､　ヽ
　　　　　　　　 〃 {_{　　　 　　　ﾘ| ｌ.│ i| 　　にゅろーん
　　　　　　　　 ﾚ!小ｌノ　　　 ｀ヽ 从　|、i|　　
　　　　　　　 　 ヽ|l　●　　　●　 |　.|ﾉ│　 　ちゅるやさん
　 　 　 　　　　　 |ﾍ⊃ ､_,､_,⊂⊃j 　|　, |.　
　　　　　　　　　　|　/⌒l,､ __,　イァト |/ |　
.　　　　　　　　　 | /　 /::|三/::/／　 ヽ |
　　　　　　　　　 | |　　l ヾ∨:::/ ヒ::::彡, |

一般的に人がプログラムするニューラルネットワークは学習するものであって、
思考するものではない。そのぐらいワカレ！！！

学習したことは、単に情報をコピーするのと同じ。
つまり学習のさせ方が重要であって、学習で何を与えるかが重要ってことだ。
その構築に意味があるわけでＮＮの仕組みには何も意味はない。
情報データベースの構築を学習によって行うのが今のＮＮであり、
それは自律思考するモデルではないのは明らかだろ。ワロス。

>>471
えー？学習とコピーっておなじなの？

ニューラルネットワークにおける学習って、結合加重と閾値の変更を指すはずだよね。
この結合加重と閾値の変更の仕方はネットワーク構造に依存する面があるんで
ＮＮの仕組みそのものもとっても重要だよ。

ＮＮの本分はある種のＤＢ構築じゃなくて
同じ構造での違う論理回路の構築だとおもうよ

自律思考っていうのがなにを指してるかわからないけど
教師なしでの学習モデルっていみなら、ＮＮでもできるとおもうよ

Nuwronオブジェクト
setShikiiti(x)メソッド

学習はコピーと言えばコピーだけど、汎化を目的にモデルによる表現に圧縮するんだよね。
まんまコピーするのが最近傍法だけどこれは次元が上がると汎化能力が急速に低下しちゃう。
これに対してニューラルネットは次元上がっても割りと性能が良かったりしたから、カーネル法とか混合分布が活発に研究されてきたわけです。

NN法は因子を人が与えて、重みを与えますが、因子を抽出することって可能でしょうか？
また『因子を抽出する』ってNN法の分野では何と呼ばれていますか？特徴量抽出？

単に変数を選択するのは線形回帰の変数選択（モデル選択）で、ニューラルネットはパラメトリックな基底関数を、学習後の基底関数の出力が予測に有効になるように学習します。
なので学習後の基底関数の出力は、予測に有効な変数（特徴量）になってます。理想的には。
特徴量抽出（変数選択）ではBoostingと呼ばれる手法も最近はよく使われてるようです。

なるほどフーリエ級数を使ったやり方なのですね。
ありがとうございました。人が因子を与えずに、勝手に因子を見つけてくれることはできないですか？

ある程度制限した枠の中でランダムに因子を作りながら、情報量規準やクロスバリデーションを用いて有効な因子を探索する研究もあります。

ただ、因子の作り方を決めると作り出される因子集合が定まるので、有効な因子を自動的に作り出すというのは作り出された因子集合から有効な因子を選択することと等価です。
非常に多くの因子の候補から有限の学習サンプルに対して有効に見える因子を選ぶ場合、たとえ情報量規準やクロスバリデーションを用いたとしても、学習サンプル上で「たまたま」うまくいく因子が選ばれる可能性が出てきてしまいます。
なので、どうしても統計というのはモデリング、すなわち想定する因子集合の制限というのが必要なんです。

先ほど述べた「ある程度制限した枠の中でランダムに因子を作りながら有効な因子を探索する手法」も、「制限した枠」というのが「因子をこういう風に作った集合の中によい因子があるだろう」というモデリングになっています。

形の輪郭を認識するには、2値化して形状データを、3層ニューラルネットに学習させればよいのは理解しています。

では、軍隊の配置のパターン(軍隊の種類は5種類とする)を理解するには何層必要なのでしょうか？
(5種類なので2値化できない場合)

５値化すればおｋ

三角形の図形を(回転や拡大縮小はすでに完了し終えて)認識したときに、その形から言葉『三角形』を出力する方法は可能でしょうか？
入力は画像なので複数ですが、出力は1つです。

>>481
出力が閾値超えたら発声ルーチン呼ぶのじゃだめなのか？
まさかＮＮで喋らすわけじゃないよな？

>>482
ありがとうございます。
複数の入力(図形)に対して、単数の出力(言葉)が可能なのかということと、
図形→言葉とまったく違うものを教師付き学習して『関連付ける』ことが可能なのかを知りたかったのです。

重回帰分析において、よくにた説明変数を使って分析すると多重共線性が発生しますが、
NNではよく似た入力信号を入れても不具合は発生しないのでしょうか？

線形回帰で多重共線性が問題になるのは、変数同士が似ているほど
一つのサンプルから得られる情報が少なくなるにも関わらず、
学習モデルは変数と同じ数のパラメータを持っているために、
学習サンプルが多くないとおかしな推定になってしまうことです。

同じ理屈はニューラルネットにおいても成り立ちます。

変数を選択せずにモデルの自由度を抑える方法として、
正則化と呼ばれる手法が線形回帰でもニューラルネットでも用いられます。

＞＞468　がんばれ！って続いてるかな？

ただはたしてANDやORを接続で実現するコネクショニズムが知能に繋がるんだろうか
甚だ疑問のような気もする

でもプリミティブな生物ってルールベースで動いてるように見えるよね。
ルールベースのオバケみたいのが知能、としたら知能につながりそうだけど、意識の有無となると似非科学まっしぐらですね。

意識は有り無しの二値ではなくて、どれくらい有るかの程度問題だと思う。
意識の上限はないけど、意識の最小単位はand一個と考えても構わないと思う。

一般的に、意識の定義が倫理・道徳・宗教的な思想に偏りすぎ。
健全なヒトの意識レベル以上を意識と定義するのは曖昧で傲慢すぎると思う。
では意識の下限はどこだよ？って話なんだが。

知能や心は、あくまでも第三者からみてのこと。
実は人間は単なる法則に基づいて動いているだけ。
その法則が環境によって学習され人によって個々にルールが若干違い、複雑なだけ。

問題になってるのはそんな誰でも知ってるような大づかみの話じゃなく
どうやってその個別の違いが出来るようなルール作りをしているかの
処理の流れでしょ

8x8の0と1で表現されたA-Zの文字認識する場合だと
入力層64個（8x8のパターン）x中間層(30ぐらい？)x出力層(26文字種を0-1で返す)
みたいな理解でＯＫ？宿題やらないといけないのですが中間層の数はもう
感覚で決めるしかないのかなぁ？

適切な中間層のユニット数は学習データの数にもよるし感覚的にも決めるのは難しいので、クロスバリデーションで決めたら？

>>468です
お勉強、すすんでません。

パーセプトロンとやらからはじめようと思ったのですが
理解できない部分があって、助けてくれるとうれしいです。

加重や閾値を変更決定するのに
結果を観測しないといけないじゃないですか
ニューロンに結果を受け取るところって無いですよね
だとすると、外部の何かがニューロンに指示を出してるってことでしょうかね？

それとも、ニューロンそのものが、何らかの方法で
結果の賛否を受け取る（あるいは判断）できるってことでしょうか？
>>468のモデルだと、この当たりがさっぱりですね

このへん解説してるサイトか本でもいいので、教えてください。

>>494
まったくの想像で書くんだけど
シナプスが出力側のニューロンなりから何か信号をもらうのかなという気がする
神経伝達物質の量とか種類とか、再利用される量が違うとか

まぁ、そんなに簡単に、答えがもらえるとは考えてませんが
生物学的なモデルでなくてもいいんです
オレの考え書きますんで採点してくれるだけでもいいです。
いま読んでる本によると、ニューロンに対する入力部分は
樹状突起の部分のみってことなんで、シナプスから情報が逆流してるわけではないようです

学習を行うときには、結果が観測できないと、自分が環境に適応してるかがわからない
何らかのほうほうで、ニューロンにパラメータの変更か維持を伝えないといけない

パーセプトロン的な方法だと、ニューロンそのものが変更ＯＲ維持を判断してるのではなく
それ以外に、ニューロンを制御する存在が必要な気がします。
特に単純パーセプトロンの場合だと結果の取得に教師信号・・・つまり答えを知っている必要があるようです。

このとき、学習を制御するものはニューロンに入力された値も監視してなくてはいけない

解決策としては・・・
１、ニューロンに教師信号を入力できる口を設ける
２、全部を監視してるシステムをつくる
ってあたりだとおもう。
オレ的には１がいいんじゃないかと考える。

もちろん、単純パーセプトロンだけじゃ、できることが限られすぎておもしろくないので
多層パーセプトロンとかもやってみたいし
自己組織化マップとかもやってみたい

ニューラルネットワークとは方向性が違うようだけど
強化学習やら遺伝的アルゴリズムにも興味が有るので
そっちとごちゃ混ぜにできたら面白いとも考えてる

今のところの、オレの学習予定としては
単純パーセプトロンの実装→多層パーセプトロンの実装→なんか教師無し学習モデルの実装
みたいな感じでかんがえてる
なんか、初心者向けの教師無し学習モデルがあったら、名前だけでも教えてください

ってわけで、メモ更新してみた
突っ込みよろしくお願いします。

http://www.ff.iij4u.or.jp/~ranmaru/ai/ai_memo_index.html

多層パーセプトロンを実装してみた。
ソースとドキュメントあげておきます

授業で教師あり学習について調べなければいけないのですがなかなか例が見つかりません。
教師あり学習とは具体的にどんな例がありますか。
ググっても見つかりませんでした。

教師ありなら、ニューラルネットワークだとパーセプトロンが具体例になる。
簡単にいうと、回答を示して学習させる方法全般が教師あり学習になる。

パーセプトロンについてはオレのメモでもいいが、
http://www-ailab.elcom.nitech.ac.jp/lecture/neuro/menu.html
http://ipr20.cs.ehime-u.ac.jp/column/neural/index.html
が参考になる

オレは教師無し学習の実装がやりたいので詳しく教えてくれるところを探してる。
自己組織化マップとか・・・・概要じゃなく詳細情報を、みつけたら、おしえてくれ

教師あり学習は入力に対する正解を推定するタスクで、
たとえば最小二乗法による関数近似（正解の関数を推定）とか、
SVMによる判別（正解の判別を推定）が上げられる。

教師なし学習の代表例はちょっと言葉が難しいかもしれないけど分布推定。
簡単な例はデータの平均と分散を求めて正規分布をあてはめるのが分布推定。
低次元化とか可視化も教師なし学習。

自己組織化マップは低次元多様体上の少数のベクトル（量子化ベクトル）で分布を近似するもの。
多層パーセプトロンも自己組織化マップも、もはやだいぶ古い技術だけど、
遊びながら勉強する分にはいいかも。

教師あり学習の具体例は、手書き文字認識が有名じゃない？
実際の製品で使われている手書き文字認識では学習は使われてないかもだけど、
教師あり学習のタスクとしてよく使われている気がする。

今自己組織化マップ勉強してるけど、成長バッチSOMのアルゴリズムが分からなくて詰み中
どうしようかねぇ

ニューラルネットで学習が終わった後、
それぞれの重みを見てこの要素が分類に大きく効いてる、
などを見る基準・方法はあるのでしょうか。
中間層が少なければ、なんとなく分かる気もしますが
多くなってくるともうどの繋がりを見ればいいのやら分からなくなってます。

適当に重み減衰かけて学習すればいらない重みは小さくなるので、
中間ユニットから出力への重みを見ればどのユニットが
利いているかわかりますよ。

>506
ありがとうございます。
中間ユニットから出力への重みが、正と負のものがあり、
入力層からその両方の中間ユニットへ、ある程度の重みで繋がっていたりするものの
場合の解釈に困っているのですが、お分かりになりますでしょうか。
日本語が下手だ…

重み減衰かけてるなら、重要なのは絶対値が大きいリンクです。
ただ、重み減衰のパラメータもちゃんと最適化する必要があります。

>>504
バッチマップに成長SOMの技法を適用しただけ
バッチマップは
・入力ベクトルをいくつか用意する
・ノードiにおいて，最整合ノードがiとなる入力ベクトルのリストを作る
・リストの総平均を新しい参照ベクトルにする（近傍関数で重み付けはする）
ってのを何回か繰り返すだけ
成長SOMは詳しくはわからん
誰か補足よろ

ところで、bluebrainって何のシミュレーションしてんだ？

>>510
人間の脳みそ。
いや、猫の脳みそだったかなｗ

http://bluebrain.epfl.ch/

それを見ての質問なんだが英語に不自由なので概要を教えてくれ
neocortex columnは脳のどの部分で、どんな意義があるのかとか
あと、何のモデルでシミュレーションしてんだ