■ニューラルネットワークの可能性■

ニューラルネットワークの可能性についてお話をしましょう

人間の脳の中には約１４０億個の神経細胞(ニューロン)があり、 その神経細胞が互いに結合して、人間の記憶や判断などの 精神活動をしています。
このような脳の情報処理の方法を神経細胞の働きを模擬したユニットを多数配置することによってコンピュータ上で行おうとするのがニューラルネットです

140億個の人工ニューロンを結合できれば
生物の脳と同じ働きをするものがつくれる？

コンピュータ上に実装できるの？

>>3
数の規模だけ同じにしても単なるデカイニューラルネットでしかないと思う。
小脳なんかはそれに近いかもしれないけど。
人間が60兆個の細胞で出来ているからと言ってゾウリムシを60兆匹集めても
人間は出来ないというのに似ている（似てないか笑）

>>4
コンピューターはなんでもシミュレーターだからね。
出来ることは出来る。挙動を研究するのには使える。
処理速度速度が問題になる場合はちゃんとした並列処理処理のハードウェア回路を作る。

自己組織化とかの研究はどうなの？

ハードウェアってどうやるんですか？
イオン膜みたいなのつくって？

結構単純なモデル化した電子回路です。
ニューロンと同等だといってしまうと語弊があるかも。

どんな回路で実現できるの？

とりあえず検索してください。
実際のニューロンの説明やモデルの説明はいっぱい出てくると思います。
モデルがわかればその実現方法はいろいろあることが判ると思います。

大雑把に言えば、
多数の入力の合計が一定値を超えたらONになる、
という回路が多数相互につながっているっていうもの。
シナプスの重み付け等をアナログ電圧でやるものとか
デジタルで数値を渡すものとか、いろいろ考えられる。

うん、だいたいわかった

最近アナログのＰＬＤが出てきたから、これが大規模化すれば
誰かが実験するんじゃない？
俺はパス。

>>11
わかってません

>>12
配線問題をどう片付けるかが問題だろうね。
例えば多階層型で第１層が１００ニューロンだとすると第２層のニューロンは
どれも１００個の結合係数を持たねばならない。これは１００本の入力を結線
しなければならないということ。こんな小規模ネットワークでさえ問題なので
通信手段で解決する必要が生じる。
携帯電話や軍事通信、測距システム(GPS)等に使われているｍ系列符合などは
高い自己相関特性を有しており、(２値ではなく、アナログ量として)線形加算性
が成立するので、１本のアナログ・バス・ラインでも１ビット以上シフトした
同一ｍ系列符合で多重通信が行なえる。だから、シフターと相関器、飽和関数を
実現する回路が同居できるPLDがあればいいんだが．．．

>>5さんの言う通り、規模がでかいだけではパターン認識の域を出ないと思う。
脳の機能についてもっと研究する必要があると思う。

あれ？　IDが無い！！！

やっぱPLDよりもニューロン素子自身を開発したほうが良いのでは？

実際どれくらいのことができるのでしょうか？

アナログ回路とディジタル回路って
どんなメリットがあるの？

>>14
菌糸に遺伝子改良を施してパーセプトロンと同じ振る舞いをさせる。
この菌糸をたくさん集めて培養する。この時外部からある信号を与えてやる。
するとその信号に反応して菌糸が相互結合して、
その信号を処理できる回路が出来上がる。・・・てのはどう？

生物でニューラルネットか〜

>14

第1層から2層へ渡す時にそれぞれ全部繋げる必要無いんじゃない？
脳細胞だって全部が全部繋がってる訳じゃなし。

１から２への受け渡しは１個につき１０ニューロンに限定。
結果が良い相手へは足を増やし、ダメだったら切って
新たな結合相手をランダムに見つける
ぐらいのものでもそれなりの効果が出そうな気がする。

うう、俺にプログラム能力さえあれば・・・

物理的な配線の話なのでは？

はっ、しまった！シミュレーター内部で考えてたよ。スマソ。

でもそれはそれで面白そうな話題だと思う

ちとさっきのを発展。
全体を１０×１０として、下側への配線を上下左右の
３×３＝９マスに限定すれば物理的にもいけるかも。
遠くに影響ない分、層を厚くしないといかんが。

>19

菌糸に迷路内の２点の最短経路を解かせる、なんてのあったね。
迷路全体に繁殖していた菌糸が最後にはエサのある２点の
最短経路だけ残ってた。使えそうだ。

菌糸自身がニューラルネットを備えているということ？

「コラム(皮質円柱構造)」とよばれるものを最小単位とした
階層化されたモジュール構造になっているそうです。
全てのニューロン細胞が相互に結合しあうわけではなく、
ある程度のまとまりで、構造を形成し、その構造間のインターフェースとなる
接続ができて・・・といった構造なのではないでしょうか。
（もっと詳しい人説明きぼーん）

単純な計算や比較だけじゃなく､人間と同じ（または近い)判断ができるようにする､ってコトか｡
もし可能だとして､もっとも有効な使い道ってなんだろ？

危険な所で人間並の判断が必要な場所で
人材が大量に必要な場所。

人間の遠隔操作だと「操作の技術」と「現場の技術」の
両方を会得した人間が必要で人員が足りなくなる場合。

一番わかりやすい例

「テロリストが爆破したビルの災害救助。」

つまりロボットの制御装置と？
単純に生命の延長というのもな〜
もっと可能性ないかな

＞29
そのことについては俺も考えたんだが｡
コンピュータは所詮コンピュータだし｡
型どおりの対策しか出来ないのでは｡
最終的な判断を下すのはやはり人間であって､その人間はやはりそれなりの知識を会得した人間でなければならないと｡

>31

うんうん、どれだけの発想ができるものなのか？は
一番興味ある部分だよな。単にコンピューターの延長か
それとも超高性能なものを作れば人間を超えられるのか。

ロボットには単純作業だけをまかせて
全体の計画は人間がする、というのはいいですね。

むぅ、「有効」を「利益」として考えると、
どうしても奴隷的な扱いになりますなぁ。

>32
人間を模倣したものを人間が作っている限り､コンピュータが人間を超えるのは無理でしょう｡
俺達にとってはコンピュータは道具だから奴隷的な扱い方法しか考えられないのも仕方ないかも。

本題と関係ないのでsage｡

ニューラルネットをロボットに使うじゃなくて、
人間の脳の補完に使ったらどうだ？
例えば、アルツハイマー病の人の記憶の補完とか。

>>34
それいい

俺の記憶能力不足も保管してくれ〜

だれがそれを使うの？

>>34
ニューラルネットの前に人間の記憶を読み取る装置を作らなきゃね。
そんなものは人間には作れないと思うけど。

哲学的な話になりそうだ

ニューラルネットって、結局パラメータのチューニングくらいしか
できないのでは？

人間の脳と比べて何が足りないのだろう

コンピュータを使って動かす限り、あらかじめ命令されたことしかできない
んですよね。
何が足りないのかというと、うまく表現できないけど”欲求”みたいな
ものなんじゃないかと思う。
人（他人）に命令されなくても（他人の用意した選択肢に頼らず）
自ずと何をするのか決定できる仕組みというか。

情報の生成が可能ということ？

>>38
作れるかどうかはともかく
脳とコンピュータ間のインターフェースをどうにかする必要はあるわな

脳波計とかは？

>>45
一方的に読み取るだけなんじゃないかと｡

それを解析

セミナーで研究室に逝ったときに変なにーちゃんが
ニューラルネットワークだかそんな話をしていました。
さーーーーっぱり意味がわかりませんでした。

ネットワークの入出力だけやっているかぎり、ダメ。

生物の情報処理は、実世界とのインタラクションが前提
としてあって、それを現実的に成立させるなかで発展し
てきている、と考えられる。
そういうしばりのないところでいくら妄想を膨らませて
も妄想は所詮妄想。

ロボットなんて複雑なものでなく、もっと低次のところ
から出発するなら将来性もありうるのではないか。

井口先生関係・2ch過去ログ

井口和基博士って？
http://piza.2ch.net/log/sci/kako/961/961993833.html

国際的な物理学者が無職？
http://cheese.2ch.net/sci/kako/990/990342220.html

シュレッダー処分
http://cheese.2ch.net/test/read.cgi/sci/999158820/i

たとえば？

ニューラルネットってフィルタと似てる

“脳を創る”原理とその表現の解明/松本元
http://www.brain.riken.go.jp/bsinews/bsinews8/no8/issue1.html

いいねー

>>6
ATR で人工脳の研究をやっています。私としては、あまり有望視していないけど。

>>14
配線問題については、バスによるＴＳＳを行うことによって、ニューロン数を大幅
に増大させることができるという研究をやっているところがあります(検索すれば出
てくると思う)。

>>19
は面白そうですが、例えば脳の視覚野にある「スーパーコラム構造」などが自己組織
できるとは思えない。かなりの淘汰圧があっても、同一構造になるかどうか、分から
ないです。セマンティクス・ギャップとか言われるものなのですが(>5)。

>>34
ちょっと前に、哺乳類の成体脳において、ニューロンが幹細胞から分化するところ
が検証されました。そして、この脳細胞は、壊れた部分へ運ばれ、代用されるので
はないか、と言われています。このことから、細胞誘導体が分離されることになれ
ば、適切に経路をマーキングできるわけで、標識をつけた培養ニューロンを移植し
て、補修することができるようになります。ただし、以前持っていた能力を越える
ことはできるかどうか、分かりませんが。

ニューロンが運ばれるのかぁ
どうやって運ばれるんだろ

>> 55
>ATR で人工脳の研究をやっています。私としては、あまり有望視していないけど。

マジですか？羨ましい！！
デガリスさんのところなんですか？
彼は今もいるのかな？
昔、７５００万のニューロンを動かしてましたよね。

>>57
以下「ハードウェア進化」の項目参照。ちょっと検索したのですが、
下原さんのしか出てこなかった。こないだ再編成があったので、まだ
続いているのかどうか不明です。セル･オートマトンを用いたものです。

ttp://www.seagaia.org/sg2k/htmlfiles/shimohara/shimohara.html

NNを「入力から出力への写像」といった場合、エージェント的な視点（出力の結果がフィードバックされて入力に影響を与えるとか）が欠けてるような気がする。

あと、時系列の取り扱いとか。シーケンス的な出力の発生、学習とか。

フィードバックした結果，写像が形成されるのでは？
時系列に関してはフィードバックが有効らしいね

入力と正解を与えてバックプロパゲーション。汎化が出来たら重みを固定。
・・・環境と相互作用してないなぁーって思っただけ。

ヒトの脳みそってリカレントNNなのかな

>>61 適応させる研究と家内の？

>>61 カオスも有効だろう

制御理論と非線形理論に関する板を立てました
よかったら遊びに来てください
ニューラルネットの話もOKです
http://jbbs.shitaraba.com/study/18/d93.html

良スレあげ

nice

中枢系の神経回路をいくら模したとしても、それだけでは不十分だと思います。
神経系には、思考回路としての側面とセンサーとしての側面があります。

ニューラルネットワークを、
「人間のシミュレーション」
的に構成したいと考えるのならば、このセンサーを多数備えることを考えたほうが
いいのではないでしょうか。プロセッサ単体の処理能力、ストレージの容量、
帯域といった側面ではなく、センサー技術の向上が鍵になるのではないかと
予想します。

ただまあ……製造業的には、センサーの冗長構成とか考えないでしょうから
この面での技術革新は遅目になりそうですね。

固体物理の場合、系を記述する方程式はすべてわかってる。
けど6×10^23個の分子があるので直接解けない。で、統計力学や近似を使うと。
同様に、知能の発現に効かない部分は削り落とした神経系のモデルが出来れば良いのでは？
素人考えですが。

>67
神経系のセンサーとしての側面ってなんでせう？

>>68
五感を伝達する媒体としての側面のことです。
定量的なデータを挙げて評価したいなーとか考えてるんですけど、考えてる
だけで終わったりしそうです。

ニューラルネットの研究者＝現代の錬金術師

返答ありがとうございます。

センサーに冗長性を持たせて創発に期待するってこと？
面白いと思うけど、単なるセンサ‐モータ協調だけでは昆虫程度が限界なのでは。
内部状態（過去の記憶）を持たせるべき。
でも、こうしたモデルって、リカレントかペトリネットぐらい・・・かな？

それとも、クオリアとか言うやつなのでしょうか？
他人の痛みと自分の痛みが比較できれば面白いと思うけど、
どうすれば比較出来るのか私にはさっぱり思いつかないです・・・

リカレントだな

可能性はある

リカレント以外にタイプがあるの？

>>71
>> 創発に期待するってこと？
そうですね。そう言いたいみたいです。
（私の非理性的部分はそう言いたいらしい､という意味）

人間の場合､意識野は非常に狭いですよね。
歩くという基本的な動作にしても､意識野が処理している部分はほとんどないに
等しいですから。
イメージとしては､多数のセンサーが集めた情報を局所的な判断装置がフィルタを
かけ､その一段上の階層の処理装置が基本判断を下し・・・
というような感じです。
どうやって階層を区切るのかが､判断のしどころでしょうか。
私は5段程度がよいところと思ってますが。

　　　＿
　　　　 　　/:::::::＼　　　　／￣￣￣￣￣￣￣￣￣￣￣
　　　 　　　(´∀｀　)　　＜ ねんねんねんねんむかつくねん！
　　　O--⊂　×　）　　　＼＿＿＿＿＿＿＿＿＿＿＿
　　(∴) 彡（,,,(,,,（ξ⊃

可能にする男

リカルデントだな

おじいいちゃんポリでんと

ニューラルネットワークは汎関数だ。

age

人工知能は、できません。
というか、自我を持つことはありません。

ニューラルネットはニューラルなネットワークをシグモイドとかつかって簡易的に近似したものであって、人間はそんな単純なもので表現はできないんじゃねーの!?

　　　　　　　　 http://genie.gaiax.com/home/aa685224_jpg

ニューラルネットワークのHessian行列を求めたいのですが、
各2階微分を効率よく（バックプロパゲーションの1階微分を求めるように）
求める方法はありますか？
知ってる人いらっしゃったら教えてください。
お願いします。

ほんとはニューラルネットじゃない

NN（最近ではSOMが有効とか言われている）で非線形射影を求める話なんですが、アレってNNだからできたということですか？

なんか、解析的に求める方法もあるのかなと思ったりするのですが、どうなんでしょうか？

いまどきHessian行列は無いだろう
計算が大変なだけ。

>>83
人間と全く同じものを作ることは不可能だと思うが、一部の機能に特化すれば人間を
越えるものは作れるんじゃないかな？
鳥を真似て作られた飛行機が、鳥よりも速く飛ぶことが出来るのと同様に。

>>87
そらある

つーかみんなANN何に使ってるの？
漏れはたんぱく質二次構造、三次構造予測と遺伝子探し。
人間の知能云々とは縁遠い世界です…。

それって、うまく補完もしくは歩害できますか？
モデルは何に従い増すか？

>>90

たとえば？

>>91
プログラムによるシミュレーション？

ニューラルネットだけでは、何もできません。
単なる射影です。

リカレントとかはどうなるのか簡単に予測はつきませんが、でも

y=f(x)

にすぎないことは明白です。たとえ、chaoticであったとしてもね。
もちろん、x,yは多次元ベクトルで、fは高次元非線形射影ですが。

>>92
http://www.ics.uci.edu/~pfbaldi/publications/journals/ieeev2.pdf
この辺が参考になるかも。

>>94
ANN自体はもちろんソフトウェア的に実装したもの。
要するに、実験で分かってるもののデータ（PDBとかから）をトレーニングセットとしてぶち込んで、
あとはその｢鍛えられた」のに、何とか予想させて見ましょう、と言うこと。

>>96

ありがとうございます。
結構若い論文ですね。この分野って、それほど古くからある話ではないのですか？
1997以降が参照されていますね。

>>97
相当若い分野ですよ。
上の論文書いた人辺りが有名どころ。
ニューラルネットのほかにも、隠れマルコフモデルなんかを使ったりもする。
この分野は、生物学の知識がないと何が重要な問題化を見極めるのが
結構難しい。計算機屋さんの力は常に必要とされてるんだけど…

まあ、結局ニューラルネットといっても、「なんか役に立つもの作ってナンボ」
の世界だから、イメージとは裏腹に意外と地味な分野って事ですな。

>「なんか役に立つもの作ってナンボ」

同感です。もちろん、ニューラルネットに限ったことではないですが。

世知辛い世の中だな……

（＾＾）