形態素解析と日本語処理

俺は趣味で気になって除いてる

専攻はシステムプログラミング系。
自然言語処理は学部の授業で取った。

統計解析

>>416
今更ではあるけどWinとかで使ってて
辞書の文字コードSHIFT-JISにしてないからじゃないかね。

お、このスレ生きてたか。嬉しい

自然言語処理スレッド　その３
http://pc12.2ch.net/test/read.cgi/tech/1235129481/

MeCabを自作アプリに組み込んで配布したいんだけど
libmecab.dllだけをアプリのフォルダにコピーして動かしても動くんだけど
ipdic辞書の場所は環境変数か何かに入ってるのかな？
辞書も一緒にアプリに組み込みたい場合はどうすれば？

事故解決
mecab_new2で指定するのね

形態素解析したいんだけど
chasenよりmecabを使う人のほうが多い？

chasenを選ぶ意味がわかんない

mecabはchasenの上級バージョンなんだが

そうなのか
普通にmecab使うわ
さんくす

いや普通に別のものだろ

使用している計算法は別物だが、mecabにあってchasenにも付けられるのにchasenについてない機能がmecabにはある。

ある文章中に形容詞＋名詞となってるものの個数を数えたいんだけど
mecab使えばすぐできる？

mecabでnodeのリストを得る。
nodeには品詞情報としてそれが形容詞であるとか、名詞であるとかいろいろ値が入っているので
それらをチェックして個数を数えればすぐできる。

「動詞＋ない」とか「動詞＋たい」は
形容詞に数えていいのか？
準体助詞の「の」は名詞に入れていいのか？
「最近は梅干のしょっぱいのが売ってない」
の「梅干のしょっぱいの」は「しょっぱい梅干」を
含意するがどうだ？

「逢いたいの」の「の」が
準体助詞の「の」ではなくて
強意の終助詞「の」だとかいうのは
文脈追わないとムリなので、
目的が分かると判断しやすい。

Natural Language Processing with Pythonってどう？
5月頃に和訳でるって聞いたから待ってたけど、全然来ないから買おうと思うんだが
今までC++ばっかでpythonやってないんだけど、これとは別にpythonを勉強したほうがいいんだろうか

>>436
文脈追わなくても使用頻度とマルコフ統計を取れば分かるでしょ
辞書ばりばりの形態素解析なんてもう時代遅れだよ

>>438
最尤候補はわかる。
実際にどっちかはわからん。

>>438
> もう時代遅れだよ
ジジイじゃあるめぇし、安心したがるなよ。
技術の話ってのは、ややこしくややこしくしてった方が、
最終的に得るものが多いんだぜ？
「燈下探索症候群」っつー言葉もあるわけで、
競合しそうな技術にはそれなりに目配りしとくもんだ。

新しい手法を知ると、ちょっとでも古い手法を「時代遅れ」とか言いたがるのはむしろ若い人じゃないかな？

> 競合しそうな技術にはそれなりに目配りしとくもんだ。
これには同意。
たとえば、JUMANの結果のほうが使いやすい場合もある。

どんな手法が適切かはアプリケーションの種類に依存する。
全文検索だけが目的なら、マルコフ解析のような統計的手法だけで足りるかもしれないが、
談話理解や日英翻訳が目的なら、辞書による形態要素解析の技術は必須になる。

たぶん>>438は全文検索しか頭の浮かばない人で、若いとか年寄りとかいうよりも、
ちょっと可哀想な人なのだと思われる。

>>442
そういうことはまともに翻訳出来る翻訳機を発明してから言ってよｗ

>>442がまともに使える(ゴミを拾わない)全文検索機を発明してくれたら考えとくよ

>>441
> 新しい手法を知ると、ちょっとでも古い手法を
> 「時代遅れ」とか言いたがるのはむしろ若い人じゃないかな？
いやすまん、言葉が足りなかった。
若いクセに精神がジジイになっとる奴が、
「時代遅れ」とか言いたがるわけよ。
「昔はよかったが、今はもうダメだ」という
昔を生きてた人間と、
「今はいいが、昔はもうダメだ」という
今を生きてる人間というのは、
同じように精神的にジジイだっちゅーこと。

上げる　書き込む
終了

それちゃうちゃうちゃう？
いやちゃうちゃうちゃうんちゃう？

ちゃうちゃうちゃうちゃうちゃうんちゃう？

うらにわにはにわにわにはにわがいる
　　 __,‐"~~`‐、
　.( (^|:: ● ●|-､
　　ヽ]::::.....● ..|^) )
　....... |::::::....... 　[ノ
........... ~‐:::;;:::::‐"

それはハニーだw

おまえら楽しそうだなw

すっごい馬鹿な質問かもしれないけど、
文節が同じなら文節に含まれる形態素列も完全に同じものになるんでしょうか？

>>452
完全に同一な文章だよね？なんで違う形態素があると思えるの

日本語独特の曖昧な文法とか？　副詞なのか助動詞＋助詞なのか、文節は同じだけど分類がわかんねーとか？
……いや、それでも無理があるか。

>>452
今更誰も見ていないだろうけど・・・
その前後の文節によって、形態素解析が違ったものになる
ことはありうる。

>>455
------------------
＜＜＜＜＜＜＜＜＜＜＜＜ 今更誰も見ていないだろうけど・・・ ＞＞＞＞＞＞＞＞＞＞＞＞(キリッッキリッッッ！キリ!!！！！！
----
＜＜＜＜＜＜＜＜ その前後の文節によって、形態素解析が違ったものになる ＞＞＞＞＞＞＞＞（キリッッ!!!!キリッッッ！キリッッッ!!!ッッ！！！
--(キリッ！キリッッッ!きリッッ
--
＜＜＜＜＜＜＜＜＜＜＜＜＜ ことはありうる。 ＞＞＞＞＞＞＞＞＞＞＞＞＞(キリ！！キリッッ!キリ！！！！キリッッ!!！！！
-------(キリッッ！


放射性廃棄物のほうがマシ

いまさら人工知能や形態素解析について勉強しようと思ったんだけど
どこも下火な感じなのかね

研究のブームは過ぎた感もあるけど、たとえば、日本語の過去の膨大な文献を
機械可読にして知識ベース化とかはまだまだこれからだし、やることはあると思うね。

どなたか記事を解析できる方はいませんか？
東てる美の記事です。http://blog-imgs-16-origin.fc2.com/o/l/d/oldhonn/060911ee.jpg
前張りって一度付けてしまうと、それに慣れてしまうからそれを取って演技
することはちょっと恥ずかしいわネ！・・・・。

それは画像処理じゃないか？

人工知能の勉強しようと思ったが資料が全然ないのね

文章や段落またがった係り受けとかって無理？
大量にデータがあればできんの？

無理じゃないとは思うけど、基本的に、場所が離ればなれになってる構造ほど扱いにくい
ことは確かね。

日本語処理ってことはテキストマイニングだと思うんですが、
皆さんはC++、Perl、Python、Rなど言語は何を使っていますか？

また、最近ではどの言語が一番いいのでしょうか？

Python

Java

テキストマイニングをRでってあるけど、Rは流石にオーバー？

ぜんぶ無料なんだから試してみればいいじゃん
使える引出しが多いといいこともあるよ