【IT】富士通、固有名詞の高精度抽出技術を開発　「川崎市」と「川崎さん」の区別が容易に [09/11/24]

　富士通研究所は11月24日、文章中の人名や組織名、地名などの固有名詞を高精度に抽出する
技術を開発したと発表した。これにより、新聞記事から約97％の精度で人名を正しく抽出する。
従来の抽出手法と比較して抽出ミスを60％近く減少できるという。

　新聞の編集やウェブサイトの更新など大量の文書データを扱う業務では、キーワード検索や
それを用いた文書作成が業務の中で大きな割合を占める。しかし「川崎さん」や「川崎市」の
「川崎」のような単語は、「人名」か「地名」かの区別がつきづらく、目的のキーワードとは無関係な
結果が数多く表示されてしまっていた。

　そのため必要な情報を見つけるのに手間がかかっていたほか、人名や地名などの辞書データを
人手で作成しなければならず、辞書の自動生成が大きな課題となっていた。

　今回開発された技術は、精度の高い固有名詞を抽出するため、固有名詞辞書の自動生成手法と
生成した辞書を用いる抽出を実現したとのこと。

　固有名詞の抽出には、正解事例をもとに固有名詞を抽出する規則を生成する「学習フェーズ」と、
作成した固有名詞抽出規則を用いて文章から固有名詞を抽出する「抽出フェーズ」の2フェーズで
処理する。新聞記事1件あたり平均0.1秒で固有名詞が抽出でき、多数の文書データへの適用も可能という。

　この技術を用いることで、検索対象の文書から固有名詞を抽出し、「地名」にも「人名」にも
なりうる単語の意味の違いを区別した検索が実現するとのこと。また、抽出結果から辞書データを
自動生成し、固有名詞辞書に追加することも可能だ。さらに、抽出結果を視覚的に見せることによって、
固有名詞の表記チェックや文書中の個人情報を匿名化する作業を支援する。

　富士通研究所は今後、この技術を適用した新聞記事作成支援ソリューションを、2010年度後半に
提供する予定としている。

ソース：CNET Japan [09/11/24]
http://japan.cnet.com/news/tech/story/0,2000056025,20404111,00.htm

富士通　プレスリリース
http://pr.fujitsu.com/jp/news/2009/11/24.html

富士通といえばnkf

こんなの…

前の認識エンジンが糞だったっつーことだろ

キーワードの前後から人名か地名かを区別するのか？
そりゃすげえ

富士通と言えばOAK

これはすごいなぁ

AIの開発にも使えそう

富士通と言えば高倉健

中田氏

すごいな富士通の下請けは

日本の文明あるいは精神は、
日本列島以外の地域で興亡した国家、民族とは本質的に異なるものである。

「そうなんですよ、川崎さん」

何で「川崎氏」ではなく「川崎さん」なのか

OASYSのみ使用可能です(^^)

OASYSってまだ売ってんの？
IMEよりはマシなのかな

「川崎のおじさん」はどっちに判定されるんだろう。

本名と通名が(ry

>>　新聞記事から約97％の精度で人名を正しく抽出する。
>>　従来の抽出手法と比較して抽出ミスを60％近く減少できるという。

つまり認識率95％->97％ってことか。
素人ながらそれほどスゴイとは思えんのだが...チューニングレベル？

>>12
あほ？ばか？

ウンコターレ(笑)への出資を中止せよ

中出しの意味で使われている中田氏を
きちんと読み取れるようになったらすごい
マジで

でもお高いんでしょう

川崎の川崎高校教諭川崎次郎さんの川崎をそれぞれ指定できると言うことか。

>>17
すごいと思えんのは素人だからだと思うよ。

富士通の孫受けもスキルアップしたもんだな。

記者さんが汽車で帰社した