gonzui

こういう魚だそうですね
http://www.stb.tsukuba.ac.jp/~yadoken/photo/fish/gonzui.jpg

たべたことないよー　にゃんにゃん

>>1
テンプレぐらい作れ。

刺されるといたい

gonzui is a source code search engine for accelerating open source software development
http://www.namazu.org/~satoru/gonzui/

書いてあるとおりにwgetをimportしようとするとエラーになるので
すが、何か原因が分かる方いますか?
./gonzui-import wget-1.9.1.tar.gz
ruby-1.8.1/lib/ruby/site_ruby/1.8/gonzui/util.rb:233:in `conv': Invalid argument - iconv("UTF-8", "windows-31j") (Errno::EINVAL)


gonzuiにはとても期待しています。

自己レス
gonzui/util.rbの234行目を次のようにしたらエラーが発生しなくなりました。

rescue Iconv::IllegalSequence, SystemCallError

>>3
テンプラ？

>>5
sub(/windows-31j/, "cp932")

http://sourceforge.net/projects/gonzui/

http://www.koders.com/

RAA で gonzui 採用してくれないかなぁ？
RAA に登録されてる全てのコードを gonzui で検索できれば有り難いのだが・・・。

その前にRuby対応が必要だな。

gonzui-0.2が出ました。

肉の日リリースということで、0.2 が出てるね。
Ruby 対応期待。

Ruby対応は1.9限定なんだよな。1.8でも使えるようにならんかな。

いいかげんcvsを公開してほしいのだが。

SF.netにproject pageはできてるようだけど、まだ利用されていないみたい。
cvs importもされてなければ、MLもできていない。未踏絡みで何かややこしい
ことでもあるのかな？

RedHat Linux 9に入れてみました。

$ ./gonzui-import wget-1.9.1.tar.gz
./gonzui/autopack.rb:74:in `pack': cannot convert nil into Integer (TypeError)

と出たので、以下の回避修正と、 >>6 さんの修正を施したら、
あっけなく動きました。
(実はよくわかってないけど、適当に修正したら動いたです)

74 # [id].pack(PACK_FORMAT)
75 [id].collect{|i| i.nil? ? 0 : i}.pack(PACK_FORMAT)

Apacheを動かさなくても、gonzui-server 呼び出すだけで
Web検索可能になるし、高速に検索できるので感動です。

# Windows(Cygwin)でも動かせないですかねぇ？
# BDBがインスコできないんですが、どなたかご存知ですか？

>>18
> # Windows(Cygwin)でも動かせないですかねぇ？
> # BDBがインスコできないんですが、どなたかご存知ですか？
動くよ。BDBって最初から入っていなかったっけ

0.2でjavaのソースが見られなくなったね。
LangScan::Java.scanがバグっていてイベントが2回あがる。

http://gonzui.tagonome.org/

>>21
ウホ!イイ!

0.3 age

sageてるやん。
高度な検索がいいかんじ。

ML&CVS記念∩ﾟ∀ﾟ∩age

これが通るのって C99 以降とかだっけ？

diff -r gonzui-0.3.orig/langscan/c/c.c gonzui-0.3/langscan/c/c.c
33a34
> size_t len = maxlen;
36d36
< size_t len = maxlen;
diff -r gonzui-0.3.orig/langscan/java/java.c gonzui-0.3/langscan/java/java.c
33a34
> size_t len = maxlen;
36d36
< size_t len = maxlen;

>>6
Iconv::InvalidCharacter も要るっぽい悪寒。

Gonzui::UTF8::Preference は configure 時に調べて設定しておいて欲しい。

python, php, elisp support が CVS Head に取り込まれたな。

日本語対応プリーズ
http://www.entis.jp/doc/japanese/

gonzui-import ってどのくらいの時間掛かるもんなんでしょうか？
私の環境だとたとえば libxml2 とかで 2時間半とか平気で掛かっちゃうんですが、
それって変ですよね？

>>29
プログラミング言語「日本語」対応に関しては、「織田信長」の後になります。
悪しからず。

>>29
http://google.jp
こちらですでに対応済みです。

0.4 release 記念 age

>>19 さんのレスを見て、Cygwinに再挑戦してました。(長い再挑戦だった)

うあ〜、うまくいったよ。Cygwinでも動きました。(0.4でも動いた)

bdb入ってないと思っていたら、全然そんな事無くて、Cygwinでbd-4.2を
入れて、gonzui-importがうまく動かないんで、64行目をコメントアウト
したら動きました。

64: # Process.setpriority(Process::PRIO_PROCESS, 0, 10)

これで、漏れ専用環境が作れます。ありがたや。

Cygwin でビルド挑戦中なんですが、
gonzui-0.4.tar.gz で configure は通ったあと make すると、
(irb で require 'bdb' は true が返りました)

Making all in webapp
make[2]: Entering directory `/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp'
rm -f xmlformatter.so
gcc -shared -s -Wl,--enable-auto-import,--export-all -o xmlformatter.so xmlforma tter.o -lcrypt
xmlformatter.o(.text+0xda): In function `xmlformatter_write_obj':
/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp/xmlformatter.c:54: undefined refer ence to `_rb_obj_as_string'
xmlformatter.o(.text+0x1c3):/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp/xmlfor matter.c:51: undefined reference to `_rb_id2name'
xmlformatter.o(.text+0x232): In function `xmlformatter_s_allocate':
/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp/xmlformatter.c:92: undefined refer ence to `_rb_data_object_alloc'
xmlformatter.o(.text+0x259): In function `xmlformatter_initialize':
/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp/xmlformatter.c:98: undefined refer ence to `_rb_check_type'
...(中略)...
matter.c:191: undefined reference to `_rb_define_method'
xmlformatter.o(.text+0x640):/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp/xmlfor matter.c:192: undefined reference to `_rb_define_method'
xmlformatter.o(.text+0x56c): In function `xmlformatter_format':
/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp/xmlformatter.c:181: undefined refe rence to `_rb_str_new'
collect2: ld returned 1 exit status
make[2]: *** [xmlformatter.so] Error 1
make[2]: Leaving directory `/cygdrive/d/home/tmp/gonzui-0.4/gonzui/webapp'
make[1]: *** [all-recursive] Error 1
make[1]: Leaving directory `/cygdrive/d/home/tmp/gonzui-0.4/gonzui'
make: *** [all-recursive] Error 1

と出て失敗してしまいます。
どなたか原因わかりますでしょうか？

>>35
ruby -i.bak -pe "sub(/RUBY_LIBS =/, '\\0-llibruby')" **/Makefile

これでどう。
正しい直し方は分からないけど。

0.4 使わせてもらっています。
./gonzui-import ~/kernel-2.6.10-1.741_FC3.src.rpm とかやると、
10 時間くらいかかりそうな感じ．．．import 時間も長いですが、メ
モリの使用量も相当なものです(170MB位)。

>>36 さん
うーん。一歩前進した気がするのですが、ちがうエラーが出ました。

~/tmp/gonzui-0.4/gonzui/webapp $ make
rm -f xmlformatter.so
gcc -shared -s -Wl,--enable-auto-import,--export-all -o xmlformatter.so xmlformatter.o -llibruby -lcrypt
/usr/lib/gcc-lib/i686-pc-cygwin/3.3.3/../../../../i686-pc-cygwin/bin/ld: cannot find -llibruby
collect2: ld returned 1 exit status
make: *** [xmlformatter.so] Error 1

なお、ruby や Berkeley DB は「試験的に gonzui を入れよう」ということで、
~/gonzui にインストールしています。
PATH は ~/gonzui/bin にも通しています。

ld はよく理解してないのですが、なにかヒントいただけませんでしょうか？

>>38
cannot find -llibruby だから libruby が見つからなかったということでそ。
ruby って自分でインストールした?
LD_LIBRARY_PATH に libruby がある場所 (/usr/local/lib など) を追加してみるとか。

>>38
> なお、ruby や Berkeley DB は「試験的に gonzui を入れよう」ということで、
> ~/gonzui にインストールしています。
書いてあった・・・orz

じゃあ ~/gonzui/lib に LD_LIBRARY_PATH を通すのかな。

>>40
恐らく、Makefileの”RUBY_LIBS = -lcrypt”に"-lruby"を
付加すればOKだと思いますでつ。

RUBY_LIBS = -lcrypt
↓
RUBY_LIBS = -lcrypt -lruby

参考URL：
ttp://dkiroku.com/2004-12-21.html#2004-12-21-15

>>39-41
ビルド通りました！！
結局、bdb の Makefile を参考にしまして、

* gonzui-0.4/gonzui/Makefile
* gonzui-0.4/gonzui/webaapp/Makefile
* gonzui-0.4/langscan/c/Makefile
* gonzui-0.4/langscan/java/Makefile
* gonzui-0.4/langscan/php/Makefile
* gonzui-0.4/langscan/python/Makefile

に対して、

■追加
LIBPATH = -L"/cygdrive/d/home/gonzui/lib"
■変更 (1)
RUBY_LIBS = -lruby -lcrypt
■変更 (2)
$(LANGSCAN_PHP_DLLIB): $(LANGSCAN_PHP_OBJS)
　　rm -f $@
　　$(RUBY_LDSHARED) $(RUBY_DLDFLAGS) $(LIBPATH) -o $@ $(LANGSCAN_PHP_OBJS) $(RUBY_LIBS)

のような変更＆追加を加えました。LANGSCAN_PHP 云々は、
適宜 XMLFORMATTER や TEXTTOKENIZER などに読み替えてください。

ではいまから gonzui-import を試してみます！
いろいろ情報ありがとうございました。

げ、import も server もダメでした。
なんで〜。

$ ./gonzui-import wget-1.9.tar.gz
./gonzui/util.rb:156: warning: Insecure world writable dir /cygdrive/d, mode 040777
./gonzui-import:64:in `lower_priority': uninitialized constant Process::PRIO_PROCESS (NameError)
from ./gonzui-import:72:in `do_start'
from ./gonzui/cmdapp/app.rb:123:in `start'
from ./gonzui/cmdapp/app.rb:149:in `start'
from ./gonzui-import:86

$ ./gonzui-server
./gonzui/util.rb:156: warning: Insecure world writable dir /cygdrive/d, mode 040777
./gonzui/webapp/xmlformatter.so: [BUG] Segmentation fault
ruby 1.8.2 (2004-12-24) [i386-cygwin]

Aborted (core dumped)

>>43
> ./gonzui-import:64:in `lower_priority': uninitialized constant Process::PRIO_PROCESS (NameError)
>>34
過去レスぐらい嫁

>>44
あ、ほんとだ。書いてある。スミマセンでした。

・・・うーん、でも server は同じ症状だなぁ。
>>42 の対処がまずかったのかな。
ちなみに tar.gz の import もダメでした。zip はいけるんですが・・・。

$ ./gonzui-import wget-1.9.tar.gz
./gonzui/util.rb:156: warning: Insecure world writable dir /cygdrive/d, mode 040777
/cygdrive/d/home/tmp/gonzui-0.4/wget-1.9.tar.gz: No such file or directory
gonzui-import: wget-1.9.tar.gz: empty package
0 files of 0 packages imported in 0.47 sec. (0.00 files / sec.)

$ ./gonzui-import bdb-0.5.3.zip
./gonzui/util.rb:156: warning: Insecure world writable dir /cygdrive/d, mode 040777
bdb-0.5.3: 100% |oooooooooooooooooooooooooooooooooooooooooo| Time: 00:00:49
199 files of 1 packages imported in 49.85 sec. (3.99 files / sec.)

開発者様はここを見ているのでしょうか?

見てないと思われ。

>>45
こちらではCygwinに入っているRuby(1.8.2)を使っているんですが、
うまく行ってます。
何でだろ？

tar/gzipパッケージとかrubyを reinstall してみて改善されないですかね？

>>45
tmpディレクトリが間違って指定されてるからじゃないの
export TMP=/tmpしてみれ

0.5 sage

gonzui-import 中のメモリ使用量がぐんと減って、かなり速くなったようです。
以前はスワップアウトしまくってたようなのですが、もう問題なさそうです。
libxml2 で 2時間半 → 4分強 という感じです。

これでパッケージをガンガンつっこめます。

>>51
> libxml2 で 2時間半 → 4分強 という感じです。
すげー。30倍速

Cygwin を入れなおすとあっさり動いてくれました。

入れたのは、Cygwin パッケージの
　* db4.2 (4.2.52-1)
　* libdb4.2 (〃)
　* libdb4.2-devel (〃)
　* ruby (1.8.2-1)
と、自前で bdb-0.5.3 です。gonzui は 0.5 を入れました。
(gonzui の Makefile は >>42 みたいにいろいろしなくてもよく、
RUBY_LIBS = -lruby -lcrypt だけ修正すれば大丈夫でした。)

tar.gz の import もできましたし、
server も問題なく動いてくれています。
今までの苦労はなんだったんだってかんじです。トホホ。

いろいろ教えてくださったみなさん、ありがとうございました。

自分は cygwin で configure でこけてます。

checking where .rb files should go... /usr/lib/ruby/site_ruby/1.8
checking where .rb files should go... /usr/lib/ruby/site_ruby/1.8/i386-cygwin
checking bdb for ruby...... not found
bdb is available at <http://raa.ruby-lang.org/project/bdb>
configure: error: bdb for ruby not found

/usr/lib/ruby/site_ruby/1.8/i386-cygwin に
bdb.so はあります。ためしに bdb.dll にしても同じ。分かる方いませんか。

irb で require 'bdb' が true 返す？

>>55
はい。その通りです。

| 実際にライブラリをロードした時には true、既にロードされている
| 時には false を返します。

http://www.ruby-lang.org/ja/man/?cmd=view;name=%C1%C8%A4%DF%B9%FE%A4%DF%B4%D8%BF%F4#require

>>56
>>55 の質問の意図を取り違えている悪寒。

>>57
あぁ、そういう事でしたか．．．(恥)

0.6 sage

0.7さげ

0.8 sage

0.9 リリースされたらしい

次は 1.0 ？ 0.10 ？

http://raa.ruby-lang.org/gonzui/

>>64
日本語が化けてる。

>>65
今なら直ってるよ。

ｇｊ

gonzui 1.0リリースage

やっと直ってた。

>>69
いまさらなんだが>>26ってどこが違うの？

多分C99以前は関数の先頭でしか変数を定義できないってことではないかと。

>>71
さんきゅう。行番号が違っていたのか。
ずっとsize_t len = maxlen;の行を凝視してました・・・orz

CVS リポジトリから直接 gonzui-import する機能があるけど、
なんで export じゃなくて co してるんだろ？

>>73
gonzui-update のためかなぁ。

>>74
あぁ、 update (cvs update) してくれる機能もあるんですね。なるほど。

1.1age
シェルスクリプト対応

29の日リリースあるかと思いきやなかったか。

cygwinのインストールに四苦八苦していて、
>>41
のサイトに助けられてインストールできました。
疑問なんですが、この対処方法ってどうやって見つけるのですか？
経験？
エディタで開いても、_rb_...なんてないじゃん、が精一杯です。

cygwin + ruby 1.8.2でのgonzuiの起動には成功しましたが、
rubyも検索したくて、ruby 1.9を入れて、
bdb-0.5.6をmakeしました。ですが、

bash-2.05b$ make
gcc -shared -s -Wl,--enable-auto-import,--export-all -L"/usr/lib" -L"/usr/local/lib" -o bdb.so bdb.o common.o cursor.o delegator.o env.o lock.o log.o recnum.o sequence.o transaction.o -lruby -ldb-4.3 -lcrypt -lruby
common.o(.text+0x9e81): In function `bdb_verify':
/cygdrive/d/dev/ruby/source/bdb-0.5.5/src/common.c:3837: undefined reference to `_GetWriteFile'
collect2: ld returned 1 exit status
make: *** [bdb.so] Error 1
bash-2.05b$

なるエラーが出ました。
上の方にあったように、-lrubyを足せば良い、というわけではなさそうです。
どうすればよいか教えていただけないでしょうか。

>>79
bdbライブラリがRuby 1.9に対応していないからと思われ。
多分、Ruby 1.9からstdioを排除したことによる影響かも、
と、ちゃんと調べずに書いてみるテスト。

>>80
レスどうも。
まだ機が熟していないと言うことで、
rubyの検索にはRAAを使うことにします。

>>78
自分はRubyを知らないので、Googleで関連するキーワードで検索しまくったら、
先達者の解があったので、利用させてもらった口ですね。

ちなみに、_rb_...云々に関しては、C言語でよく関数名の衝突を避ける為に、
　プレフィクス(_rb_が該当) + 関数名(str_newとか)
とかいうような名前の付け方をするので、"_rb_"を除いた名前を、Cygwinの
includeフォルダに対して 全文検索して見つけたような記憶があります。
(その後、どうすりゃいいのかわかんないので、Googleに頼ったんですが)

>>82
>C言語でよく関数名の衝突を避ける為に
なるほど、そうだったんですか。
経験値が増えました、ありがとうございます。

少し遅れたが、1.2 sage

windows版バイナリリリースあげ

OSS貢献賞だっけ?
忘れたけどオメ

gonzui便利だ。感動した。

gonzui で 100 くらいのパッケージを登録しました。
検索すると全パッケージが対象になるけど、
「あるパッケージだけ」ってパッケージを選べる？

これって、何が嬉しいの？
しかも、わざわざ専用DBに取り込んだソースのみが対象なんでしょ？

たまに
Token Error : '
Token Error : \
や
/usr/local/lib/ruby/site_ruby/1.8/gonzui/util.rb:302:in `assert_non_nil': Gonzui::Util::AssertionFailed (Gonzui::Util::AssertionFailed)
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/deindexer.rb:40:in `deindex_content'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/deindexer.rb:31:in `deindex_content'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/deindexer.rb:134:in `remove_indexed_content'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/deindexer.rb:147:in `remove_content'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/deindexer.rb:158:in `deindex'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/updater.rb:50:in `deindex_content_internal'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/updater.rb:76:in `update_content'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/util.rb:291:in `protect_from_signals'
... 10 levels...
from /usr/local/bin/gonzui-update:40:in `do_start'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/cmdapp/app.rb:142:in `start'
from /usr/local/lib/ruby/site_ruby/1.8/gonzui/cmdapp/app.rb:168:in `start'
from /usr/local/bin/gonzui-update:52
が出るのが気になるよ。

namazuみたいに、指定ディレクトリ以下を勝手にインデクシングしてくれりゃいいのにね

>>91
普通にできないか？

Firefoxでブラウズするとソース部分が等幅フォントにならねー！

そんな糞ブラウザ使わなければよい

/usr/lib/ruby/1.8/x86_64-linux/langscan/ocaml/camlexer
に実行属性は必要ですか？

1.3候補だって。
ttp://lists.sourceforge.jp/mailman/archives/gonzui-devel/2006-August/000421.html

gonzui を svscan の下で動かすってできる？
webrickってなんかすぐ落ちそうだからやってみたんだけど、
/service/gonzui: up (pid 28001) 1 seconds
www# svstat /service/gonzui
/service/gonzui: up (pid 28006) 0 seconds
みたいな感じで up downを繰り返してる。

>>97
ふつうに動かしてたけど。

つか、ログくらい見れ。

http://www.google.com/codesearch
これ gonzui の中の人もからんでいる？

>>99
それはないだろう。
gonzuiも例によって放置されとるし。

例とは、何の例ですか。