yacc & lex

yaccとは、"yet another compiler-compiler"(さらにもう一つのコンパイラ-コンパイラ)という意味で、
yaccの開発者である、スティーヴ・ジョンソン氏が当時(1972年頃)に存在していた同種のプログラムの多さを
皮肉った言葉に由来している。yaccはその中で生き残ったごく少数のうちの一つである。

lexはyaccがパーサーを作成するのと同様の方法で字句解析ルーチンを作る。即ち、自分の言語の字句規則の
仕様を正規表現と、その正規表現に一致する文字列が見つかった時に、実行すべきCプログラムにより記述すればよい。

lexとyaccは、我々が既に書いてきた字句解析ルーチンと同一のメカニズムで、共同して働く。

>>1
えっと・・・おめでとう？

flex & bison ですが、何か？

オライリー本を買ったのがそんなに嬉しかった、ってことかな

>>4
引用としての体をなしてないので著作権に抵触してますな。>>1は。
通報してくる。

>>2
2get荒らしなのか、俺に対する励ましなのか分からんのだが、、、

とにかく、ココはyacc&lexに関するスレという事でヨロシク!!

>>5
なっ、何をもってそのような事が、、、

ここは、自信のないスレ、なのか……?

　　　　　　　　　　　　　　　　　　　　＼
　　　　　　　　　　　　　　 　　　　　　　＼　　新ｽﾚおめでとうございまぁす☆
　　　　　　　　　　　　　　　　　　　　　　　＼
　　　　　　　　　　　　　　　 　　　　　　　　　＼　　 　　　　　　　　 /|　　　。.
　　　　　　　　　　　　　　　　　　　　　　　,,-'―＼　　　　　　 ＿,／ﾉ　　　.　.
　　　　　　　　＿＿＿,,-―――＝''￣￣　 　 ＿,,-'―＝'''￣＿,／|　　o　　　　*
_,,-―＝'''￣　　　　　 ＿＿＿,,-―――＝''￣ ＿_,-―＝''￣　　 / .　　　.　.
　　　＿,,-―＝'''￣　　　　　　　 ＿,,-―＝''￣　ヽ　　　　　　　／　　+
￣￣　　　　　　　 ＿,,-―＝'''￣　　　　　　　　　　＼　　　　／　　. .　.　　.
　　　　　 ,,-＝''￣　　　　　　　　　　　　　　　　　　　ヽ　　／　　　　.　　。. ★　　☆
　　　 ,,,-''　　　　　　　　ﾉ　　　　　　　　　　　 　 ﾉ 　 ヽ／　　　　　。.　　　　.
-―''￣　　　　　　　　（;;;）　　　　|＿＿＿,/　　（;;;）　　 |　　　.　☆　　+
.　　|　　　 　 　 ..::::::::::::... 　 　 　 |　　 　 /　　 　..:::::::...　|　+　.　　　.　.
　　 |　　　　　 　 　 　 　 　 　 　 | 　 　 /　　　　　　　　|　　　　.　.　　　☆
　　ヽ　 　 γ´~⌒ヽ.　　　　 　　 |　　 /　　　　　 　 　 /☆　.　*　　+.　　.
――ヽ 　 /　　　　　 ヽ　　　　　 |　 /　　　　　　　　 /⌒ヽ、.　　.　　.　.
　　　　＼/　　　　　　　|　　 　 　 |_/　　　 　 　 　 ／　　　 ヽ +★
　 　 　 / 　　　　　　　 |　　　　　　　　　　　　　／　　　　　ﾉ　*　　☆

　

ヤッケ？

>>12
ユッケ食いたいなぁ・・・。

http://pc3.2ch.net/test/read.cgi/tech/1021136715/l50

lex どんな時に使ってる?

みゆりんってだれ？

>>15
使わない。
業務システムのコンサル SE だから。
# いまは、ぷー太郎だけど。

率直な話、プログラマじゃなきゃ使い道ないとおもうなぁ。
ふつーの文字列処理で使えるものなのか？
一般人の使うような使い方があったらだれか教えて

>>18
個人的なプチコンパイラつくって悦に浸るとき。

意外と便利だが、最近はXMLパーサを利用してしまう……

>>18
lex は、正規表現の複雑なことをするには、sed より便利だよ。
覚えとくと非常に便利。

>>21
lex が必要になることがあまりないな。
たいていは sed で済んじゃうし。

そういえば SJIS to EBIDIK 変換の前処理を
C で書いたけど lex 使えば楽だったかも。

>>21
でも Perl でも十分。
lex が必要になったことは滅多にない。

個人レベルでパーサ作る時はracc使うなあ…
正直、lex&yaccは面倒すぎ。

俺、yacc は使うけど lex の部分は手で書いちゃう。
再帰降下型パーサーで、ちょちょいと書けるような
簡単な文法だと、yacc も使わずに、すべて手で書い
ちゃう。
これって、ひょっとして old type よりもさらに
older ってことですか？ 欝だ死脳

いや、yacc も lex も使わず手で書いてしまうってのはよくある。

何でいまだにほとんどのUnixに標準添付なのかと。








いやツールのmakeんときに必要なんだろうけどさ

まだだ！まだおわらんよ！
>>27
perlのコンパイルの時も使います

yacc & lex 本で良いのどれ? ってもう買っちゃったけど。
C のインタープリタ作りたい。>>0

SymphonyXに見えた

>>30
あのｳｿｺﾊﾞｿﾄﾞか

プログラム板にも何冊か推薦図書がありましたが、ぼくが参考にしたのは
yacc/lex プログラムジェネレータ on UNIX 五月女健治　テクノプレス
コンパイラ構成法　原田賢一　共立出版

他にも「コンパイラ」に関する本は何冊かありましたが、むしろ
yacc/lex の使い方よりもコンパイラの理論が中心になっているので、
初心者には取っつきにくいかもしれません。

>>32ハンドル間違えた。

http://www.linux.or.jp/JF/workshop/JF-in-Progress.html
の翻訳進捗状況一覧眺めていたら
Lex-YACC-HOWTO 未訳だってさ。
2CHer で訳さない?

>>29
俺は「yaccによるCコンパイラプログラミング」って本が激しくよかったんですが
(lexは扱ってないけど)絶版になったと聞きました。

>>萌え萌え
あぁ! それ買ったんですよ。

>>35
そのものズバリなタイトルですね。読みたゐな♪

lex&yacc入門なら

「UNIXプログラミング環境」 アスキー

に、素晴らしい章がある。本気でやってみたいんなら、
この章を読むためだけに買ってもいいんじゃないかと思う。
これを読んだ後で、ほかの本を買えばいいんじゃないかな。

でも、この本、まだ売ってんのかな？

>>37
それってカーニハンのですか? 本屋で見かけたような・・・。
見付けたらゲットしてみます。

>>37
その章だけ学校の図書館でコピーしたよ、昔。

>>36
本のほうは入手困難ぽ。俺もだいぶ苦労しますた。

Cマガの99年10月号についてるCDにキモの部分が入ってるそうなんで
(http://www.context.co.jp/~cond/books/ ご参照)
これをなんとか入手するのが早いかもです。

x86向けコードを吐き出す (最適化はあんまりやってないけど)
実物のCコンパイラを題材として分かりやすく説明してくれてるいい本でした。

>>37
残念ながらそっちも絶版ぽ

本気で言語処理系学ぶならやっぱドラゴンブックに挑むのがいいんかねえ。

読み方についてなのだが、以下の形でよいのだろうか？

lex ......... レックス
yacc .... ヤック
flex ....... フレックス
bison ... バイソン

lex ﾚﾌ
yacc ﾔｯｼｯｼｰ
flex ﾌﾚﾌ
bison ﾋﾞｿﾝ

れきしかるあならいざじぇねれーた
いぇっとあなざーこんぱいらこんぱいら
ふぁーすとれきしかるあならいざじぇねれーた
のうし

炒飯
餃子
レバニラ炒め
天津飯

>>41
いいんじゃネーノ？

UNIXに関する言葉のカタカナ読みスレッド
http://pc.2ch.net/test/read.cgi/unix/979465046/

誰か、%type に複数の項目をカンマで区切って並べる書き方の載っている
マニュアルか何かを知りませんか?

bison-1.75 がタコで、ルールの末尾のセミコロンが絶対必要になったのと
複数項目をカンマで区切って並べる書き方を認めなくなったおかげで、
世間に存在する大量の yacc コードがコンパイルできなくなった模様。
作者は「こりゃ仕様だセミコロンつけないヤシが悪いんだゴルァ」と
MLでおっしゃってます。

直してもらおうと思って Single Unix Specification ではどうなって
いるか調べてみたんだけど、ダメらしい。yaccによるyaccの文法定義は
PSD:15の孫引きなんで、世間のマニュアルはみんな右に倣えの予感。

V7のyaccをコンパイルして試してみたらカンマでもちゃんと通ります。

>>41
覚えたてのころは、ごっちゃになって
レック
ヤックス
とか言ってた

（＾＾）

やっくすのせりかた

http://pc2.2ch.net/test/read.cgi/tech/1045139908/

（＾＾）

（＾＾）

あぼーん

flex でルール部を C の変数で動的に生成することって出来ないですかね？

>>55
何にでも当てはまるようなオマンコガバガバのルールに対して、
切り出したトークンの値に応じて C の内部で場合分けをして逝くのはどうかしら。。。

クククのクーソ。。。

あぼーん

自己晒しage

>>55
flexの内部テーブルをいじればいけるんじゃないすか。
そこまでするなら自分で字句解析したほうが楽な気もします。

yacc -d とか bison -y が通らないものは
"byacc"つかうとたいてい通る。

しかしナニをするものなのかとかは
全くシラン。

あぼーん

盛り上がんないなあ

>>34
ほらよ
http://www.linux.or.jp/JF/JFdocs/Lex-YACC-HOWTO.txt

>>55

ルールを出力、 *.l を作成
↓
flex を実行、 *.c を作成
↓
コンパイル
↓
yylex() を dlopen()

とか？

lex って状態機械作るんですよね。単にテーブルに要素追加すればオケという
ほど簡単でもないと思うんだけど？ >>58

58っす

>>62
そっか、そうだな。

しかしlex使うシチュエーションって少ねえなあ。

あぼーん

あぼーん

設定ファイルの書式もなんだかんだでXMLになりつつあるしなあ。

>>63
正規表現ライブラリの代わりとか

補修

raccのこととかも語ってちょ。

アドベンチャーゲームなど用にスクリプトプログラムを作成したいのですが、
そのような目的にyaccやlexって向いていますか？

yaccやlexについて調べようとおもったのですが、見つけることができませんでした。

開発環境はWindowsですので、bisonとflexというのを入れてみました。

>>70
スクリプトプログラムを作成するインタプリタプログラムを作るには
むいてるかもしれない。日本語周りは要注意ね。

Unix板的には
「既存のものを使え」
「既存のもので満足できなければ改造しろ」
と思う。車輪の再発明はもっとも愚かだ

Lexで標準入力以外(例えば文字列)を取得したい場合、下記のような定義をすると思うんですが、

#undef YY_INPUT
#define YY_INPUT(buf, result, max_size) (result = my_yyinput(buf, max_size))

この場合、my_yyinput()はどういうタイミングで呼ばれるのでしょうか？
また、bufの値はどこで設定すればよいのでしょうか？

>>71
私は車輪を再発明して理解しろ。という方が好きです

学生やアマチュアはそれで良いんじゃないの

　

>>71
お前は愚かだ

車輪の再発明は勉強にはなるけど学生のうちに済ませとけ

自分らは普段なにやってるの？車輪磨き？

ＵＮＩＸプログラミング環境

在庫があるところにはあるらしい
www.boople.com/servlet/AFsearch?&isc=&idn=321429&iqm=2

>>79
普通に買えるみたい。
http://www.junkudo.co.jp/detail2.jsp?ID=0185262822
http://bookweb.kinokuniya.co.jp/guest/cgi-bin/wshosea.cgi?W-NIPS=9850359668
家の近所の本屋でも売ってました。

からあげ　うまうま　だよもん

flex のyy_push_state() って、FlexLexer ではprotected なのですが
ってことは、.y 側のルールでyy_push_state() を使うのはunsupported でつか?

初めて lex を使ってみました。なんか面白いのねん。

lex は yy.lex.c吐くわ、yyナンチャラいう変数/関数をもってるわ
なぜそこで yy？ あんた lexさんでしょう？と思ってしまうのですが

yyがつくものは yaccへの引渡しを想定していますよという暗示なのん？
なんつ−か、
歴史的な経緯とかyacc/lex開発時のエピソ−ドがあるようなら教えて下しい
もしかして lex is Yet another Yacc だからとかいう話しなのかしらん？

という質問はくだ質逝ったほうが吉？

<< yy.lex.c
>> lex.yy.c 誤記ですた

bisonでコンパイルするときに使う記号テーブルって何で必要なんだ?
誰か教えてくれorz

ぐぐっても見つかんない・・・

>>84
sourceの行番号の受け渡しとか、
協調しないといけないものがあるから。
--stdoutで切り替えられるから問題ないでしょ。
yyin, yyoutとか。

>>86
えーと、'+'とか'-'とかですめばいいけど、
"if"とか"then"とかをtokenとして扱いたいから。

>>86
そんなレベルで bison 使うの？

使わないといけないらしいです。
http://www.kuzbass.ru/docs/unixprogenv/src/hoc4/
これでy=1+5*yを計算したときにどうなるかって言う課題が出て
プリントを復習中ですけど、明日までに間に合いそうに無いので
困り果ててますorz

constpush:1
constpush:5
varpush:x
eval
mul
add
varpush:y
assign
pop
STOP
って感じでいいのかなぁ・・・。

なんじゃそりゃ

yyac 使って，define に相当するようなコマンドをもつ
コンパイラ or インタプリタを作るには
どうしたらいいのでしょうか．

参考文献を教えて下さると有難いです．

それとも不可能ですか？

BNFで書けるなら（つまり文脈自由文法なら）yaccで記述出来るし
BNFで書けないならyaccで記述出来ない

そのdefineをBNFで書いて見る事をお奨めする

ああ、ひょっとして91が作りたかったのは
defineじゃなくてインタプリタの事じゃないだろうか？
もしそうならyaccでは不可能。
だって、yaccはCompiler Compilerだから。

(´・ω・｀)

>>93

>>55

>>93
マクロ定義ができるコンパイラが作りたかったんじゃね？

(´・ω・｀)

関数定義ができるコンパイラを yacc で記述するにはどうしたらいいですか？

100ｹﾞﾄ!
普通が一番だよ

rAwIsK name is Kostya.My nick is Zold . I want to find friends .ICQ 324600825

antlr

BS1にチョムスキー出てた

c言語でコメント/*から*/を字句解析できないようにさせるには、
規則部にどういう正規表現をすればいいですか？

/*
・・・・・・
*/
となっています。

lex?

flexのFAQに、
How can I match C-style comments?
ってのがあるよ。

flex だったらそれでいいね。

一般的には、
非欲張り型量指定子 *? が使えるなら /\*.*?\*/ でおk

使えない場合は少々厄介で、
/\*([^*]|\*+[^/*])*\*+/

詳説正規表現の第二版だと 6.6.8.3 にある。

>>105,106
どうもありがとうございました。
大変恐縮なんですが規則部に入れるバージョンで教えてもらえないですか？
"/*"
から始まると思いますが・・・

>>105,106
lex用に直してコンパイルしましたらできました。
"/*"+[^/*]*+"*/
また教えて下さい。

ファイルからプログラムを読み込ませてそのプログラムに出てくる演算子とか
識別子の数を一番下に表示させるようにするにはどうしたらいいですか？

パーズしろ。

C言語のコメントってプリプロセッサが空白に置換するものだよ。

サーバの役割のひとつに
クライアントからの電文をプロトコルにしたがって解析して、処理し、返答を
返すという役割があるかと思います。

パーサジェネレータをつかって、簡単に上記のような枠組みを
実装するようなことはできないでしょうか。

インタプリタをパーサジェネレータを使って実装するような流れはあるのに、
drubyやerlang、アクターモデルなどの実装方法とパーサジェネレータが
なぜか結び付けられていないのが不思議に思われます。

>>112
思いて学ばざれば則ち殆うし。

>>112
つ ASN.1 ←>>112の言う方向の最後の試み
つ object serialization ←もうそれはOOの方でやっちゃいますわ

パーサジェネレータだけ知ってて状態機械知らないの？

>>114
CORBAｷﾀｰ

本格的な構文解析が必要な通信プロトコルを設計するのがそもそも間違いですから

>>109
おまえ信大の学生だろ。それは簡単だよ。　
コメントを読み飛ばすのは108を書けばOK

学生か
図書館にyaccの解説本の1冊ぐらいあるだろ

>>112
昔 Webアプリのプロトタイプを開発していた時に
画面遷移処理を yacc で直接的に実装した事があるよ。
入力トークンをクライアントからの要求電文に、
状態を画面(HTML)に対応させた。
Mosaic と CERN httpd の時代。

　　状態1: <要求a> { 要求処理と<応答x>の返信 } 状態2
　　　　　| <要求b> { 要求処理と<応答y>の返信 } 状態3
　　　　　;

できないのか？とか不思議？と思うのなら、自分で試すのが一番。
できれば Estelle あたりを参考に専用の言語を設計し、
Stateパターンのコードを生成する処理系を実装してみてもいい。

　　from 状態1
　　　when <要求a> to 状態2 action 要求処理と<応答x>の返信 end;
　　　when <要求b> to 状態3 action 要求処理と<応答x>の返信 end;

そして、これらパーサジェネレータ志向アプローチの利点と欠点は何か、
今、なぜ普及していないのか(or これから普及していくのか)を考えよう。

cc y.tab.c -ll -o abc
Undefined symbols:
"_yylex", referenced from:
_yyparse in ccMGRLwg.o
ld: symbol(s) not found
collect2: ld returned 1 exit status

エラーが取れない…
lexはなんとかいけたのにyaccはさっぱりだ

_yylexがない、っていうんだから、yylex()を定義すればいいんじゃないの？

なんとか121はこえたのでパースエラーと戦ってくる
>>122ありがとう

Cのラベルみたいなもの

任意の文字列　最後に特殊文字(:とか)

はlex側でなくてyacc側で認識させるものなの？

labelname ':'

とyaccで扱うのが普通じゃないか?

ケースバイケースだと思うけど。

C 言語の場合、
a ? b : c;
の一部という場合があるので、<識別子> ":" を、lex で無条件に <ラベル> にするわけにはいかない。

>>91
>>93

いやyacc, lexを使ってインタープリターは作れる。

ＧＵＩのテストをするための、カーソル移動、マウスクリックの
シミュレートをするプログラムを作ったことがあり、
インタラクティブに画面上の移動、パスの記録などを
できるようにしたことがある。

マニュアルをよく読めば見当がつくはず。yylexだっけ、インプットストリームの
切り替え部分に気をつければずっと読み込みをしながら、
一行コマンドラインの処理をしつつ、エラーの処理もyaccで行なって
インタープリターはつくれますよ。
（あ、一行でコマンドが終わるとするとかなり楽になる。
セミコロンみたいな　シンボルが来るまで終わらないというのはちょっと
うれしくない。一行でコマンドが終わって、どうしても必要なら行末の
バックスラッシュで継続行とかするのがよい。）

インタープリターで対話的に作ったスクリプトを、再度編集しなおして
標準入力から放り込めば、ＧＵＩプログラムのパッケージの
テストができるというものでした。

BNFCもいいな

命令文２つを１つに変換したい

statmnt1 argX argY
statmnt2 argY

を

statmntA argX argY

にしたい。
argYが一致しない場合は
statmnt1 　→　statmntA2
statmnt2 →　statmntB

にしたい。しかしうまい書き方が思いつかない

スレの趣旨がわからん

質問です。
http://www.w3.org/TR/CSS21/grammar.html
このページでYACCの文法が載ってますが、拡張されているのでそのまま
使えません。この中で、

expr
: term [ operator? term ]*

はどうやってYACC文法で書けばいいでしょうか？

一般にA*は、
X =
X = A | X
A?は、
X =
X = A
と定義したXで置き換えられる。

その後>>132のいうように分割して定義する事がわかったので、そうして
定義していますが、複雑になるとかなり分割数が増えるので面倒ですね…

めんどうだから拡張されてるんじゃないの。

http://www.w3.org/TR/CSS21/grammar.html
このYACC文法がそのまま入力出来るツールがあってほしいね。

文法は違うけど、
parsec辺りは拡張BNFがOKで、
自然な記述でアクションも定義できる。

>>135
> http://www.w3.org/TR/CSS21/grammar.html
ラッパ作りゃいいんじゃね?

コンパイラコンパイラのコンパイラコンパイラになるのか？