随笔-341  评论-2670  文章-0  trackbacks-0
    这个分析器包含了四个文件:
    VL_Data_Basic.h(使用了其中的智能指针VL_AutoPtr和一些类型重命名)
    VL_CpData.h(数据结构)
    VL_CpKernel.h/cpp(词法分析器和语法分析器)

    昨天刚写好的,可能有Bug,这个东西供给熟悉编译原理(至少熟悉BNF notation)的人互相学习交流,并不打算作为一个成品出现。以下是将一个四则运算式子的字符串进行词法分析,分割成记号之后求值的代码:
  1 #include "..\..\..\..\VL++\Library\Platform\VL_Console.h"
  2 #include "..\..\..\..\VL++\Library\Data\Grammar2\VL_CpKernel.h"
  3 
  4 using namespace vl;
  5 using namespace vl::platform;
  6 using namespace vl::grammar;
  7 
  8 enum Operator
  9 {
 10     opAdd,
 11     opSub,
 12     opMul,
 13     opDiv
 14 };
 15 
 16 enum TokenID
 17 {
 18     tiNumber,
 19     tiLeft,
 20     tiRight,
 21     tiAdd,
 22     tiSub,
 23     tiMul,
 24     tiDiv
 25 };
 26 
 27 VDouble Number(const VL_CpToken& Input)
 28 {
 29     return VUnicodeString(Input.Start,Input.Length).ToDouble();
 30 }
 31 
 32 Operator Op(const VL_CpToken& Input)
 33 {
 34     switch(Input.ID)
 35     {
 36     case tiAdd:return opAdd;
 37     case tiSub:return opSub;
 38     case tiMul:return opMul;
 39     case tiDiv:return opDiv;
 40     default:return (Operator)-1;
 41     }
 42 }
 43 
 44 VDouble RemoveBracket(const VL_CpPair<VL_CpPair<VL_CpToken , VDouble> , VL_CpToken>& Input)
 45 {
 46     return Input.First.Second;
 47 }
 48 
 49 VDouble Calculate(const VL_CpPair<VDouble,VL_CpList<VL_CpPair<Operator,VDouble>>>& Numbers)
 50 {
 51     VDouble Result=Numbers.First;
 52     VL_CpList<VL_CpPair<Operator,VDouble>>::Node::Ptr Current=Numbers.Second.Head;
 53     while(Current)
 54     {
 55         switch(Current->Data.First)
 56         {
 57         case opAdd:
 58             Result+=Current->Data.Second;
 59             break;
 60         case opSub:
 61             Result-=Current->Data.Second;
 62             break;
 63         case opMul:
 64             Result*=Current->Data.Second;
 65             break;
 66         case opDiv:
 67             Result/=Current->Data.Second;
 68             break;
 69         }
 70         Current=Current->Next;
 71     }
 72     return Result;
 73 }
 74 
 75 void Parse()
 76 {
 77     VL_CpLexer Lexer;
 78     Lexer
 79         <<Token(false,L"(",tiLeft)
 80         <<Token(false,L")",tiRight)
 81         <<Token(false,L"+",tiAdd)
 82         <<Token(false,L"-",tiSub)
 83         <<Token(false,L"*",tiMul)
 84         <<Token(false,L"/",tiDiv)
 85         <<Token(false,_Float,tiNumber)
 86         ;
 87 
 88     _Wrapper<VL_CpTokenNodePtr , VDouble> Factor,Term,Expr;
 89     Factor    = (Number<<=Token(tiNumber)) | (RemoveBracket <<= Token(tiLeft) + Expr + Token(tiRight));
 90     Term    = Calculate <<= Factor + *((Op<<=Token(tiMul)|Token(tiDiv)) + Factor);
 91     Expr    = Calculate <<= Term + *((Op<<=Token(tiAdd)|Token(tiSub)) + Term);
 92 
 93     VL_CpParser<VL_CpTokenNodePtr , VDouble> p=Expr;
 94     VL_CpParser<VL_CpTokenNodePtr , VDouble>::_FullResult Value=p.Parse(Lexer.Parse(L"(1+2)*(3+4)").First.Head);
 95     GetConsole()->Write(L"结果:\t"+VUnicodeString(Value.Head->Data.First)+L"\r\n");
 96 }
 97 
 98 void vlmain()
 99 {
100     GetConsole()->SetTitle(L"Vczh Combinator Parser");
101     GetConsole()->SetTestMemoryLeaks(true);
102     GetConsole()->SetPauseOnExit(true);
103 
104     Parse();
105 }


    点击这里下载。
posted on 2009-04-03 17:21 陈梓瀚(vczh) 阅读(5765) 评论(9)  编辑 收藏 引用 所属分类: 作品

评论:
# re: C++轻量级可配置语法分析器(开源) 2009-04-03 19:20 | CPP09
Another lightweight parser combinator?  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源)[未登录] 2009-04-03 20:00 | david
请教可配置的含义是什么?  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2009-04-03 20:19 | 1shou
问题是 你的头文件里面包含了些什么东东?  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2009-04-03 20:30 | 1shou
走眼了。。呵呵,,原来没用你以前的 头文件了呵。  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2009-04-03 20:43 | 陈梓瀚(vczh)
@david
也就是说,被分析的字符串的格式可以让你轻松表达,分析过程不用你管的意思。我下午用这个东西小库写了个四则运算到语法树的代码,只需5分钟。  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2009-04-03 20:45 | 陈梓瀚(vczh)
@CPP09
这个是无聊弄着玩的,参考Graham Hutton写的《Higher-Order Functions for Parsing》。纯函数式语言跟C++的模板还真是像啊。  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2009-04-04 22:14 | 陈梓瀚(vczh)
还真是发现了些bug。  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2012-04-28 20:52 | anna
想问一下博主,这个代码里让用户自己输入regex,并通过regex制造出NFA,在到DFA的代码主要集中在哪一块呢? 如果某个字符串匹配了,是否能输出是命中了哪条规则呢?  回复  更多评论
  
# re: C++轻量级可配置语法分析器(开源) 2012-04-28 21:21 | 陈梓瀚(vczh)
@anna
能,因为一个我每一个DFA终结状态都保存了他是属于哪条regex的。  回复  更多评论
  

只有注册用户登录后才能发表评论。
【推荐】超50万行VC++源码: 大型组态工控、电力仿真CAD与GIS源码库
网站导航: 博客园   IT新闻   BlogJava   知识库   博问   管理