很好很强大的矬人，哇咔咔  回复  更多评论
  

果然经典哈 最后对学习方法的见解对我很有帮助  回复  更多评论
  

向您学习喽  回复  更多评论
  

词法分析部分写好了，不过扩展正则表达式部分懒的写，想先写语法分析器了。
用正则表达式的引擎提供了一套接口给词法分析器。测试了下
测试的内容如下，然后自己把一份代码粘帖了10几次，扩充到3MB，然后分析了下。大约44W标记每秒

AddMoreType( scanner, L"ID", L"[_a-zA-Z][a-zA-Z0-9_]*" );
AddMoreType( scanner, L"ID.IF", L"if" );
AddMoreType( scanner, L"ID.BOOL", L"true|false" );
AddMoreType( scanner, L"ID.ELSE", L"else" );
AddMoreType( scanner, L"ID.WHILE", L"while" );
AddMoreType( scanner, L"ID.DO", L"do" );
AddMoreType( scanner, L"ID.BREAK", L"break" );
AddMoreType( scanner, L"ID.CONTINUE", L"continue" );
AddMoreType( scanner, L"ID.FOR", L"for" );
AddMoreType( scanner, L"OPERATOR", L"\\+|\\-|\\*|/|%|<|>|=|<=|>=|==|!=|!|&&|\\|\\||\\^|;|\\(|\\)|\\{|\\}|,|\\[|\\]" );
AddMoreType( scanner, L"OPERATOR.NOT", L"!" );
AddMoreType( scanner, L"OPERATOR.ADDMINUS", L"\\+|\\-" );
AddMoreType( scanner, L"OPERATOR.MULDIVMOD", L"\\*|/|%" );
AddMoreType( scanner, L"OPERATOR.COMPARE", L"<|>|<=|>=|==|!=" );
AddMoreType( scanner, L"OPERATOR.ASSIGN", L"=" );
AddMoreType( scanner, L"OPERATOR.AND", L"&&" );
AddMoreType( scanner, L"OPERATOR.OR", L"\\|\\|" );
AddMoreType( scanner, L"OPERATOR.XOR", L"\\^" );
AddMoreType( scanner, L"OPERATOR.LEFT", L"\\(" );
AddMoreType( scanner, L"OPERATOR.RIGHT", L"\\)" );
AddMoreType( scanner, L"OPERATOR.BEGIN", L"\\{" );
AddMoreType( scanner, L"OPERATOR.END", L"\\}" );
AddMoreType( scanner, L"OPERATOR.SPLITER", L"," );
AddMoreType( scanner, L"OPERATOR.ARRBEGIN", L"\\[" );
AddMoreType( scanner, L"OPERATOR.ARREND", L"\\]" );
AddMoreType( scanner, L"OPERATOR.FINISH", L";" );
AddMoreType( scanner, L"NUM", L"[0-9]+" );
AddMoreType( scanner, L"REAL", L"([0-9]+\\.[0-9]*)|([0-9]*\\.[0-9]+)" );
AddMoreType( scanner, L"STRING", L"\"([^\\\\\"]|\\\\\\.)*\"" );
AddMoreType( scanner, L"COMMENT.discard", L"#[^\\n]*" );
  回复  更多评论
  

日哦，我写了N多的评论，一下就没了。
正则表达式的引擎的扩展部分，我还是没写```，人懒没办法。过几天最后几门考试考完了后开始看看语法分析部分了。

写这份代码总出过一个大BUG，一个小BUG，大BUG是自己一边调试一边想别的，结果一开始调试了6个小时，后来又调试3个小时总算搞定``，出错的地方很简单就是使用iterator的时候，next到下一个元素的时候，数组变长用了realloc后，指针变了```。哎，我郁闷到了。后来看设计模式的书，发现就讲了这点，删除和重新分配必须得保证那iterator一直正确才行```，羡慕用c++的，我用C，发现设计模式有些地方看不懂，特别是代码部分。

小BUG是昨天晚上出的，结果虽然都出来了，突然发现标记都错了。```，花了两个小时左右搞定。

算了不写了```，小v的文章简单易懂，大家该多看看。
  回复  更多评论
  

设计模式里面的类和接口都是C语言里面没有的概念，模拟起来也比直接支持类的语言麻烦。  回复  更多评论
  

仔细拜读，简单易懂。多谢  回复  更多评论
  

<b>sad</b>  回复  更多评论
  

不错，建议跟libpcre对测一下~  回复  更多评论
  

谢谢楼主这样的精品文章。  回复  更多评论
  

跟大侠请教一个问题：如果让引擎支持unicode的话，只能用分类压缩法。
例如如果只有一个字符单元为：a-z,
那么，内部字符集将被分割为：
编号1、0-96,
编号2、97-122,
编号3、123-65535,
但是有一个问题是在搜索的时候，如何才能快速的得到字符到字符集编号的转换呢？如果用您提到的一张65535个字符的大表来映射的话，也太粗鲁，太耗内存了吧?有没有什么更好的算法呢？那些有名的引擎是怎么做的呢，翻遍了internet没有这方面的任何资料。不知道大侠有什么好的建议？  回复  更多评论
  

@林林
65535*2不就128k，哪里粗鲁，哪里太耗内存了？其实一个程序同时存在的正则表达式是不多的。当然这是O(1)，如果你实在想减少内存，那就没有这么快了，传说中有一种数据结构叫线段树。  回复  更多评论
  

线段树! 谢谢大侠的指点！
之所以觉得耗内存是因为，我认为自己做正则引擎主要并不是用来做单纯的词法搜索的。因为现在正则引擎这么多，自己去做吃力又不讨好。自己做的主要目的在于做词法分析。现在的词法分析引擎还非常难用的，象flex等，生成出来的代码，看了想吐！完全不能接受这种风格的代码入侵到我的工程中。而词法分析是难于避免一个程序有多个分析引擎的。所以才会觉得耗费内存。  回复  更多评论