C3语言定义(EBNF方言)
关键字:
Section
Class
End
Scanner
Parser
Rule
Label
Letter
Digit
LetterOrDigit
UpperLetter
LowerLetter
Symbol
WhiteSpace
CrLf
操作符:
=>
,
+
*
[]
!
|
其它字符:
()
;
其中Section,Class,End,Rule,Label为EBNF语言通用关键字。
Label只允许使用一个终结符作为推导。
Scanner,Parser作为特殊关键字,表示扫描器和分析器的规则。
Letter等为Scanner规则专用关键字,它将对应于其字面意义的字符类型。
=> 为推导符,表示前面的规则是由后面的产生式推导出来的。不允许出现在推导表达式中。
; 为推导结束符号,类似于c中的逻辑行结束符。
, 为连接符,也可以使用空白。
+ 为正闭包,后置运算符,表示其前面的元素的正整数次幂是可接受的。
* 星闭包,后置运算符,表示其前面的元素的自然数次幂是可接受的。
[] 可选,表示其中的元素可以匹配也可以不匹配。
() 括号,处理优先级问题。
! 非,后置运算符,扫描器规则专用。并且只允许单个字符或其或操作进行非操作。
| 或,表示可以匹配多个元素中的一个。
其中*,+,!为一元运算符。
连接和或为二元运算符。
优先级为
!>*=+>连接>或
区别Unicode字符与普通字符。
由于实现问题,扫描器的规则使用Label型的字符串表示的.NET正则表达式。而不是标准的EBNF语言的语义。主要是转换上的技术问题。
示例代码:
1. ID=>Letter+;
上面的例子是说标签ID是由字符的正闭包组成的,即一个或多个字符组成。例如:a,aaaaa,Hello….都是合法的ID,而a2,__a__都是不合法的。
2. ID=>LetterOrDigit*;
ID由字符或数字的星闭包,即0个或多个字符或数字组成。例如:φ,aa,sss,a3,a2都是合法的。
3. ID=>Letter!+;
ID由不是字符的符号组成。例如:32-9023&*)是合法的,而234af是不合法的。
4. ID=>”Hello”;
ID只有一个合法形式,即Hello,其他形式一概不合法。
5. ID=>”Hello”|”Hi”;
ID只有两个合法形式,即Hello和Hi,其他形式一概不合法。
6. ID=>”aaa”[“sss”]”ddd”;
ID可以匹配aaaddd也可以匹配aaasssddd,即sss是可选的。
注意事项:
不要把WhiteSpace关键字作为语句的开始,因为它不生成匹配代码。规则调用要放在终结符匹配之前。
这样,一个EBNF方言的基本结构已经渐渐呈现出来了。接下来我们使用C3来描述它自己。同时我们就可以看到C3的用法以及证明其可用性。
EBNF自描述:
Class Scanner '这是必不可少的,否则没有扫描器,整个编译器都没法工作。
Section Operator '操作符段,标识所有的操作符,可以使用与VB类似的单词型的操作符。
Label Trans=>"=>"; '推导符,表示右边的表达式是左边的规则的推导。
Label EndLine=>";"; '由于有些规则非常长,以及出于代码的可读性的担心,
'使用结束符来表示语句的结束,同时由于忽略空白的特性
'使其可以和C语言一样将语句分成多个行来书写以增强可读性。
Label Join=>","; '在初期的策划中,空白有意义,但在后继版本中,空白
'不再有意义,所以间隔两个单词就需要一个分隔符,由此保留。
Label Positive=>"+"; '正闭包
Label Repeat=>"*"; '星闭包
Label LOpt=>"["; '可选开始
Label ROpt=>"]"; '可选结束。可选符实际上有两个符号组成,由于也是括
'号所以也有分割/改变优先级的作用。
Label Not=>"!"; '非,只可用于扫描器的单字符或字符集。
End Section
Section KeyWord '关键字段,将所有的关键字都放在这里。
Label K_Section=>"Section"; '用于声明区段
Label K_Class=>"Class"; '声明类,实际上目前的语法只有两个类,即Scanner和Parser
Label K_End=>"End"; '结束区段或类
Label K_Scanner=>"Scanner"; '
Label K_Parser=>"Parser"; '
Label K_Rule=>"Rule"; '声明一个语法规则
Label K_Label=>"Label"; '声明一个字符串常量
Section Letters
Label K_Letter=>"Letter";
Label K_Digit=>"Digit";
Label K_LOD=>"LetterOrDigit";
Label K_Upper=>"UpperLetter";
Label K_Lower=>"LowerLetter";
Label K_Symbol=>"Symbol";
Label K_WhiteSpace=>"WhiteSpace";
End Section
Label K_CrLf=>"CrLf";
End Section
Section Comment
Label LineComment=>"'"; '注释
End Section
Section Other '这个段的规则使用.NET的正则表达式而简化
'转换的复杂性
Rule ID=>("_"LetterOrDigit|Letter)("_"|LetterOrDigit)*; '"((_[\d\p{L}])|\p{L})[_\d\p{L}]*"
Rule String=>""""(""""!|"""""")*""""; '"""([^""]|"""")*"""
End Section
End Class
Class Parser
Rule Program=>ScannerDecl ParserDecl; '扫描器类在前,分析器类在后。
Rule ScannerDecl=>
"Class" "Scanner"
[OperatorSection]
[KeyWordSection]
[CommentSection]
[OtherRuleSection]
"End" "Class";
Rule OperatorSection=>
"Section" "Operator"
SCSectionDecl*
LabelDecl*
"End" "Section";
Rule KeyWordSection=>
"Section" "KeyWord"
SCSectionDecl*
LabelDecl*
"End" "Section";
Rule CommentSection=>
"Section" "Comment"
[LineComDecl]
[BlockComStart '声明了开始符就必须声明结束符,否则将被忽略。
BlockComEnd]
"End" "Section";
Rule OtherSection=>
"Section" "Other"
SCSectionDecl*
LabelDecl*
"End" "Section";
Rule LineComDecl=>"Rule" "LineComment" "=>" String; '注释符显然只能是一个字符串。
Rule BlockComStart=>"Rule" "BlockCommentStart" "=>" String;
Rule BlockComEnd=>"Rule" "BlockCommentEnd" "=>" String;
Rule SCSectionDecl=>
"Section" ID
(LabelDecl|SCRuleDecl)*
"End" "Section";
Rule SCROSectionDecl=> '只允许声明规则的Section,这是上面的规范所要求的,
'但是为了实现上的方便,实际上并没有使用。
"Section" ID
SCRuleDecl*
"End" "Section";
Rule LabelDecl=>"Label" ID "=>" String;
Rule SCRuleDecl=>"Rule" ID "=>" SCExp;
Rule SCQExp=>("(" SCExp ")")|("[" SCExp "]");
Rule SCExp=>SCOrExp["!"]["*"|"+"];
Rule SCOrExp=>SCJoinExp("|" SCJoinExp)*;
Rule SCJoinExp=>SCExpElem([","] SCExpElem)*;
Rule SCExpElem=>String|Letters|SCQExp;
'下面的是分析器的
Rule ParserDecl=>
"Class" "Parser"
(SectionDecl
|RuleDecl)*
"End" "Class";
Rule RuleDecl=>"Rule" ID "=>" Exp;
Rule QExp=>("(" Exp ")")|("[" Exp "]");
Rule Exp=>OrExp["!"]["*"|"+"];
Rule OrExp=>JoinExp("|" JoinExp)*;
Rule JoinExp=>ExpElem([","] ExpElem)*;
Rule ExpElem=>String|ID|QExp;
Rule SectionDecl=>
"Section" ID
(LabelDecl|RuleDecl)*
"End" "Section";
Rule ROSectionDecl=>'只允许声明规则的Section
"Section" ID
RuleDecl*
"End" "Section";
End Class
给出上面的EBNF自描述的目的在于既可以使人更深入的了解C3的目的、格式、含义、语法。接下来我们要着手实现这个C3的编译器。