分享
 
 
 

SAX 实现“增量文件”

王朝java/jsp·作者佚名  2006-01-08
窄屏简体版  字體: |||超大  

SAX 实现“增量文件”

(wang hailong)

本文假设您对XML,DOM,SAX等“词儿”比较熟悉。J

本文所举的例子都用Java语言,但原理相通,同样适用于C++和C#。

1.XML格式的“增量文件”

我们知道,编程打开文件的方式有几种,read,write,append,等等。Append方式打开的文件就可以称为“增量”文件,新的内容可以被增加到文件的末尾。Log日志文件的纪录,基本都是采取这种方式。“增量文件”的一种重要应用就是Log日志文件。我们不用考虑文件里面“已有”的内容,只要简单地添加,添加。

对于复杂的情况,Append方式就不够用了。如果我们在Log日志文件用到了格式处理,(如HTML格式,XML格式),这时,就不能把新的内容简单地添加到文件的末尾,我们必须考虑文件里面“已有”的内容,把新的内容放在合适的位置。比如,Log日志文件采用HTML格式,我们至少需要把新的内容放在放在<html><body>和</body></html>标签的中间,甚至应该放在<table>和</table>等标签的中间。我们要保证文件格式的正确,信息位置的正确。

本文提到的格式信息,结构信息,特指XML格式。文中讨论的“增量文件” 特指XML格式的“增量文件”。本文旨在说明解析、操作XML格式“增量文件”的方法。

2.XML数据的处理方法

2.1 XML Database

如果你需要对文件数据进行功能完善的管理,添加,删除,查询,比较等等,请考虑使用XML Database,请参考一些Open Source Project,比如Apache XIndice。

2.2 DOM + XPath

解析文件,生成DOM Tree,对DOM Tree的节点进行添加操作。可以和XPath进行配合使用,比如,想一步定位到目标节点,”HTML/BODY//TABLE[position()=last()]”,定位到HTML文件的最后一个table,把需要添加的栏目加到这个table中。

关于XPath的使用,可以参考Apache Xalan的例子,关于XPathAPI的例子。

优点:概念清晰,结构良好,代码易读。

缺点:占用较多的时间和空间,使用XPath反复搜索DOM Tree的情况尤其如此。

2.3 SAX + Filter

解析文件,产生SAX事件,处理SAX事件。SAX以Pipeline管道方式运作,可以在Pipeline管道上加入一些Filter,进行链式处理,前一步SAX事件的处理结果,成为下一步的SAX事件。

缺点:SAX的概念不如DOM直观,代码的易读性不如DOM,结果只能一遍生成,不能反复搜索。SAX编程的结构性通常不如DOM。

优点:SAX的编程难度并不比DOM高,需要的编码量甚至常常少于DOM的编码量。SAX快速,占用空间很少。

2.4 XML-Object Binding

XML数据和Java对象进行绑定。把XML元素映射为一个Java对象,XML元素的属性或子元素映射为Java对象的成员变量。

相关的Open Source Project : Sun Jaxb; Castor. 等等。

绑定方式分为静态绑定和动态绑定。动态绑定比较灵活,但速度比较慢。本文倾向于静态绑定,后面主要讲静态绑定的特性。

静态绑定的过程:编写XML Schema文件;用代码生成工具处理XML Schema文件,自动生成java类;使用自动生成的java类的对象,相当于直接操作XML数据。

优点:这种方法的编程难度最小,代码的结构化最好。速度比DOM快(快的有限),空间比DOM小(小的有限),和DOM一样,生成结果树,能够反复搜索查找。

缺点:速度比SAX慢,占空间比SAX大。当文档结构复杂到一定程度,自动生成的代码成为一个负担。

2.5 关于Apache Project的其它参考

http://xml.apache.org 核心为 Apache Xerces和Apache Xalan.

http://jakarta.apache.org/commons/digester.html (small size) Digester : XML-Object动态绑定。

http://jakarta.apache.org/commons/jxpath/index.html JXPath : 使用XPath操作Java层级对象。

3.SAX实现“增量文件”

现在切入正题。SAX的时间和空间效率最高,本文主要讨论这种方法。

SAX的核心接口是ContentHandler接口,ContentHandler接受SAX事件,进行处理。

我们现在面对的问题是文件操作,首先需要的是一个能够把SAX事件写到文件里面的ContentHandler。这个类对于我们的问题非常重要。

Apache Xerces和Apache Xalan提供了一些XML的Serializer类,提供了一些XML的Filter类,还实现了transform包里面的Source和Result接口。合理地把这些类组装成起来,就可以实现一个灵活的处理管道。

因为本文对应的问题很小,不必要引入这样的复杂度。ContentHandler接口并不是很复杂,而且有这么多的开放源代码可以参考,我们自己来实现一个最简单的SAXWriter类,用来把SAX事件写到一个文件里面。下面的代码是从Apache Xerces的代码中抽取出来,实现最简化的功能。

3.1 SAXWriter的代码

package example;

import org.xml.sax.SAXException;

import org.xml.sax.Attributes;

import org.xml.sax.ContentHandler;

import org.xml.sax.helpers.DefaultHandler;

import java.io.OutputStreamWriter;

import java.io.PrintWriter;

import java.io.Writer;

import java.io.OutputStream;

import java.io.IOException;

import java.io.UnsupportedEncodingException;

public class SAXWriter extends DefaultHandler{

public SAXWriter() {

}

/** Print writer. */

protected PrintWriter printWriter;

/** Sets the output stream for printing. */

public void setOutput(OutputStream stream, String encoding)

throws UnsupportedEncodingException {

if (encoding == null) {

encoding = "UTF8";

}

java.io.Writer writer = new OutputStreamWriter(stream, encoding);

printWriter = new PrintWriter(writer);

} // setOutput(OutputStream,String)

/** Sets the output writer. */

public void setOutput(java.io.Writer writer) {

printWriter = writer instanceof PrintWriter

? (PrintWriter) writer : new PrintWriter(writer);

} // setOutput(java.io.Writer)

// ContentHandler methods

/** Start element. */

public void startElement(String uri, String local, String raw,

Attributes attrs) throws SAXException {

printWriter.print('<');

printWriter.print(raw);

if (attrs != null) {

int len = attrs.getLength();

for (int i = 0; i < len; i++) {

printWriter.print(' ');

printWriter.print(attrs.getQName(i));

printWriter.print("=\"");

printWriter.print(attrs.getValue(i));

printWriter.print('"');

}

}

printWriter.print('>');

printWriter.flush();

} // startElement(String,String,String,Attributes)

/** End element. */

public void endElement(String uri, String local, String raw) throws

SAXException {

printWriter.print("</");

printWriter.print(raw);

printWriter.print('>');

printWriter.flush();

} // endElement(String)

/** Characters. */

public void characters(char ch[], int start, int length) throws SAXException {

printWriter.write(ch, start, length);

printWriter.flush();

} // characters(char[],int,int);

/** Ignorable whitespace. */

public void ignorableWhitespace(char ch[], int start, int length) throws

SAXException {

characters(ch, start, length);

printWriter.flush();

} // ignorableWhitespace(char[],int,int);

}

下面扩展这个类。

3.2 ContentAppender的源代码

package example;

import org.xml.sax.SAXException;

import org.xml.sax.Attributes;

import org.xml.sax.ContentHandler;

import org.xml.sax.helpers.DefaultHandler;

public class ContentAppender extends SAXWriter{

String root = null;

String message = null;

public ContentAppender(){

}

public void appendMessage(String message){

this.message = message;

}

/** Start element. */

public void startElement(String uri, String local, String raw, Attributes attrs)

throws SAXException {

if(root == null){ // record the root element

root = raw;

}

super.startElement(uri, local, raw, attrs);

}

/** End element. */

public void endElement(String uri, String local, String raw) throws SAXException {

if(message != null && raw.equals(root)){ // if it is the end of root element

super.startElement("", "message", "message", null);

printWriter.print(message);

super.endElement("", "message", "message");

printWriter.println();

}

super.endElement(uri, local, raw);

}

}

扩展SAXWriter,我们可以把新添加的内容放置在任何一个元素里面。ContentAppender类把新添加的内容加在根元素的最后一个节点。

3.3 主函数

package example;

// java

import java.io.File;

import java.io.InputStream;

import java.io.FileInputStream;

import java.io.FileOutputStream;

import java.io.IOException;

import java.io.FileNotFoundException;

import java.io.UnsupportedEncodingException;

// org.xml

// Imported SAX classes

import org.xml.sax.InputSource;

import org.xml.sax.SAXException;

import org.xml.sax.helpers.ParserAdapter;

import org.xml.sax.helpers.XMLReaderFactory;

import org.xml.sax.helpers.XMLFilterImpl;

import org.xml.sax.XMLReader;

import org.xml.sax.XMLFilter;

import org.xml.sax.ContentHandler;

// Imported Serializer classes

import org.apache.xalan.serialize.Serializer;

import org.apache.xalan.serialize.SerializerFactory;

import org.apache.xalan.templates.OutputProperties;

public class IncrementalWriter {

public void process(String logFile, String newMessage) throws Exception{

String newFileName = logFile + ".new";

// Create an XMLReader.

XMLReader reader =

XMLReaderFactory.createXMLReader ("org.apache.xerces.parsers.SAXParser") ;

ContentAppender handler = new ContentAppender();

FileOutputStream fo = new FileOutputStream(newFileName);

handler.setOutput(fo, null);

handler.appendMessage(newMessage);

reader.setContentHandler(handler);

reader.parse(logFile);

fo.close();

// delete old file and rename new file to log file.

File oldFile = new File(logFile);

oldFile.delete();

File newFile = new File(newFileName);

newFile.renameTo(new File(logFile));

}

// for example, a.xml is as below

// <root>

// <message>old message</message>

// <root>

public static void main(String[] args) throws Exception{

IncrementalWriter tester = new IncrementalWriter();

tester.process("a.xml", "hello"); // append “hello” to a.xml file.

}

}

这三个文件很简单。Jdk1.4下编译通过。执行的结果是,在a.xml文件中,增加一条元素。

4.应用建议

以上讲述了一个最简单的例子,(限于能力,我无法再简化了)。

以上的代码,每写一条信息,就要处理一次文件,这样频繁读写文件的效率很低。

实际的应用中,可以结合其它方法。比如,先把信息存在内存的DOM Tree或者Java Object里面,存放到一定数量的时候,再调用类似上面的代码,把数据一次存放到文件中。

本文推荐一种方法,把XML-Object Binding和SAX结合使用。比如,使用jaxb的XML-Object binding机制,用XML-Object存放结构简单的部分数据,然后用SAX把这些数据一次一次地存放到结构复杂的XML文件里面的某个指定位置。

当文件变得很大的时候,建议分成几个文件存储。

有可能加快内存回收的代码如下(可以照此释放DOM Tree或者Java Object):

Vector v = new Vector(2000);

// process vector, after that

v = null; // cancel the reference

System.gc(); // suggest JVM to collect unused Object

5.按照XML格式解析HTML

HTML的结构性不够好,所以出现了结构化文档XML。事物总是相互影响的。HTML的不足催生了XML,XML的出现和发展,又反过来影响HTML的处理过程。

下面简单介绍按照XML结构解析HTML页面的方法——用DOM或者SAX解析HTML。

5.1 HTMLBuider

Apache Xerces包含一个org.apache.html.dom包,实现了这些HTML文档元素的接口。其中的HTMLBuider类是入口类,实现了org.xml.sax.DocumentHandler接口,接受SAX事件,生成HTML文档树。

这种方法的关键是找到一个合适的XMLReader,对HTML文档进行解析。很多XML解析器的容忍度很低,大多数HTML文档不是良好结构的XML,所以,经常有一些重要的HTML元素解析不出来。

5.2 NekoHTML Project

NekoHTML Open Source Project使用Apache Xerces的XNI(Xerces Native Interface)接口,对HTML文档进行解析,是一个不错的开源项目。

能够基本上不遗漏地处理每一个HTML元素生成HTML文档树。能够基本上不遗漏地对应每一个HTML元素产生SAX事件。

NekoHTML可以采用前述的两种方法处理HTML文档——(1)DOM+XPath,(2)SAX+Filter。

DOM+XPath的例子很直观,简单易读,容易上手。SAX+Filter比较难以理解,不易上手。

使用SAX+Filter的步骤:

1.建立自己的Filter,实现org.apache.xerces.xni.parser.XMLDocumentFilter接口。

参见org.cyberneko.html.filters包。

2.创建org.cyberneko.html.parsers.SAXParser。调用

parser.setFeature("http://cyberneko.org/html/features/balance-tags", false); // optional

XMLDocumentFilter[] filters = new XMLDocumentFilter[]{myFilter, writer}; // create filters

parser.setProperty("http://cyberneko.org/html/properties/filters", filters); // set filters

parser.parse(…);

6.总结

XML和相应工具的出现,大大减轻了我们的文档处理的工作量,加快了我们的工程项目的进度。J

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有