分享
 
 
 

用.NET 2.0压缩/解压功能处理大型数据

王朝c#·作者佚名  2008-06-01
窄屏简体版  字體: |||超大  

摘要 假如你的应用程序从未使用过压缩,那么你很幸运。而对于另一部分使用压缩的开发人员来说,好消息是,.NET 2.0如今提供了两个类来处理压缩和解压问题。本文正是想讨论何时以及如何使用这些有用的工具。

引言

.NET框架2.0中的一个新名称空间是System.IO.ComPRession。这个新名称空间提供了两个数据压缩类:DeflateStream和GZipStream。这两个压缩类都支持无损压缩和解压,其设计目的是为了处理流式数据的压缩和解压问题。

压缩是减少数据大小的有效办法。例如,假如你有巨大量的数据存储在你的SQL数据库中,那么假如你在把这些数据保存到一个表之前压缩一下,你就可以节省大量的磁盘空间。而且,既然现在你把更小块的数据保存到你的数据库中,花费在磁盘I/O方面的操作将会大大减少。压缩的缺点是,它要求你的机器进行另外的处理(因此需要另外的处理时间),并且,在你决定把压缩应用于你的程序之前,你需要计算这一部分时间。

压缩在你需要在网上传送数据的情况中是极其有用的,非凡是对于非常慢且代价昂贵的网络,例如GPRS连接。在这种情况中,使用压缩能够极大地缩小数据尺寸并且减少整个通讯耗费。Web服务是另一个领域-此时,使用压缩能提供巨大的优点,因为xml数据能被高度压缩。

但是一旦你认为程序的性能代价值得使用压缩,那么你将需要深入地理解.NET 2.0的两个新的压缩类,而这正是我想在本文中所阐述的。

创建示例应用程序

在本文中,我将构建一个示例应用程序来展示压缩的使用。该应用程序答应你压缩文件,包括普通文本文件。然后,你能够把该示例中的代码重用于你自己的应用程序中。

首先,使用Visual Studio 2005创建一个新的Windows应用程序并且使用下列控件来填充默认的表单(见图1):

图1.填充表单:使用所有显示的控件填充默认的Form1。

· GroupBox控件

· RadioButton控件

· TextBox控件

· Button控件

· Label控件

切换到Form1的code-behind并且导入下列名称空间:

Imports System.IO

Imports System.IO.Compression

在你开始使用压缩类前,理解其工作原理是非常重要的。这些压缩类从一个字节数组中读取数据,压缩它并且把结果存储到一个流对象中。对于解压来说,解压存储到一个流对象中的数据,然后把它存储到另一个流对象中。

首先,定义Compress()函数,它有两个参数:algo和data。第一个参数指定使用哪种算法(GZip或Deflate);第二个参数是一个包含要压缩的数据的字节数组。一个内存流对象将被用来存储压缩数据。一旦压缩完成,你需要计算压缩比,这是用压缩的数据的大小除以解压数据的大小计算的。

然后,存储在内存流中的压缩的数据被复制到另一个字节数组中并且被返回到调用函数。另外,你还要使用一个StopWatch对象来跟踪该压缩算法使用了多少时间。Compress()函数定义如下:

Public Function Compress(ByVal algo As String, ByVal data() As Byte) As Byte()

Try

Dim sw As New Stopwatch

'---ms用于存储压缩的数据---

Dim ms As New MemoryStream()

Dim zipStream As Stream = Nothing

'---开始秒表计时---

sw.Start()

If algo = "Gzip" Then

zipStream = New GZipStream(ms, CompressionMode.Compress, True)

ElseIf algo = "Deflate" Then

zipStream = New DeflateStream(ms, CompressionMode.Compress, True)

End If

'---使用存储在数据中的信息进行压缩---

zipStream.Write(data, 0, data.Length)

zipStream.Close()

'---停止秒表---

sw.Stop()

'---计算压缩比---

Dim ratio As Single = Math.Round((ms.Length / data.Length) * 100, 2)

Dim msg As String = "Original size: " & data.Length & _

", Compressed size: " & ms.Length & _

", 压缩比: " & ratio & "%" & _

", Time spent: " & sw.ElapsedMilliseconds & "ms"

lblMessage.Text = msg

ms.Position = 0

'---用来存储压缩了的数据(字节数组)---

Dim c_data(ms.Length - 1) As Byte

'---把内存流的内容读取到字节数组---

ms.Read(c_data, 0, ms.Length)

Return c_data

Catch ex As Exception

MsgBox(ex.ToString)

Return Nothing

End Try

End Function

这个Decompress()函数将解压由Compress()函数压缩的数据。第一个参数指定要使用的算法。包含压缩的数据的字节数组被作为第二个参数传递,然后它被复制到一个内存流对象中。然后,这些压缩类将解压存储在内存流中的数据,然后把解压的数据存储到另一个流对象中。为了获得解压的数据,你需要读取来自流对象的数据。这是通过使用RetrieveBytesFromStream()函数来实现的(将在后面解释)。

Decompress()函数的定义如下所示:

Public Function Decompress(ByVal algo As String, ByVal data() As Byte) As Byte()

Try

Dim sw As New Stopwatch

'---复制数据(压缩的)到ms---

Dim ms As New MemoryStream(data)

Dim zipStream As Stream = Nothing

'---开始秒表---

sw.Start()

'---使用存储在ms中的数据解压---

If algo = "Gzip" Then

zipStream = New GZipStream(ms, CompressionMode.Decompress)

ElseIf algo = "Deflate" Then

zipStream = New DeflateStream(ms, CompressionMode.Decompress, True)

End If

'---用来存储解压的数据---

Dim dc_data() As Byte

'---解压的数据存储于zipStream中;

'把它们提取到一个字节数组中---

dc_data = RetrieveBytesFromStream(zipStream, data.Length)

'---停止秒表---

sw.Stop()

lblMessage.Text = "Decompression completed. Time spent: " & _

sw.ElapsedMilliseconds & "ms" & _

", Original size: " & dc_data.Length

Return dc_data

Catch ex As Exception

MsgBox(ex.ToString)

Return Nothing

End Try

End Function

这个RetrieveBytesFromStream()函数使用了两个参数:一个流对象,一个整数,并返回一个包含解压的数据的字节数组。这个整数参数用于决定每次把多少个字节从该流对象中读取到字节数组中。这是必要的,因为当数据被解压时,你不知道存在于流对象中的解压数据的大小。因此,有必要动态地把字节数组扩展成块以便存储在运行时刻期间解压缩的数据中。当你不断地扩展字节数组时,块太大会浪费内存,而块太小则会失去珍贵的时间。因此,可以由调用例程来决定要读取的最佳块大小。

RetrieveBytesFromStream()函数的定义如下:

Public Function RetrieveBytesFromStream( _

ByVal stream As Stream, ByVal bytesblock As Integer) As Byte()

'---从一个流对象中检索字节---

Dim data() As Byte

Dim totalCount As Integer = 0

Try

While True

'---逐渐地增加数据字节数组-的大小--

ReDim Preserve data(totalCount + bytesblock)

Dim bytesRead As Integer = stream.Read(data, totalCount, bytesblock)

If bytesRead = 0 Then

Exit While

End If

totalCount += bytesRead

End While

'---确保字节数组正确包含提取的字节数---

ReDim Preserve data(totalCount - 1)

Return data

Catch ex As Exception

MsgBox(ex.ToString)

Return Nothing

End Try

End Function

注重,在Decompress()函数中,你调用了RetrieveBytesFromStream()函数,如下所示:

dc_data = RetrieveBytesFromStream(zipStream, data.Length)

块大小是指压缩的数据的大小(data.length)。在大多数情况中,解压缩的数据要比压缩的数据大几倍(由压缩比所显示),因此,在运行时刻期间你将至多动态地扩展字节数组几倍。作为一个例子,假定压缩比是百分之20而压缩的数据的大小为2MB,那么,在这种情况中,解压的数据将是10MB。因此,该字节数组将被动态地扩展5倍。理想情况下,在运行时刻期间该字节数组不应该被扩展太频繁,因为这将会严重地减慢应用程序运行速度。但是使用压缩的数据的大小作为块大小确是一种好的办法。进入讨论组讨论。

处理压缩事件

现在,既然定义好了主要的压缩和解压例程,那么接下来你就可以为各种按钮进行编码了。相应于Compress按钮的事件处理器如下:

Private Sub BTnCompress_Click(ByVal sender As System.Object, _

ByVal e As System.EventArgs) Handles btnCompress.Click

'---用来存储压缩的数据---

Dim compressedData() As Byte

'---压缩数据---

If rbGZipStream.Checked Then

compressedData = Compress("Gzip",System.Text.Encoding.ASCII.GetBytes(txtBefore.Text))

Else

compressedData = Compress("Deflate",System.Text.Encoding.ASCII.GetBytes(txtBefore.Text))

End If

'---把压缩的数据复制到一个字符串中---

Dim i As Integer

Dim s As New System.Text.StringBuilder()

For i = 0 To compressedData.Length - 1

If i <> compressedData.Length - 1 Then

s.Append(compressedData(i) & " ")

Else

s.Append(compressedData(i))

End If

Next

'---显示压缩的数据为一个字符串---

txtAfter.Text = s.ToString

End Sub

在txtBefore控件中的数据被转换成一个字节数组,然后被压缩。然后,该压缩的数据被转换成字符串以便于在txtAfter中显示。

相应于Decompress按钮的事件处理器如下:

Private Sub btnDecompress_Click(ByVal sender As System.Object, _

ByVal e As System.EventArgs) Handles btnDecompress.Click

'---把压缩的字符串格式化成一个字节数组---

Dim eachbyte() As String = txtAfter.Text.Split(" ")

Dim data(eachbyte.Length - 1) As Byte

For i As Integer = 0 To eachbyte.Length - 1

data(i) = Convert.ToByte(eachbyte(i))

Next

'---解压数据并且显示解压的数据---

If rbGZipStream.Checked Then

txtBefore.Text = System.Text.Encoding.ASCII.GetString(Decompress("Gzip", data))

Else

txtBefore.Text = System.Text.Encoding.ASCII.GetString(Decompress("Deflate", data))

End If

End Sub

它把显示在控件txtAfter中的数据转换成一个字节数组,然后发送它以便进行解压。解压缩的数据被显示回txtBefore控件中。

相应于"Select file to compress"按钮的事件处理器代码如下:

Private Sub btnSelectFile_Click(ByVal sender As System.Object, _

ByVal e As System.EventArgs) Handles btnSelectFile.Click

'---让用户选择一个要压缩的文件--

Dim openFileDialog1 As New OpenFileDialog()

'openFileDialog1.InitialDirectory = "c:\"

openFileDialog1.Filter = "All files (*.*)*.*"

openFileDialog1.RestoreDirectory = True

If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then

'---把文件的内容读入字节数组---

Dim fileContents As Byte()

fileContents = My.Computer.FileSystem.ReadAllBytes(openFileDialog1.FileName)

'---创建gzip文件---

Dim filename As String = openFileDialog1.FileName & ".gzip"

If File.Exists(filename) Then File.Delete(filename)

Dim fs As FileStream = New FileStream(filename, FileMode.CreateNew, Fileaccess.Write)

'---压缩文件的内容---

Dim compressed_Data As Byte()

If rbGZipStream.Checked Then

compressed_Data = Compress("Gzip", fileContents)

Else

compressed_Data = Compress("Deflate", fileContents)

End If

If compressed_Data IsNot Nothing Then

'---把压缩的内容写进压缩的文件中---

fs.Write(compressed_Data, 0, compressed_Data.Length)

fs.Close()

End If

End If

End Sub

它读取由用户选择的文件的内容,压缩它,并且创建一个包含压缩的数据的新文件(具有一样的文件名,但是加上了一个.gzip扩展名)。

相应于"Select file to Decompress"按钮的事件处理器代码如下:

Private Sub btnDecompressFile_Click(ByVal sender As System.Object, _

ByVal e As System.EventArgs) Handles btnDecompressFile.Click

'---让用户选择一个要解压的文件---

Dim openFileDialog1 As New OpenFileDialog()

' openFileDialog1.InitialDirectory = "c:\"

openFileDialog1.Filter = "All GZIP files (*.gzip)*.gzip"

openFileDialog1.RestoreDirectory = True

If openFileDialog1.ShowDialog() = Windows.Forms.DialogResult.OK Then

'---把压缩的文件的内容读入到字节数组---

Dim fileContents As Byte()

fileContents = My.Computer.FileSystem.ReadAllBytes(openFileDialog1.FileName)

'---解压文件的内容---

Dim uncompressed_Data As Byte()

If rbGZipStream.Checked Then

uncompressed_Data = Decompress("Gzip", fileContents)

Else

uncompressed_Data = Decompress("Deflat", fileContents)

End If

'---创建解压的文件---

Dim filename As String = openFileDialog1.FileName.Substring(0, openFileDialog1.FileName.Length - 5)

If File.Exists(filename) Then File.Delete(filename)

Dim fs As FileStream = New FileStream(filename,FileMode.CreateNew, FileAccess.Write)

If uncompressed_Data IsNot Nothing Then

'---把解压内容写入到文件中---

fs.Write(uncompressed_Data, 0, uncompressed_Data.Length)

fs.Close()

End If

End If

End Sub

它读取用户选择的文件的内容,解压之,并且创建一个包含解压的数据的新文件(通过去掉它的.gzip扩展名)。进入讨论组讨论。

测试应用程序

按F5测试应用程序(见图2)。

图2.测试应用程序:选择使用的压缩算法,然后你可以压缩一个文本串或一个文件内容。

你应该注重下列事实:

· 压缩小数量的文本实际上将会导致一种较大的压缩文本。

· 不同的文本将产生不同的压缩比,尽管字符数是固定的。

· 文本文件压缩效果最好;它们能够带来最好的压缩比。

· 其它二进制的文件,例如.exe,jpg,通常压缩效果并不很好并且可能会导致大于百分比之100的压缩比,这是没有价值的。

需要注重的是,.NET中的GZIP和Deflate算法的实现要比市场上的其它第三方GZIP工具具有较低的效率。尽管你能够使用.NET类把10MB的数据压缩到4MB,但是你发现使用一种第三方工具可能会达到一种更小的压缩大小。另外,这个压缩类无法操作大于4GB的数据。然而,在.NET中的实现将答应你解压使用市场中的其它GZIP工具压缩的所有的文件。

小结

在本文中,你已经看到了如何在.NET 2.0中使用压缩类。尽管这种实现还不如市场上的那些非MS方案有效,但是它的确为你提供了一种轻易(免费)的方式来在你的.NET应用程序中加入压缩功能。进入讨论组讨论。

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有