前段时间,高级数据库原理课程结课,老师布置了一个大作业——实现一个分布式数据库查询系统,因为鄙人一直学习.net,故想使用这个平台实现,以进一步提高自身的水平。开始热情致高,吾在网上搜了N天,也没有什么好的资料,只找到一篇题目为《利用C#实现分布式数据库查询》的文章,此篇文章在多个site上都有雷同,作者不详……
摸索了几天,找到了实现的方案——.NET Remoting 技术可以实现远程对象,而ADO.NET则提供了强大的数据存取接口。我对ADO.NET比较熟悉,问题的难点就在与如何实现远程服务器。虽然是一边摸索,一边做,但是已经小有成果,呵呵,基本实现了老师的要求,诚然,做出的这个东东还很幼稚,几乎没什么实际价值,但是,还是值得拿出来给有这方面需要的同行提供一些信息,或者请这方面的高手指点一下。
下面开始言归正传。
开始动手之前,你需要了解.NET Remoting 技术的基本理论,熟悉分布式数据库原理,熟练掌握ADO.NET,并熟悉VS.NET的开发环境。下面仅就这几个方面做些简单的介绍。
Remoting:一种分布式处理方式,也可将它看作是DCOM的一种升级,它改善了很多功能,并极好的融合到.Net平台下。.NET Remoting 提供了一种允许对象通过应用程序域与另一对象进行交互的框架。
在Remoting中是通过通道(channel)来实现两个应用程序域之间对象的通信的。
首先,客户端通过Remoting,访问通道以获得服务端对象,再通过代理解析为客户端对象。这就提供一种可能性,即以服务的方式来发布服务器对象。远程对象代码可以运行在服务器上(如服务器激活的对象和客户端激活的对象),然后客户端再通过Remoting连接服务器,获得该服务对象并通过序列化在客户端运行。
在Remoting中,对于要传递的对象,设计者除了需要了解通道的类型和端口号之外,无需再了解数据包的格式。但必须注意的是,客户端在获取服务器端对象时,并不是获得实际的服务端对象,而是获得它的引用。这既保证了客户端和服务器端有关对象的松散耦合,同时也优化了通信的性能。
分布式数据库系统
就其本质而言,分布式数据库系统的数据在逻辑上是统一的,而在物理上却是分散的。与集中式数据库相比它有如下主要优点:
· 解决组织机构分散而数据需要相互联系的问题。
· 均衡负载。负载在各处理机间分担,可避免临界瓶颈。
· 可靠性高。数据分布在不同场地,且存有多个副本,即使个别场地发生故障,不致引起整个系统的瘫痪。
· 可扩充性好。当需要增加新的相对自主的组织单位时,可在对当前机构影响最小的情况下进行扩充。
ADO.NET
分布式数据库系统虽然有诸多优点,但它同时也带来了许多新问题。如:数据一致性问题、数据远程传递的实现、通信开销的降低等,这使得分布式数据库系统的开发变得较为复杂。幸运的是,微软的.NET开发环境为我们提供了C#开发语言和ADO.NET数据访问模型,结合两者来开发分布式数据库系统能够大大简化开发工作。
ADO.NET以XML为核心,是.Net数据库应用程序的解决方案。它使用离线数据结构,数据源中的数据被缓存到数据集(DataSet)对象中,用户无须锁定数据源,数据以XML格式保存。在分布式数据库系统中,很可能出现多个用户同时访问和修改数据的情况,因此,对于分布式数据库系统,数据一致性是不可或缺的。ADO.NET通过使用乐观一致性方案来控制数据一致性(实际上DataSet对象被设计成支持使用乐观一致性控制机制),即数据行只有在数据库中真正被更新时才会被锁定,而在悲观一致性方案中,数据行在从被提取出来到在数据库中更
新这段时间内一直被锁定。因此,使用ADO.NET能够在更少的时间内响应数量巨大的用户。
另外,在分布式数据库系统中,还会经常遇到当用户修改自从提取出来以来已经被修改的行时,违反一致性原则。对此问题ADO.NET也作了很好地解决,即使用DataSet对象为每一条修改过的记录维护两个版本:原始版本和更新版本,在更新的记录被写回数据库之前,先要把数据集中记录的原始版本与数据库中的当前版本进行比较,如果两个版本匹配,就在数据库中更新记录;否则,就会出现违反一致性原则的错误。
下面开始程序实现。
第1章 系统总体结构
1.1 总体结构图
系统实现需要部署服务器端的远程对象(即一个DbServerLibrary.dll),服务器端要注册通道和该远程对象。客户端要实现一个本地查询的服务器,同时根据SQL解析的结果向各个服务器发送命令,并将结果显示在客户端界面,服务器端可以接受并显示相应的命令。
1.2 关键组件结构图
系统结构中关键的组件有远程对象,和本地服务器,实现的功能基本一致。下面以远程
对象为例,说明组件的实现。远程对象在服务器端解决方案下的库文件中声明,通过服务器端进行注册,客户端通过TCP通道与服务器端远程对象通信,实现数据集的查询和传输。主要的数据成员有:SqlConnection(SQL Server数据库的连接对象)、 SqlCommand (SQL命令对象)、SqlDataAdapter(数据适配器,填充数据集)组件——DbServerLibrary:
第2 章 数据字典结构
因时间仓促,未实现数据字典,所有实验要求的SQL经过解析后,直接通过代码判断,
向相应场地发送命令。
第3 章 代码结构
代码分为三部分:远程对象,服务器端代码和客户端代码。
其中:远程对象部署在各个服务器端,客户端除了实现查询命令的解析和传送外
外,还有一个本地服务器,进行相应的本地查询。
远程对象代码:
using System;
using System.Runtime.Serialization;
using System.Data;
using System.Data.SqlClient;
using System.Windows.Forms;
namespace DbServerLibrary
{
[SerializableAttribute] //It is very important for Remoting Data
public class DbServer : MarshalByRefObject
{
private string connStr;
private string clientSql;
public SqlConnection sqlConn;
public SqlCommand sqlComm;
public SqlDataAdapter sqlAdapter;
public void GetClientSql(string sql)
{
if(clientSql != null)
{
clientSql = null;
}
clientSql = sql;
MessageBox.Show(clientSql);
}
public DbServer()
{
//LocalData Initialize
connStr = "Data Source = localhost;Initial Catalog=DDB;User ID=sa;Password=;";
sqlConn = new SqlConnection(connStr);
}
public DataSet GetDataSet() // 执行select
{
DataSet ds = new DataSet();
if (sqlComm != null)
{
sqlComm = null;
}
if(sqlConn.State == ConnectionState.Closed)
{
sqlConn.Open();
}
try
{
sqlComm = new SqlCommand();
sqlComm.Connection = sqlConn;
sqlComm.CommandText = clientSql;
sqlComm.CommandType = CommandType.Text;
sqlAdapter = new SqlDataAdapter();
sqlAdapter.SelectCommand = sqlComm;
sqlAdapter.Fill(ds);
}
catch(SqlException ex)
{
MessageBox.Show(ex.Message);
}
return ds;
}
public int ExecuteSql() //执行insert和delete
{
int affectedNumber;
if (sqlComm != null)
{
sqlComm = null;
}
if(sqlConn.State == ConnectionState.Closed)
{
sqlConn.Open();
}
try
{
sqlComm = new SqlCommand();
sqlComm.Connection = sqlConn;
sqlComm.CommandType = CommandType.Text;
sqlComm.CommandText = clientSql;
affectedNumber = sqlComm.ExecuteNonQuery();
return affectedNumber;
}
catch(SqlException ex)
{
MessageBox.Show(ex.Message);
return 0;
}
}
}
}
服务器端代码:
private void frmSupplierServer_Load(object sender, System.EventArgs e)
{
TcpChannel chan = new TcpChannel(8888);
ChannelServices.RegisterChannel(chan);
//注册提供服务的远程对象 RemotingConfiguration.RegisterWellKnownServiceType(typeof(DbServerLibrary.DbServer),"DbServer",WellKnownObjectMode.Singleton);
}
客户端代码:
解析SQL:SqlParse.cs
namespace SupplierClient
{
public class SqlParse
{
//得到sql语句的类型
public string GetSqlType(string sqlText) //type of SQL statements
{
}
//得到select语句要查询的表名
public string GetSelectTableName(string sqlText)
{
}
//得到select语句中的where子句
public string GetWhereClause(string sqlText)
{
}
//得到查询条件中的字段名
public string GetSelectField(string sqlText)
{
}
//得到分片依据,返回Scity的值
public string GetSelectCityValue(string sqlText)
{
}
//设定select语句经解析后的格式
public ArrayList SetSelectList(string sqlText)
{
}
//如果没有分片信息,则向3个场地都发送命令
public ArrayList SendToAllSite(string sqlText)
{
}
//得到insert语句要查询的表名
public string GetInsertTableName(string sqlText)
{
}
//根据插入的表和值,设定场地:INSERT INTO Supplier VALUES('no','name','city'),return city
public string GetInsertCityValue(string sqlText)
{
}
//如果表名是Supplier,则根据city值设定向哪个场地发送命令
public ArrayList SetInsertSite(string sqlText)
{
}
//生成解析后的insert命令列表
public ArrayList SetInsertList(string sqlText)
{
}
本地服务器查询代码:LocalServer.cs
namespace SupplierClient
{
public class LocalServer
{
}
//返回查询结果
public DataSet MakeDataSet(string sqlText)
{
}
//执行插入和删除操作,并返回影响记录数
public int ExecuteSql(string sqlText)
{
}
第4 章 界面
4.1 客户端
客户端启动后,用户首先在文本框中输入SQL命令,然后通过解析后向相应场地发送命令,并将返回的结果集进行合并,显示在界面中,显示结果后空白的文本框用来显示执行插入删除操作时的结果信息。
4.2 服务器
服务器端仅实现对远程对象的注册,因此界面不需要实现功能,只需要在启动时注册远程对象即可,接收到的客户端的用户命令是通过消息框显示的。如上图所示。
第5 章 命令处理及核心算法流程
Insert 操作——
//得到insert语句要查询的表名
public string GetInsertTableName(string sqlText)
{
}
//根据插入的表和值,设定场地:INSERT INTO Supplier VALUES('no','name','city'),return city
public string GetInsertCityValue(string sqlText)
{
}
//如果表名是Supplier,则根据city值设定向哪个场地发送命令
public ArrayList SetInsertSite(string sqlText)
{
}
//生成解析后的insert命令列表
public ArrayList SetInsertList(string sqlText)
{
}
Delete 操作——
向各个场地发送,通过定义数据库中表的关系及约束来保证完整性和一致性,如果删除命令不成功,则返回异常信息,否则,返回各个场地成功执行命令影响的记录数目。
Select 操作——
//得到sql语句的类型
public string GetSqlType(string sqlText) //type of SQL statements
{
}
//得到select语句要查询的表名
public string GetSelectTableName(string sqlText)
{
}
//得到select语句中的where子句
public string GetWhereClause(string sqlText)
{
}
//得到查询条件中的字段名
public string GetSelectField(string sqlText)
{
}
//得到分片依据,返回Scity的值
public string GetSelectCityValue(string sqlText)
{
}
//设定select语句经解析后的格式
public ArrayList SetSelectList(string sqlText)
{
}
//如果没有分片信息,则向3个场地都发送命令
public ArrayList SendToAllSite(string sqlText)
{
}
第6章 结论
远程处理是.NET框架提供的一项强大的技术,利用它可以使位于任何位置的应用程序互相通信,这些应用程序可能在同一台计算机上运行,也可能位于同一局域网中的不同计算机上,或者位于相隔万里的有巨大差异的网络中。
使用.NET Remoting技术结合ADO.Net能够高效、可靠地解决这两方面的问题。具体表现为,在C#中通过使用.Net远程处理框架能够方便地解决数据、命令远程传递问题;C#通过ADO.Net对数据库进行操作,使分布式数据库系统中对数据库的各种操作变得高效、可靠,同时易于解决数据一致性问题。
由于时间关系,程序中仍有部分bug,将在下一步继续完善,而且,还应进一步完善数据字典,使程序结构更加清晰,增强可扩充性。
参考文献
Scott Allen & Syed Fahad Gilani《Beginning C# Databases》2003.3 清华大学出版社
Paul Dickinson & Fabio Claudio Ferracchiati《ADO.NET高级编程》2003清华大学出版社
飞思科技《精通.NET核心技术》2002.8 电子工业出版社
郑宇军《Visual C#.NET案例教程》2002.4 清华大学出版社
周存杰《Visual C#.NET网络核心编程》2002.11 清华大学出版社