分享
 
 
 

.net2.0中使用SqlBulkCopy进行大批量数据迁移

王朝c#·作者佚名  2006-11-24
窄屏简体版  字體: |||超大  

在.Net1.1中无论是对于批量插入整个DataTable中的所有数据到数据库中,还是进行不同数据源之间的迁移,都不是很方便。而在.Net2.0中,SQLClient命名空间下增加了几个新类帮助我们通过DataTable或DataReader批量迁移数据。数据源可以来自关系数据库或者XML文件,甚至WebService返回结果。其中最重要的一个类就是SqlBulkCopy类,使用它可以很方便的帮助我们把数据源的数据迁移到目标数据库中。

下面我们先通过一个简单的例子说明这个类的使用:

DateTime startTime;

protected void Button1_Click(object sender, EventArgs e)

{

startTime = DateTime.Now;

string SrcConString;

string DesConString;

SqlConnection SrcCon = new SqlConnection();

SqlConnection DesCon = new SqlConnection();

SqlCommand SrcCom = new SqlCommand();

SqlDataAdapter SrcAdapter = new SqlDataAdapter();

DataTable dt = new DataTable();

SrcConString =

ConfigurationManager.ConnectionStrings["SrcDBConnectionString"].ConnectionString;

DesConString =

ConfigurationManager.ConnectionStrings["DesDBConnectionString"].ConnectionString;

SrcCon.ConnectionString = SrcConString;

SrcCom.Connection = SrcCon;

SrcCom.CommandText = " SELECT * From [SrcTable]";

SrcCom.CommandType = CommandType.Text;

SrcCom.Connection.Open();

SrcAdapter.SelectCommand = SrcCom;

SrcAdapter.Fill(dt);

SqlBulkCopy DesBulkOp;

DesBulkOp = new SqlBulkCopy(DesConString,

SqlBulkCopyOptions.UseInternalTransaction);

DesBulkOp.BulkCopyTimeout = 500000000;

DesBulkOp.SqlRowsCopied +=

new SqlRowsCopiedEventHandler(OnRowsCopied);

DesBulkOp.NotifyAfter = dt.Rows.Count;

try

{

DesBulkOp.DestinationTableName = "SrcTable";

DesBulkOp.WriteToServer(dt);

}

catch (Exception ex)

{

lblResult.Text = ex.Message;

}

finally

{

SrcCon.Close();

DesCon.Close();

}

}

private void OnRowsCopied(object sender, SqlRowsCopiedEventArgs args)

{

lblCounter.Text += args.RowsCopied.ToString() + " rows are copied<Br>";

TimeSpan copyTime = DateTime.Now - startTime;

lblCounter.Text += "Copy Time:" + copyTime.Seconds.ToString() + "." + copyTime.Milliseconds.ToString() + " seconds";

}

接着具体分析这几行代码:

SqlBulkCopy DesBulkOp;

DesBulkOp = new SqlBulkCopy(DesConString, SqlBulkCopyOptions.UseInternalTransaction);先生成SqlBulkCopy 实例,构造函数指定了目标数据库,使用SqlBulkCopyOptions.UseInternalTransaction是指迁移动作指定在一个Transaction当中,如果数据迁移中产生错误或异常将发生回滚。其他选项请参考MSDN。

DesBulkOp.BulkCopyTimeout = 500000000;

指定操作完成的Timeout时间

DesBulkOp.SqlRowsCopied += new SqlRowsCopiedEventHandler(OnRowsCopied);

DesBulkOp.NotifyAfter = dt.Rows.Count;

try

{

DesBulkOp.DestinationTableName = "SrcTable";

DesBulkOp.WriteToServer(dt);

}

NotifyAfter属性指定通知通知事件前处理的数据行数,在这里指定为表的行数,并添加SqlRowsCopied事件输出整个迁移过程的时间。WriteToServer方法就是将数据源拷备到目标数据库。在使用WriteToServer方法之前必须先指定DestinationTableName属性,也就是目标数据库的表名,

我们还可以自己定义一个Transaction,例如:

SqlTransaction Transaction;

Transaction =

SrcCom.Connection.BeginTransaction();

SqlBulkCopy DesBulkOp;

DesBulkOp = new SqlBulkCopy(new SqlConnection(DesConString),

SqlBulkCopyOptions.Default,

Transaction);

try

{

//..

}

catch{}

finally

{

Transaction.Commit();

}

另外还有一个SqlBulkCopyColumnMapping类,可以让数据源字段映射到目标数据中命名不同的字段上。也就是说如果目标数据和源数据的列名不同时,可以用这个类进行映射:

SqlBulkCopyColumnMapping ColMap = new SqlBulkCopyColumnMapping("SrcCol", "DesCol");

DesBulkOp.ColumnMappings.Add(ColMap);

或者可以直接添加映射:

DesBulkOp.ColumnMappings.Add("SrcCol", "DesCol");

性能问题:

我使用上面的例子测试,迁移了2万条左右的记录,花的时间不到一秒,应改说性能还是不错的。另外,使用SQL Profile监视迁移事件,可以看见请求记录非常少,只有几条而已。据说使用SqlBulkCopy可以大大减少数据迁移的时间。

 
 
 
免责声明:本文为网络用户发布,其观点仅代表作者个人观点,与本站无关,本站仅提供信息存储服务。文中陈述内容未经本站证实,其真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
2023年上半年GDP全球前十五强
 百态   2023-10-24
美众议院议长启动对拜登的弹劾调查
 百态   2023-09-13
上海、济南、武汉等多地出现不明坠落物
 探索   2023-09-06
印度或要将国名改为“巴拉特”
 百态   2023-09-06
男子为女友送行,买票不登机被捕
 百态   2023-08-20
手机地震预警功能怎么开?
 干货   2023-08-06
女子4年卖2套房花700多万做美容:不但没变美脸,面部还出现变形
 百态   2023-08-04
住户一楼被水淹 还冲来8头猪
 百态   2023-07-31
女子体内爬出大量瓜子状活虫
 百态   2023-07-25
地球连续35年收到神秘规律性信号,网友:不要回答!
 探索   2023-07-21
全球镓价格本周大涨27%
 探索   2023-07-09
钱都流向了那些不缺钱的人,苦都留给了能吃苦的人
 探索   2023-07-02
倩女手游刀客魅者强控制(强混乱强眩晕强睡眠)和对应控制抗性的关系
 百态   2020-08-20
美国5月9日最新疫情:美国确诊人数突破131万
 百态   2020-05-09
荷兰政府宣布将集体辞职
 干货   2020-04-30
倩女幽魂手游师徒任务情义春秋猜成语答案逍遥观:鹏程万里
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案神机营:射石饮羽
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案昆仑山:拔刀相助
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案天工阁:鬼斧神工
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案丝路古道:单枪匹马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:与虎谋皮
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:李代桃僵
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案镇郊荒野:指鹿为马
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:小鸟依人
 干货   2019-11-12
倩女幽魂手游师徒任务情义春秋猜成语答案金陵:千金买邻
 干货   2019-11-12
 
推荐阅读
 
 
 
>>返回首頁<<
 
靜靜地坐在廢墟上,四周的荒凉一望無際,忽然覺得,淒涼也很美
© 2005- 王朝網路 版權所有