| 導購 | 订阅 | 在线投稿
分享
 
 
當前位置: 王朝網路 >> mssql >> 講解SQL Server海量數據導入的最快方法
 

講解SQL Server海量數據導入的最快方法

2008-07-11 05:57:51  編輯來源:互聯網  简体版  手機版  評論  字體: ||
 
 
  這篇論壇文章(賽迪網技術社區)詳細講解了SQL Server海量數據導入的最快方法,更多內容請參考下文:

  最近做某項目的數據庫分析,要實現對海量數據的導入問題,就是最多把200萬條數據一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用戶來說友好性太差,實際不大可能使用;最後決定使用BULK INSERT語句實現,BULK INSERT也可以實現大數據量的導入,而且可以通過編程實現,界面可以做的非常友好,它的速度也很高:導入100萬條數據不到20秒中,在速度上恐怕無出其右者。

  但是使用這種方式也有它的幾個缺點:

  1.需要獨占接受數據的表

  2.會産生大量的日志

  3.從中取數據的文件有格式限制

  但相對于它的速度來說,這些缺點都是可以克服的,而且你如果願意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。

  對與産生占用大量空間的日志的情況,我們可以采取在導入前動態更改數據庫的日志方式爲大容量日志記錄恢複模式,這樣就不會記錄日志了,導入結束後再恢複原來的數據庫日志記錄方式。

  具體的一個語句我們可以這樣寫:

  alter database taxi

  set RECOVERY BULK_LOGGED

  BULK INSERT taxi..detail FROM 'e:\out.txt'

  WITH (

  ?? DATAFILETYPE = 'char',

  ?? FIELDTERMINATOR = ',',

  ?? ROWTERMINATOR = '\n',

  ?TABLOCK

  )

  alter database taxi

  set RECOVERY FULL

  這個語句將從e:\out.txt導出數據文件到數據庫taxi的detail表中。
 
 
 
上一篇《微軟計劃八月正式發布SQL Server 2008》
下一篇《用一條SQL實現:一行多個字段數據的最大值》
 
 
 
日版寵物情人插曲《Winding Road》歌詞

日版寵物情人2017的插曲,很帶節奏感,日語的,女生唱的。 最後聽見是在第8集的時候女主手割傷了,然後男主用嘴幫她吸了一下,插曲就出來了。 歌手:Def...

兄弟共妻,我成了他們夜裏的美食

老鍾家的兩個兒子很特別,就是跟其他的人不太一樣,魔一般的執著。兄弟倆都到了要結婚的年齡了,不管自家老爹怎麽磨破嘴皮子,兄弟倆說不娶就不娶,老父母爲兄弟兩操碎了心...

如何磨出破洞牛仔褲?牛仔褲怎麽剪破洞?

把牛仔褲磨出有線的破洞 1、具體工具就是磨腳石,下面墊一個硬物,然後用磨腳石一直磨一直磨,到把那塊磨薄了,用手撕開就好了。出來的洞啊很自然的。需要貓須的話調幾...

我就是掃描下圖得到了敬業福和愛國福

先來看下敬業福和愛國福 今年春節,支付寶再次推出了“五福紅包”活動,表示要“把欠大家的敬業福都還給大家”。 今天該活動正式啓動,和去年一樣,需要收集“五福”...

冰箱異味産生的原因和臭味去除的方法

有時候我們打開冰箱就會聞到一股異味,冰箱裏的這種異味是因爲一些物質發出的氣味的混合體,聞起來讓人惡心。 産生這些異味的主要原因有以下幾點。 1、很多人有這種習...

《極品家丁》1-31集大結局分集劇情介紹

簡介 《極品家丁》講述了現代白領林晚榮無意回到古代金陵,並追隨蕭二小姐化名“林三”進入蕭府,不料卻陰差陽錯上演了一出低級家丁拼搏上位的“林三升職記”。...

李溪芮《極品家丁》片尾曲《你就是我最愛的寶寶》歌詞

你就是我最愛的寶寶 - 李溪芮 (電視劇《極品家丁》片尾曲) 作詞:常馨內 作曲:常馨內 你的眉 又鬼馬的挑 你的嘴 又壞壞的笑 上一秒吵鬧 下...

烏梅的功效與作用以及烏梅的食用禁忌有哪些?

烏梅,又稱春梅,中醫認爲,烏梅味酸,性溫,無毒,具有安心、除熱、下氣、祛痰、止渴調中、殺蟲的功效,治肢體痛、肺痨病。烏梅泡水喝能治傷寒煩熱、止吐瀉,與幹姜一起制...

什麽是脂肪粒?如何消除臉部脂肪粒?

什麽是脂肪粒 在我們的臉上總會長一個個像脂肪的小顆粒,弄也弄不掉,而且顔色還是白白的。它既不是粉刺也不是其他的任何痘痘,它就是脂肪粒。 脂肪粒雖然也是由油脂...

網絡安全治理:國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰受害者

來源:中國青年報 新的攻擊方法不斷湧現,黑客幾乎永遠占據網絡攻擊的上風,我們不可能通過技術手段杜絕網絡攻擊。國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰...

 
 
 
這篇論壇文章(賽迪網技術社區)詳細講解了SQL Server海量數據導入的最快方法,更多內容請參考下文: 最近做某項目的數據庫分析,要實現對海量數據的導入問題,就是最多把200萬條數據一次導入sqlserver中,如果使用普通的insert語句進行寫出的話,恐怕沒個把小時完不成任務,先是考慮使用bcp,但這是基于命令行的,對用戶來說友好性太差,實際不大可能使用;最後決定使用BULK INSERT語句實現,BULK INSERT也可以實現大數據量的導入,而且可以通過編程實現,界面可以做的非常友好,它的速度也很高:導入100萬條數據不到20秒中,在速度上恐怕無出其右者。 但是使用這種方式也有它的幾個缺點: 1.需要獨占接受數據的表 2.會産生大量的日志 3.從中取數據的文件有格式限制 但相對于它的速度來說,這些缺點都是可以克服的,而且你如果願意犧牲一點速度的話,還可以做更精確的控制,甚至可以控制每一行的插入。 對與産生占用大量空間的日志的情況,我們可以采取在導入前動態更改數據庫的日志方式爲大容量日志記錄恢複模式,這樣就不會記錄日志了,導入結束後再恢複原來的數據庫日志記錄方式。 具體的一個語句我們可以這樣寫: alter database taxi set RECOVERY BULK_LOGGED BULK INSERT taxi..detail FROM 'e:\out.txt' WITH ( ?? DATAFILETYPE = 'char', ?? FIELDTERMINATOR = ',', ?? ROWTERMINATOR = '\n', ?TABLOCK ) alter database taxi set RECOVERY FULL 這個語句將從e:\out.txt導出數據文件到數據庫taxi的detail表中。
󰈣󰈤
 
 
 
  免責聲明:本文僅代表作者個人觀點,與王朝網路無關。王朝網路登載此文出於傳遞更多信息之目的,並不意味著贊同其觀點或證實其描述,其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,並請自行核實相關內容。
 
 
最漂亮的香港幼稚園老師
萬裏挑一的氣質型白領
神舟筆記本優雅美女
花蕾般的少女
台風下的香港
小東江晨曲
江西--婺源--三清山
沙漠的情趣
 
>>返回首頁<<
 熱帖排行
 
 
王朝网络微信公众号
微信扫码关注本站公众号 wangchaonetcn
 
© 2005- 王朝網路 版權所有