| 導購 | 订阅 | 在线投稿
分享
 
 
當前位置: 王朝網路 >> mssql >> 經驗總結:SQL Server數據庫對上億表的操作
 

經驗總結:SQL Server數據庫對上億表的操作

2008-08-08 06:10:14  編輯來源:互聯網  简体版  手機版  評論  字體: ||
 
 
  對上億的表進行排序或者上億的表之間進行join,會導致系統失去響應。

  ◆1.我確實做了一個很大的查詢,涉及的數據表有兩億條記錄,而且有一個group by操作,造成CPU、內存和磁盤開銷均很大。後來和微軟的人重新實驗了一下,我的查詢確實會造成系統反應變慢。後來我們也實驗了一下,在這個2億的表上統計一下行數,即select count(*) from table1,用了1分鍾,內存漲了5G左右,磁盤子系統負荷很大,CPU也突然提高。這說明這種上億的表的操作會非常嚴重的降低效率。

  ◆2.整個服務器的磁盤分配是這樣的,網站訪問的數據庫庫位于磁盤陣列中,而我們的統計臨時庫位于D盤中,C和D好像是一個磁盤組,也就相當于是在C盤。我們的數據庫的大量磁盤I/O會導致系統的反應變慢。因此當我的查詢很大的時候,就會使服務器整個系統變慢。

  ◆3.數據庫的數據文件的自增長方式爲每次1024k,數據文件的空間已經接近用光,而要發生增長,而增長空間要求應該比較大,所以就會不停的申請增長,造成磁盤開銷較大。

  ◆4.操作中涉及到delete操作,會形成大量的日志,而上周擴容後,發現日志文件比以前縮小了,估計是重建了,昨天的操作會導致日志文件也要不斷增長,也會造成磁盤的負荷加大。

  解決辦法:

  針對一:

  避免大表操作,所有的操作均可以按省或者時間分開,這樣無論從時間或者地域維度,基本上可以將大表拆成30張以上的小表操作,甚至更多。然後再對結果進行合並,應該可以避免上述問題。

  針對二:

  無解決方案,只是建議將我們的數據庫也單獨分到一組磁盤上去,不要跟系統競爭。

  針對三:

  及時刪除無用的臨時數據,保障數據庫空間,同時也可以做上空間監控,一旦數據文件空間發生增長時,給DBA一個預警郵件,我們收到郵件後可以立即做相應處理。

  針對四:

  日志文件目前已經漲得較大,我們執行一下截斷日志的動作,將日志文件的空間使用保持在一個較低水平。
 
 
 
上一篇《初學者必讀:提高SQL執行效率的幾點建議》
下一篇《SQL Server 2005 SSIS技巧:動態目的文件名》
 
 
 
日版寵物情人插曲《Winding Road》歌詞

日版寵物情人2017的插曲,很帶節奏感,日語的,女生唱的。 最後聽見是在第8集的時候女主手割傷了,然後男主用嘴幫她吸了一下,插曲就出來了。 歌手:Def...

兄弟共妻,我成了他們夜裏的美食

老鍾家的兩個兒子很特別,就是跟其他的人不太一樣,魔一般的執著。兄弟倆都到了要結婚的年齡了,不管自家老爹怎麽磨破嘴皮子,兄弟倆說不娶就不娶,老父母爲兄弟兩操碎了心...

如何磨出破洞牛仔褲?牛仔褲怎麽剪破洞?

把牛仔褲磨出有線的破洞 1、具體工具就是磨腳石,下面墊一個硬物,然後用磨腳石一直磨一直磨,到把那塊磨薄了,用手撕開就好了。出來的洞啊很自然的。需要貓須的話調幾...

我就是掃描下圖得到了敬業福和愛國福

先來看下敬業福和愛國福 今年春節,支付寶再次推出了“五福紅包”活動,表示要“把欠大家的敬業福都還給大家”。 今天該活動正式啓動,和去年一樣,需要收集“五福”...

冰箱異味産生的原因和臭味去除的方法

有時候我們打開冰箱就會聞到一股異味,冰箱裏的這種異味是因爲一些物質發出的氣味的混合體,聞起來讓人惡心。 産生這些異味的主要原因有以下幾點。 1、很多人有這種習...

《極品家丁》1-31集大結局分集劇情介紹

簡介 《極品家丁》講述了現代白領林晚榮無意回到古代金陵,並追隨蕭二小姐化名“林三”進入蕭府,不料卻陰差陽錯上演了一出低級家丁拼搏上位的“林三升職記”。...

李溪芮《極品家丁》片尾曲《你就是我最愛的寶寶》歌詞

你就是我最愛的寶寶 - 李溪芮 (電視劇《極品家丁》片尾曲) 作詞:常馨內 作曲:常馨內 你的眉 又鬼馬的挑 你的嘴 又壞壞的笑 上一秒吵鬧 下...

烏梅的功效與作用以及烏梅的食用禁忌有哪些?

烏梅,又稱春梅,中醫認爲,烏梅味酸,性溫,無毒,具有安心、除熱、下氣、祛痰、止渴調中、殺蟲的功效,治肢體痛、肺痨病。烏梅泡水喝能治傷寒煩熱、止吐瀉,與幹姜一起制...

什麽是脂肪粒?如何消除臉部脂肪粒?

什麽是脂肪粒 在我們的臉上總會長一個個像脂肪的小顆粒,弄也弄不掉,而且顔色還是白白的。它既不是粉刺也不是其他的任何痘痘,它就是脂肪粒。 脂肪粒雖然也是由油脂...

網絡安全治理:國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰受害者

來源:中國青年報 新的攻擊方法不斷湧現,黑客幾乎永遠占據網絡攻擊的上風,我們不可能通過技術手段杜絕網絡攻擊。國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰...

 
 
 
對上億的表進行排序或者上億的表之間進行join,會導致系統失去響應。 ◆1.我確實做了一個很大的查詢,涉及的數據表有兩億條記錄,而且有一個group by操作,造成CPU、內存和磁盤開銷均很大。後來和微軟的人重新實驗了一下,我的查詢確實會造成系統反應變慢。後來我們也實驗了一下,在這個2億的表上統計一下行數,即select count(*) from table1,用了1分鍾,內存漲了5G左右,磁盤子系統負荷很大,CPU也突然提高。這說明這種上億的表的操作會非常嚴重的降低效率。 ◆2.整個服務器的磁盤分配是這樣的,網站訪問的數據庫庫位于磁盤陣列中,而我們的統計臨時庫位于D盤中,C和D好像是一個磁盤組,也就相當于是在C盤。我們的數據庫的大量磁盤I/O會導致系統的反應變慢。因此當我的查詢很大的時候,就會使服務器整個系統變慢。 ◆3.數據庫的數據文件的自增長方式爲每次1024k,數據文件的空間已經接近用光,而要發生增長,而增長空間要求應該比較大,所以就會不停的申請增長,造成磁盤開銷較大。 ◆4.操作中涉及到delete操作,會形成大量的日志,而上周擴容後,發現日志文件比以前縮小了,估計是重建了,昨天的操作會導致日志文件也要不斷增長,也會造成磁盤的負荷加大。 解決辦法: 針對一: 避免大表操作,所有的操作均可以按省或者時間分開,這樣無論從時間或者地域維度,基本上可以將大表拆成30張以上的小表操作,甚至更多。然後再對結果進行合並,應該可以避免上述問題。 針對二: 無解決方案,只是建議將我們的數據庫也單獨分到一組磁盤上去,不要跟系統競爭。 針對三: 及時刪除無用的臨時數據,保障數據庫空間,同時也可以做上空間監控,一旦數據文件空間發生增長時,給DBA一個預警郵件,我們收到郵件後可以立即做相應處理。 針對四: 日志文件目前已經漲得較大,我們執行一下截斷日志的動作,將日志文件的空間使用保持在一個較低水平。
󰈣󰈤
 
 
 
  免責聲明:本文僅代表作者個人觀點,與王朝網路無關。王朝網路登載此文出於傳遞更多信息之目的,並不意味著贊同其觀點或證實其描述,其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,並請自行核實相關內容。
 
 
成熟風韻的Meinv
甜美少女
此女子姿色過人也
愛恨情愁傷哀怨
痞子的甘南日記
疑是銀河落九天
雪域壩上四——純美色
冬日戀歌——西城楊柳弄輕柔
 
>>返回首頁<<
 熱帖排行
 
 
王朝网络微信公众号
微信扫码关注本站公众号 wangchaonetcn
 
© 2005- 王朝網路 版權所有