| 導購 | 订阅 | 在线投稿
分享
 
 
當前位置: 王朝網路 >> oracle >> c#中高效的excel導入oracle的方法
 

c#中高效的excel導入oracle的方法

2008-07-26 07:42:36  編輯來源:互聯網  简体版  手機版  評論  字體: ||
 
 
  如何高效的將excel導入到oracle?和前兩天的SqlBulkCopy 導入到sqlserver對應,oracle也有自身的方法,只是稍微複雜些.

  那就是使用oracle的sql*loader功能,而sqlldr只支持類似csv格式的數據,所以要自己把excel轉換一下。

  實現步驟:

  用com組件讀取excel-保存爲csv格式-處理最後一個字段爲null的情況和表頭-根據excel結構建表-生成sqlldr的控制文件-用sqlldr命令導入數據

  這個性能雖然沒有sql的bcp快,但還是相當可觀的,在我機器上1萬多數據不到4秒,而且導入過程代碼比較簡單,也同樣沒有循環拼接sql插入那麽難以維護。

  這裏也提個問題:處理csv文件的表頭和最後一個字段爲null的情況是否可以優化?除了我代碼中的例子,我實在想不出其他辦法。

  view plaincopy to clipboardprint?

  using System;

  using System.Data;

  using System.Text;

  using System.Windows.Forms;

  using Microsoft.Office.Interop.Excel;

  using System.Data.OleDb;

  //引用-com-microsoft excel objects 11.0

  namespace WindowsApplication5

  {

   public partial class Form1 : Form

   {

   public Form1()

   {

   InitializeComponent();

   }

  

   /// <SUMMARY>

   /// excel導入到oracle

   /// </SUMMARY>

   /// <PARAM name="excelFile">文件名</PARAM>

   /// <PARAM name="sheetName">sheet名</PARAM>

   /// <PARAM name="sqlplusString">oracle命令sqlplus連接串</PARAM>

   public void TransferData(string excelFile, string sheetName, string sqlplusString)

   {

   string strTempDir = System.IO.Path.GetDirectoryName(excelFile);

   string strFileName = System.IO.Path.GetFileNameWithoutExtension(excelFile);

   string strCsvPath = strTempDir +"\"+strFileName + ".csv";

   string strCtlPath = strTempDir + "\\" + strFileName + ".Ctl";

   string strSqlPath = strTempDir + "\\" + strFileName + ".Sql";

   if (System.IO.File.Exists(strCsvPath))

   System.IO.File.Delete(strCsvPath);

  

  

   //獲取excel對象

   Microsoft.Office.Interop.Excel.Application ObjExcel = new Microsoft.Office.Interop.Excel.Application();

  

   Microsoft.Office.Interop.Excel.Workbook ObjWorkBook;

  

   Microsoft.Office.Interop.Excel.Worksheet ObjWorkSheet = null;

  

   ObjWorkBook = ObjExcel.Workbooks.Open(excelFile, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing);

  

   foreach (Microsoft.Office.Interop.Excel.Worksheet sheet in ObjWorkBook.Sheets)

   {

   if (sheet.Name.ToLower() == sheetName.ToLower())

   {

   ObjWorkSheet = sheet;

   break;

   }

   }

   if (ObjWorkSheet == null) throw new Exception(string.Format("{0} not found!!", sheetName));

  

  

   //保存爲csv臨時文件

   ObjWorkSheet.SaveAs(strCsvPath, Microsoft.Office.Interop.Excel.XlFileFormat.xlCSV, Type.Missing, Type.Missing, false, false, false, Type.Missing, Type.Missing, false);

   ObjWorkBook.Close(false, Type.Missing, Type.Missing);

   ObjExcel.Quit();

  

   //讀取csv文件,需要將表頭去掉,並且將最後一列爲null的字段處理爲顯示的null,否則oracle不會識別,這個步驟有沒有好的替換方法?

   System.IO.StreamReader reader = new System.IO.StreamReader(strCsvPath,Encoding.GetEncoding("gb2312"));

   string strAll = reader.ReadToEnd();

   reader.Close();

   string strData = strAll.Substring(strAll.IndexOf("\r\n") + 2).Replace(",\r\n",",Null");

  

   byte[] bytes = System.Text.Encoding.Default.GetBytes(strData);

   System.IO.Stream ms = System.IO.File.Create(strCsvPath);

   ms.Write(bytes, 0, bytes.Length);

   ms.Close();

  

  

   //獲取excel表結構

   string strConn = "Provider=Microsoft.Jet.OLEDB.4.0;" + "Data Source=" + excelFile + ";" + "Extended Properties=Excel 8.0;";

   OleDbConnection conn = new OleDbConnection(strConn);

   conn.Open();

   System.Data.DataTable table = conn.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Columns,

   new object[] { null, null, sheetName+"$", null });

  

  

   //生成sqlldr用到的控制文件,文件結構參考sql*loader功能,本示例已逗號分隔csv,數據帶逗號的用引號括起來。

   string strControl = "load data\r\ninfile &apos;{0}&apos; \r\nappend into table {1}\r\n"+

   "FIELDS TERMINATED BY &apos;,&apos; OPTIONALLY ENCLOSED BY &apos;\"&apos;\r\n(";

   strControl = string.Format(strControl, strCsvPath,sheetName);

   foreach (System.Data.DataRow drowColumns in table.Select("1=1", "Ordinal_Position"))

   {

   strControl += drowColumns["Column_Name"].ToString() + ",";

   }

  

   strControl = strControl.Substring(0, strControl.Length - 1) + ")";

   bytes=System.Text.Encoding.Default.GetBytes(strControl);

   ms= System.IO.File.Create(strCtlPath);

  

   ms.Write(bytes, 0, bytes.Length);

   ms.Close();

  

   //生成初始化oracle表結構的文件

   string strSql = @"drop table {0};

   create table {0}

   (";

   strSql = string.Format(strSql, sheetName);

   foreach (System.Data.DataRow drowColumns in table.Select("1=1", "Ordinal_Position"))

   {

   strSql += drowColumns["Column_Name"].ToString() + " varchar2(255),";

   }

   strSql = strSql.Substring(0, strSql.Length - 1) + ");\r\nexit;";

   bytes = System.Text.Encoding.Default.GetBytes(strSql);

   ms = System.IO.File.Create(strSqlPath);

  

   ms.Write(bytes, 0, bytes.Length);

   ms.Close();

  

  

   //運行sqlplus,初始化表

   System.Diagnostics.Process p = new System.Diagnostics.Process();

   p.StartInfo = new System.Diagnostics.ProcessStartInfo();

   p.StartInfo.FileName = "sqlplus";

   p.StartInfo.Arguments = string.Format("{0} @{1}", sqlplusString, strSqlPath);

   p.StartInfo.WindowStyle = System.Diagnostics.ProcessWindowStyle.Hidden;

   p.StartInfo.UseShellExecute = false;

   p.StartInfo.CreateNoWindow = true;

   p.Start();

   p.WaitForExit();

  

   //運行sqlldr,導入數據

   p = new System.Diagnostics.Process();

   p.StartInfo = new System.Diagnostics.ProcessStartInfo();

   p.StartInfo.FileName = "sqlldr";

   p.StartInfo.Arguments = string.Format("{0} {1}", sqlplusString, strCtlPath);

   p.StartInfo.WindowStyle = System.Diagnostics.ProcessWindowStyle.Hidden;

   p.StartInfo.RedirectStandardOutput = true;

   p.StartInfo.UseShellExecute = false;

   p.StartInfo.CreateNoWindow = true;

   p.Start();

   System.IO.StreamReader r = p.StandardOutput;//截取輸出流

   string line = r.ReadLine();//每次讀取一行

   textBox3.Text += line + "\r\n";

   while (!r.EndOfStream)

   {

   line = r.ReadLine();

   textBox3.Text += line + "\r\n";

   textBox3.Update();

   }

   p.WaitForExit();

  

   //可以自行解決掉臨時文件csv,ctl和sql,代碼略去

   }

  

   private void button1_Click(object sender, EventArgs e)

   {

   TransferData(@"D:\test.xls", "Sheet1", "username/password@servicename");

   }

  

   }

  }
 
 
 
上一篇《在Oracle中選取有父子或樹狀關系的數據記錄》
下一篇《詳細講解Oracle數據庫9i穿過防火牆問題》
 
 
 
日版寵物情人插曲《Winding Road》歌詞

日版寵物情人2017的插曲,很帶節奏感,日語的,女生唱的。 最後聽見是在第8集的時候女主手割傷了,然後男主用嘴幫她吸了一下,插曲就出來了。 歌手:Def...

兄弟共妻,我成了他們夜裏的美食

老鍾家的兩個兒子很特別,就是跟其他的人不太一樣,魔一般的執著。兄弟倆都到了要結婚的年齡了,不管自家老爹怎麽磨破嘴皮子,兄弟倆說不娶就不娶,老父母爲兄弟兩操碎了心...

如何磨出破洞牛仔褲?牛仔褲怎麽剪破洞?

把牛仔褲磨出有線的破洞 1、具體工具就是磨腳石,下面墊一個硬物,然後用磨腳石一直磨一直磨,到把那塊磨薄了,用手撕開就好了。出來的洞啊很自然的。需要貓須的話調幾...

我就是掃描下圖得到了敬業福和愛國福

先來看下敬業福和愛國福 今年春節,支付寶再次推出了“五福紅包”活動,表示要“把欠大家的敬業福都還給大家”。 今天該活動正式啓動,和去年一樣,需要收集“五福”...

冰箱異味産生的原因和臭味去除的方法

有時候我們打開冰箱就會聞到一股異味,冰箱裏的這種異味是因爲一些物質發出的氣味的混合體,聞起來讓人惡心。 産生這些異味的主要原因有以下幾點。 1、很多人有這種習...

《極品家丁》1-31集大結局分集劇情介紹

簡介 《極品家丁》講述了現代白領林晚榮無意回到古代金陵,並追隨蕭二小姐化名“林三”進入蕭府,不料卻陰差陽錯上演了一出低級家丁拼搏上位的“林三升職記”。...

李溪芮《極品家丁》片尾曲《你就是我最愛的寶寶》歌詞

你就是我最愛的寶寶 - 李溪芮 (電視劇《極品家丁》片尾曲) 作詞:常馨內 作曲:常馨內 你的眉 又鬼馬的挑 你的嘴 又壞壞的笑 上一秒吵鬧 下...

烏梅的功效與作用以及烏梅的食用禁忌有哪些?

烏梅,又稱春梅,中醫認爲,烏梅味酸,性溫,無毒,具有安心、除熱、下氣、祛痰、止渴調中、殺蟲的功效,治肢體痛、肺痨病。烏梅泡水喝能治傷寒煩熱、止吐瀉,與幹姜一起制...

什麽是脂肪粒?如何消除臉部脂肪粒?

什麽是脂肪粒 在我們的臉上總會長一個個像脂肪的小顆粒,弄也弄不掉,而且顔色還是白白的。它既不是粉刺也不是其他的任何痘痘,它就是脂肪粒。 脂肪粒雖然也是由油脂...

網絡安全治理:國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰受害者

來源:中國青年報 新的攻擊方法不斷湧現,黑客幾乎永遠占據網絡攻擊的上風,我們不可能通過技術手段杜絕網絡攻擊。國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰...

 
 
 
如何高效的將excel導入到oracle?和前兩天的SqlBulkCopy 導入到sqlserver對應,oracle也有自身的方法,只是稍微複雜些. 那就是使用oracle的sql*loader功能,而sqlldr只支持類似csv格式的數據,所以要自己把excel轉換一下。 實現步驟: 用com組件讀取excel-保存爲csv格式-處理最後一個字段爲null的情況和表頭-根據excel結構建表-生成sqlldr的控制文件-用sqlldr命令導入數據 這個性能雖然沒有sql的bcp快,但還是相當可觀的,在我機器上1萬多數據不到4秒,而且導入過程代碼比較簡單,也同樣沒有循環拼接sql插入那麽難以維護。 這裏也提個問題:處理csv文件的表頭和最後一個字段爲null的情況是否可以優化?除了我代碼中的例子,我實在想不出其他辦法。 view plaincopy to clipboardprint? using System; using System.Data; using System.Text; using System.Windows.Forms; using Microsoft.Office.Interop.Excel; using System.Data.OleDb; //引用-com-microsoft excel objects 11.0 namespace WindowsApplication5 { public partial class Form1 : Form { public Form1() { InitializeComponent(); } /// <SUMMARY> /// excel導入到oracle /// </SUMMARY> /// <PARAM name="excelFile">文件名</PARAM> /// <PARAM name="sheetName">sheet名</PARAM> /// <PARAM name="sqlplusString">oracle命令sqlplus連接串</PARAM> public void TransferData(string excelFile, string sheetName, string sqlplusString) { string strTempDir = System.IO.Path.GetDirectoryName(excelFile); string strFileName = System.IO.Path.GetFileNameWithoutExtension(excelFile); string strCsvPath = strTempDir +"[url=file://\\]\\"+strFileName[/url] + ".csv"; string strCtlPath = strTempDir + "\\" + strFileName + ".Ctl"; string strSqlPath = strTempDir + "\\" + strFileName + ".Sql"; if (System.IO.File.Exists(strCsvPath)) System.IO.File.Delete(strCsvPath); //獲取excel對象 Microsoft.Office.Interop.Excel.Application ObjExcel = new Microsoft.Office.Interop.Excel.Application(); Microsoft.Office.Interop.Excel.Workbook ObjWorkBook; Microsoft.Office.Interop.Excel.Worksheet ObjWorkSheet = null; ObjWorkBook = ObjExcel.Workbooks.Open(excelFile, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing, Type.Missing); foreach (Microsoft.Office.Interop.Excel.Worksheet sheet in ObjWorkBook.Sheets) { if (sheet.Name.ToLower() == sheetName.ToLower()) { ObjWorkSheet = sheet; break; } } if (ObjWorkSheet == null) throw new Exception(string.Format("{0} not found!!", sheetName)); //保存爲csv臨時文件 ObjWorkSheet.SaveAs(strCsvPath, Microsoft.Office.Interop.Excel.XlFileFormat.xlCSV, Type.Missing, Type.Missing, false, false, false, Type.Missing, Type.Missing, false); ObjWorkBook.Close(false, Type.Missing, Type.Missing); ObjExcel.Quit(); //讀取csv文件,需要將表頭去掉,並且將最後一列爲null的字段處理爲顯示的null,否則oracle不會識別,這個步驟有沒有好的替換方法? System.IO.StreamReader reader = new System.IO.StreamReader(strCsvPath,Encoding.GetEncoding("gb2312")); string strAll = reader.ReadToEnd(); reader.Close(); string strData = strAll.Substring(strAll.IndexOf("\r\n") + 2).Replace(",\r\n",",Null"); byte[] bytes = System.Text.Encoding.Default.GetBytes(strData); System.IO.Stream ms = System.IO.File.Create(strCsvPath); ms.Write(bytes, 0, bytes.Length); ms.Close(); //獲取excel表結構 string strConn = "Provider=Microsoft.Jet.OLEDB.4.0;" + "Data Source=" + excelFile + ";" + "Extended Properties=Excel 8.0;"; OleDbConnection conn = new OleDbConnection(strConn); conn.Open(); System.Data.DataTable table = conn.GetOleDbSchemaTable(System.Data.OleDb.OleDbSchemaGuid.Columns, new object[] { null, null, sheetName+"$", null }); //生成sqlldr用到的控制文件,文件結構參考sql*loader功能,本示例已逗號分隔csv,數據帶逗號的用引號括起來。 string strControl = "load data\r\ninfile &apos;{0}&apos; \r\nappend into table {1}\r\n"+       "FIELDS TERMINATED BY &apos;,&apos; OPTIONALLY ENCLOSED BY &apos;\"&apos;\r\n(";   strControl = string.Format(strControl, strCsvPath,sheetName); foreach (System.Data.DataRow drowColumns in table.Select("1=1", "Ordinal_Position")) { strControl += drowColumns["Column_Name"].ToString() + ","; } strControl = strControl.Substring(0, strControl.Length - 1) + ")"; bytes=System.Text.Encoding.Default.GetBytes(strControl); ms= System.IO.File.Create(strCtlPath); ms.Write(bytes, 0, bytes.Length); ms.Close(); //生成初始化oracle表結構的文件 string strSql = @"drop table {0};              create table {0}     ("; strSql = string.Format(strSql, sheetName); foreach (System.Data.DataRow drowColumns in table.Select("1=1", "Ordinal_Position")) { strSql += drowColumns["Column_Name"].ToString() + " varchar2(255),"; } strSql = strSql.Substring(0, strSql.Length - 1) + ");\r\nexit;"; bytes = System.Text.Encoding.Default.GetBytes(strSql); ms = System.IO.File.Create(strSqlPath); ms.Write(bytes, 0, bytes.Length); ms.Close(); //運行sqlplus,初始化表 System.Diagnostics.Process p = new System.Diagnostics.Process(); p.StartInfo = new System.Diagnostics.ProcessStartInfo(); p.StartInfo.FileName = "sqlplus"; p.StartInfo.Arguments = string.Format("{0} @{1}", sqlplusString, strSqlPath); p.StartInfo.WindowStyle = System.Diagnostics.ProcessWindowStyle.Hidden; p.StartInfo.UseShellExecute = false; p.StartInfo.CreateNoWindow = true; p.Start(); p.WaitForExit(); //運行sqlldr,導入數據 p = new System.Diagnostics.Process(); p.StartInfo = new System.Diagnostics.ProcessStartInfo(); p.StartInfo.FileName = "sqlldr"; p.StartInfo.Arguments = string.Format("{0} {1}", sqlplusString, strCtlPath); p.StartInfo.WindowStyle = System.Diagnostics.ProcessWindowStyle.Hidden; p.StartInfo.RedirectStandardOutput = true; p.StartInfo.UseShellExecute = false; p.StartInfo.CreateNoWindow = true; p.Start(); System.IO.StreamReader r = p.StandardOutput;//截取輸出流 string line = r.ReadLine();//每次讀取一行 textBox3.Text += line + "\r\n"; while (!r.EndOfStream) { line = r.ReadLine(); textBox3.Text += line + "\r\n"; textBox3.Update(); } p.WaitForExit(); //可以自行解決掉臨時文件csv,ctl和sql,代碼略去 } private void button1_Click(object sender, EventArgs e) { TransferData(@"D:\test.xls", "Sheet1", "[url=mailto:username/password@servicename]username/password@servicename[/url]"); } } }
󰈣󰈤
 
 
 
  免責聲明:本文僅代表作者個人觀點,與王朝網路無關。王朝網路登載此文出於傳遞更多信息之目的,並不意味著贊同其觀點或證實其描述,其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,並請自行核實相關內容。
 
 
微光夜曲_朦胧的美
青春校園_女生娜娜
氣質佳人_唯美動人
新年時尚魅力女生
痞子的甘南日記
疑是銀河落九天
雪域壩上四——純美色
冬日戀歌——西城楊柳弄輕柔
 
>>返回首頁<<
 
 熱帖排行
 
 
 
 
© 2005- 王朝網路 版權所有