| 導購 | 订阅 | 在线投稿
分享
 
 
當前位置: 王朝網路 >> perl >> perl語言編程實例-多進程篇
 

perl語言編程實例-多進程篇

2008-05-18 21:55:39  編輯來源:互聯網  简体版  手機版  評論  字體: ||
 
 
  作者:horsley

  perl 語言編程實例-多進程篇

  perl 語言是一種非常強大的腳本語言,其應用遍及系統維護,CGI,數據庫編程。

  以下是我遇到的一個具體問題,應用perl獲得圓滿解決。

  問題提出:

  某數據庫應用。需要檢索一批數據(A表,數據量12萬左右)。對該批數據

  將進行逐一核對,期間將關聯三個千萬級的表(C,D,E表,分別有近億條數據),

  並將檢索狀態插入一張新表(F)。

  傳統解決方案:

  編寫存儲過程。打開一個cursor,對A表遍曆,逐一檢索C,D,E表。

  判斷狀態寫入新表。編程過程十分簡單,順利完成。但執行時效率低下,耗時在

  8小時左右,不能滿足要求。

  分析:

  C,D,E表建有極其完備的索引。對單條數據檢索極其快速。同時執行時主機CPU

  ,

  內存等資源十分空閑。查詢單條記錄耗時:8×3600/12萬=0.24秒,也是在合理的

  範圍。

  同時主機數據庫在業務高峰期時可以支持500-600用戶同時登陸(telnet方式)。

  以上

  說明性能瓶頸不在主機,數據庫上。

  結論:以上所有都合情合理,采用單進程方式無法進一步提高性能。爲提高速度,

  只能

  采用多進程。

  快速構造原型:

  原型一:

  #!/usr/bin/perl

  my $maxchild=20;

  foreach $item (1..500) {

  while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

  if ($PID=fork()){

  print "Starting Sub_Process:$PID\n";

  } else {

  print "I will handle data:$item\n";

  sleep 1;

  exit 1;

  };

  }

  執行以上,正常,子進程控制在20。

  以上述腳本爲基礎,添加數據庫部分:

  #!/usr/bin/perl

  use DBI;

  my $dbh=DBI->connect(...);

  my $sth=$dbh->prepare(qq/select * from A/);

  $sth->execute();

  $sth->bind_column(undef,.....);

  while ($sth->fetch()) {

  while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

  if ($PID=fork()) {

  print "Starting Sub_Process:$PID\n";

  } else {

  query(B,C,D); #執行數據庫操作

  insert(E);

  exit 1;

  }

  }

  $sth->finish();

  $dbh->disconnect();

  確保無語法錯誤,執行。處理一兩條數據後腳本報錯,中斷。具體錯誤略。

  分析:程序框架沒錯,但是在fork子進程時,$dbh同時被子進程繼承,導致該數據

  庫連接反複使用。

  由于數據庫底層的某種原因,對該種操作是不允許的。結論:以上簡單的多進程方

  式不可行。數據庫

  連接部分必須同 fork 分離。

  ######################################

  考慮很久,設計如下原型:將打開A表的cursor單獨提出,結果傳給另外一個進程

  。

  12萬數據較大,作爲參數傳遞似乎不妥,考慮利用管道通信。

  原型二:

  ############################

  分成 getdata,setdata兩個程序。首先建立管道 : mknod data.pipe p

  cat getdata:

  #!/usr/bin/perl

  use DBI;

  open(DATAPIPE,">./data.pipe") or die "$!\n";

  my $dbh=DBI->connect(...);

  my $sth=$dbh->prepare(qq/select * from A/);

  $sth->execute();

  $sth->bind_column(undef,.....);

  while ($sth->fetch()) {

  print DATAPIPE data.....;

  }

  close(DATAPIPE);

  ######################

  cat setdata:

  #!/usr/bin/perl

  use DBI;

  open(DATAPIPE,"<./data.pipe") or die "$!\n";

  my $pipecount=0;

  my $maxlines=2000;

  my @lines=();

  while($record=<DATAPIPE>) {

  $pipecount++;

  push @lines,$record;

  unless ($pipecount % $maxlines) {

  if ($PID=fork()){

  print "Starting Sub_Process:$PID\n";

  @lines=();

  }else{

  my $dbh=DBI->connect(...);

  foreach (@lines) {

  handle_data($_);

  }

  $dbh->disconnect();

  exit 1;

  }

  }

  }

  my $dbh=DBI->connect(...);

  foreach (@lines) {

  handle_data($_);

  }

  $dbh->disconnect();

  以上腳本運行正常,執行時啓動:12萬/$maxlines= 60個子進程。

  處理完所有數據耗時在 10分鍾左右,效率提高幾十倍。

  腳本執行方式:./getdata&./setdata
 
 
 
上一篇《比較python&perl》
下一篇《給你三萬塊做百萬級數據量的網站,用Perl你敢做嗎?》
 
 
 
 
 
 
日版寵物情人插曲《Winding Road》歌詞

日版寵物情人2017的插曲,很帶節奏感,日語的,女生唱的。 最後聽見是在第8集的時候女主手割傷了,然後男主用嘴幫她吸了一下,插曲就出來了。 歌手:Def...

兄弟共妻,我成了他們夜裏的美食

老鍾家的兩個兒子很特別,就是跟其他的人不太一樣,魔一般的執著。兄弟倆都到了要結婚的年齡了,不管自家老爹怎麽磨破嘴皮子,兄弟倆說不娶就不娶,老父母爲兄弟兩操碎了心...

如何磨出破洞牛仔褲?牛仔褲怎麽剪破洞?

把牛仔褲磨出有線的破洞 1、具體工具就是磨腳石,下面墊一個硬物,然後用磨腳石一直磨一直磨,到把那塊磨薄了,用手撕開就好了。出來的洞啊很自然的。需要貓須的話調幾...

我就是掃描下圖得到了敬業福和愛國福

先來看下敬業福和愛國福 今年春節,支付寶再次推出了“五福紅包”活動,表示要“把欠大家的敬業福都還給大家”。 今天該活動正式啓動,和去年一樣,需要收集“五福”...

冰箱異味産生的原因和臭味去除的方法

有時候我們打開冰箱就會聞到一股異味,冰箱裏的這種異味是因爲一些物質發出的氣味的混合體,聞起來讓人惡心。 産生這些異味的主要原因有以下幾點。 1、很多人有這種習...

《極品家丁》1-31集大結局分集劇情介紹

簡介 《極品家丁》講述了現代白領林晚榮無意回到古代金陵,並追隨蕭二小姐化名“林三”進入蕭府,不料卻陰差陽錯上演了一出低級家丁拼搏上位的“林三升職記”。...

李溪芮《極品家丁》片尾曲《你就是我最愛的寶寶》歌詞

你就是我最愛的寶寶 - 李溪芮 (電視劇《極品家丁》片尾曲) 作詞:常馨內 作曲:常馨內 你的眉 又鬼馬的挑 你的嘴 又壞壞的笑 上一秒吵鬧 下...

烏梅的功效與作用以及烏梅的食用禁忌有哪些?

烏梅,又稱春梅,中醫認爲,烏梅味酸,性溫,無毒,具有安心、除熱、下氣、祛痰、止渴調中、殺蟲的功效,治肢體痛、肺痨病。烏梅泡水喝能治傷寒煩熱、止吐瀉,與幹姜一起制...

什麽是脂肪粒?如何消除臉部脂肪粒?

什麽是脂肪粒 在我們的臉上總會長一個個像脂肪的小顆粒,弄也弄不掉,而且顔色還是白白的。它既不是粉刺也不是其他的任何痘痘,它就是脂肪粒。 脂肪粒雖然也是由油脂...

網絡安全治理:國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰受害者

來源:中國青年報 新的攻擊方法不斷湧現,黑客幾乎永遠占據網絡攻擊的上風,我們不可能通過技術手段杜絕網絡攻擊。國家安全保障的主要方向是打擊犯罪,而不是處置和懲罰...

河南夫妻在溫嶺網絡直播“造人”內容涉黃被刑事拘留

夫妻網絡直播“造人”爆紅   1月9日,溫嶺城北派出所接到南京警方的協查通告,他們近期打掉了一個涉黃直播APP平台。而根據掌握的線索,其中有一對涉案的夫妻主播...

如何防止牆紙老化?牆紙變舊變黃怎麽辦?

如何防止牆紙老化? (1)選擇透氣性好的牆紙 市場上牆紙的材質分無紡布的、木纖維的、PVC的、玻璃纖維基材的、布面的等,相對而言,PVC材質的牆紙最不透氣...

鮮肌之謎非日本生産VS鮮肌之謎假日貨是謠言

觀點一:破日本銷售量的“鮮肌之謎” 非日本生産 近一段時間,淘寶上架了一款名爲“鮮肌之謎的” 鲑魚卵巢美容液,號稱是最近日本的一款推出的全新護膚品,産品本身所...

中國最美古詩詞精選摘抄

系腰裙(北宋詞人 張先) 惜霜蟾照夜雲天,朦胧影、畫勾闌。人情縱似長情月,算一年年。又能得、幾番圓。 欲寄西江題葉字,流不到、五亭前。東池始有荷新綠,尚小如...

關于女人的經典語句

關于女人的經典語句1、【做一個獨立的女人】 思想獨立:有主見、有自己的人生觀、價值觀。有上進心,永遠不放棄自己的理想,做一份自己喜愛的事業,擁有快樂和成就...

未來我們可以和性愛機器人結婚嗎?

你想體驗機器人性愛嗎?你想和性愛機器人結婚嗎?如果你想,機器人有拒絕你的權利嗎? 近日,第二屆“國際人類-機器人性愛研討會”大會在倫敦金史密斯大學落下帷幕。而...

全球最變態的十個地方

10.土耳其地下洞穴城市 變態指數:★★☆☆☆ 這是土耳其卡帕多西亞的一個著名景點,傳說是當年基督教徒們爲了躲避戰爭而在此修建。裏面曾住著20000人,...

科學家稱,人類死亡後意識將在另外一個宇宙中繼續存活

據英國《每日快報》報道,一位科學家兼理論家Robert Lanza博士宣稱,世界上並不存在人類死亡,死亡的只是身體。他認爲我們的意識借助我們體內的能量生存,而且...

《屏裏狐》片頭曲《我愛狐狸精》歌詞是什麽?

《我愛狐狸精》 - 劉馨棋   (電視劇《屏裏狐》主題曲)   作詞:金十三&李旦   作曲:劉嘉   狐狸精 狐狸仙   千年修...

 
 
 
  作者:horsley   perl 語言編程實例-多進程篇   perl 語言是一種非常強大的腳本語言,其應用遍及系統維護,CGI,數據庫編程。   以下是我遇到的一個具體問題,應用perl獲得圓滿解決。   問題提出:   某數據庫應用。需要檢索一批數據(A表,數據量12萬左右)。對該批數據   將進行逐一核對,期間將關聯三個千萬級的表(C,D,E表,分別有近億條數據),   並將檢索狀態插入一張新表(F)。   傳統解決方案:   編寫存儲過程。打開一個cursor,對A表遍曆,逐一檢索C,D,E表。   判斷狀態寫入新表。編程過程十分簡單,順利完成。但執行時效率低下,耗時在   8小時左右,不能滿足要求。   分析:   C,D,E表建有極其完備的索引。對單條數據檢索極其快速。同時執行時主機CPU   ,   內存等資源十分空閑。查詢單條記錄耗時:8×3600/12萬=0.24秒,也是在合理的   範圍。   同時主機數據庫在業務高峰期時可以支持500-600用戶同時登陸(telnet方式)。   以上   說明性能瓶頸不在主機,數據庫上。   結論:以上所有都合情合理,采用單進程方式無法進一步提高性能。爲提高速度,   只能   采用多進程。   快速構造原型:   原型一:   #!/usr/bin/perl   my $maxchild=20;   foreach $item (1..500) {   while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };   if ($PID=fork()){   print "Starting Sub_Process:$PID\n";   } else {   print "I will handle data:$item\n";   sleep 1;   exit 1;   };   }   執行以上,正常,子進程控制在20。   以上述腳本爲基礎,添加數據庫部分:   #!/usr/bin/perl   use DBI;   my $dbh=DBI->connect(...);   my $sth=$dbh->prepare(qq/select * from A/);   $sth->execute();   $sth->bind_column(undef,.....);   while ($sth->fetch()) {   while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };   if ($PID=fork()) {   print "Starting Sub_Process:$PID\n";   } else {   query(B,C,D); #執行數據庫操作   insert(E);   exit 1;   }   }   $sth->finish();   $dbh->disconnect();   確保無語法錯誤,執行。處理一兩條數據後腳本報錯,中斷。具體錯誤略。   分析:程序框架沒錯,但是在fork子進程時,$dbh同時被子進程繼承,導致該數據   庫連接反複使用。   由于數據庫底層的某種原因,對該種操作是不允許的。結論:以上簡單的多進程方   式不可行。數據庫   連接部分必須同 fork 分離。   ######################################   考慮很久,設計如下原型:將打開A表的cursor單獨提出,結果傳給另外一個進程   。   12萬數據較大,作爲參數傳遞似乎不妥,考慮利用管道通信。   原型二:   ############################   分成 getdata,setdata兩個程序。首先建立管道 : mknod data.pipe p   cat getdata:   #!/usr/bin/perl   use DBI;   open(DATAPIPE,">./data.pipe") or die "$!\n";   my $dbh=DBI->connect(...);   my $sth=$dbh->prepare(qq/select * from A/);   $sth->execute();   $sth->bind_column(undef,.....);   while ($sth->fetch()) {   print DATAPIPE data.....;   }   close(DATAPIPE);   ######################   cat setdata:   #!/usr/bin/perl   use DBI;   open(DATAPIPE,"<./data.pipe") or die "$!\n";   my $pipecount=0;   my $maxlines=2000;   my @lines=();   while($record=<DATAPIPE>) {   $pipecount++;   push @lines,$record;   unless ($pipecount % $maxlines) {   if ($PID=fork()){   print "Starting Sub_Process:$PID\n";   @lines=();   }else{   my $dbh=DBI->connect(...);   foreach (@lines) {   handle_data($_);   }   $dbh->disconnect();   exit 1;   }   }   }   my $dbh=DBI->connect(...);   foreach (@lines) {   handle_data($_);   }   $dbh->disconnect();   以上腳本運行正常,執行時啓動:12萬/$maxlines= 60個子進程。   處理完所有數據耗時在 10分鍾左右,效率提高幾十倍。   腳本執行方式:./getdata&./setdata
󰈣󰈤
 
 
 
  免責聲明:本文僅代表作者個人觀點,與王朝網路無關。王朝網路登載此文出於傳遞更多信息之目的,並不意味著贊同其觀點或證實其描述,其原創性以及文中陳述文字和內容未經本站證實,對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾,請讀者僅作參考,並請自行核實相關內容。
 
 
暖暖的午後美女(2)
一個人的生活
妩媚動人的女生
秀氣迷人的模特
巧合的對稱
擁抱明天
十二月,有陽光
董子讀書台
 
>>返回首頁<<
 
 
 
 熱帖排行
 
 
 
 
© 2005- 王朝網路 版權所有