perl語言編程實例－多進程篇

2008-05-18 21:55:39  編輯來源:互聯網  简体版  手機版  評論  字體: 小|中|大

 

 

　　作者：horsley

　　perl 語言編程實例－多進程篇

　　perl 語言是一種非常強大的腳本語言，其應用遍及系統維護，CGI，數據庫編程。

　　以下是我遇到的一個具體問題，應用perl獲得圓滿解決。

　　問題提出：

　　某數據庫應用。需要檢索一批數據（A表，數據量12萬左右）。對該批數據

　　將進行逐一核對，期間將關聯三個千萬級的表（C,D,E表，分別有近億條數據），

　　並將檢索狀態插入一張新表(F)。

　　傳統解決方案：

　　編寫存儲過程。打開一個cursor，對A表遍曆，逐一檢索C,D,E表。

　　判斷狀態寫入新表。編程過程十分簡單，順利完成。但執行時效率低下，耗時在

　　8小時左右，不能滿足要求。

　　分析：

　　C,D,E表建有極其完備的索引。對單條數據檢索極其快速。同時執行時主機CPU

　　，

　　內存等資源十分空閑。查詢單條記錄耗時：8×3600/12萬＝0.24秒，也是在合理的

　　範圍。

　　同時主機數據庫在業務高峰期時可以支持500－600用戶同時登陸（telnet方式）。

　　以上

　　說明性能瓶頸不在主機，數據庫上。

　　結論：以上所有都合情合理，采用單進程方式無法進一步提高性能。爲提高速度，

　　只能

　　采用多進程。

　　快速構造原型:

　　原型一：

　　#!/usr/bin/perl

　　my $maxchild=20;

　　foreach $item (1..500) {

　　while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

　　if ($PID=fork()){

　　print "Starting Sub_Process:$PID\n";

　　} else {

　　print "I will handle data:$item\n";

　　sleep 1;

　　exit 1;

　　};

　　}

　　執行以上，正常，子進程控制在20。

　　以上述腳本爲基礎，添加數據庫部分：

　　#!/usr/bin/perl

　　use DBI;

　　my $dbh=DBI->connect(...);

　　my $sth=$dbh->prepare(qq/select * from A/);

　　$sth->execute();

　　$sth->bind_column(undef,.....);

　　while ($sth->fetch()) {

　　while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; };

　　if ($PID=fork()) {

　　print "Starting Sub_Process:$PID\n";

　　} else {

　　query(B,C,D); #執行數據庫操作

　　insert(E);

　　exit 1;

　　}

　　}

　　$sth->finish();

　　$dbh->disconnect();

　　確保無語法錯誤，執行。處理一兩條數據後腳本報錯，中斷。具體錯誤略。

　　分析：程序框架沒錯，但是在fork子進程時，$dbh同時被子進程繼承，導致該數據

　　庫連接反複使用。

　　由于數據庫底層的某種原因，對該種操作是不允許的。結論：以上簡單的多進程方

　　式不可行。數據庫

　　連接部分必須同 fork 分離。

　　######################################

　　考慮很久，設計如下原型：將打開A表的cursor單獨提出，結果傳給另外一個進程

　　。

　　12萬數據較大，作爲參數傳遞似乎不妥，考慮利用管道通信。

　　原型二：

　　############################

　　分成 getdata，setdata兩個程序。首先建立管道 : mknod data.pipe p

　　cat getdata:

　　#!/usr/bin/perl

　　use DBI;

　　open(DATAPIPE,">./data.pipe") or die "$!\n";

　　my $dbh=DBI->connect(...);

　　my $sth=$dbh->prepare(qq/select * from A/);

　　$sth->execute();

　　$sth->bind_column(undef,.....);

　　while ($sth->fetch()) {

　　print DATAPIPE data.....;

　　}

　　close(DATAPIPE);

　　######################

　　cat setdata:

　　#!/usr/bin/perl

　　use DBI;

　　open(DATAPIPE,"<./data.pipe") or die "$!\n";

　　my $pipecount=0;

　　my $maxlines=2000;

　　my @lines=();

　　while($record=<DATAPIPE>) {

　　$pipecount++;

　　push @lines,$record;

　　unless ($pipecount % $maxlines) {

　　if ($PID=fork()){

　　print "Starting Sub_Process:$PID\n";

　　@lines=();

　　}else{

　　my $dbh=DBI->connect(...);

　　foreach (@lines) {

　　handle_data($_);

　　}

　　$dbh->disconnect();

　　exit 1;

　　}

　　}

　　}

　　my $dbh=DBI->connect(...);

　　foreach (@lines) {

　　handle_data($_);

　　}

　　$dbh->disconnect();

　　以上腳本運行正常，執行時啓動：12萬/$maxlines= 60個子進程。

　　處理完所有數據耗時在 10分鍾左右，效率提高幾十倍。

　　腳本執行方式：./getdata&./setdata

 

 

 

 

 

 

 

 

 

 

 

 

　　作者：horsley 　　perl 語言編程實例－多進程篇 　　perl 語言是一種非常強大的腳本語言，其應用遍及系統維護，CGI，數據庫編程。 　　以下是我遇到的一個具體問題，應用perl獲得圓滿解決。 　　問題提出： 　　某數據庫應用。需要檢索一批數據（A表，數據量12萬左右）。對該批數據 　　將進行逐一核對，期間將關聯三個千萬級的表（C,D,E表，分別有近億條數據）， 　　並將檢索狀態插入一張新表(F)。 　　傳統解決方案： 　　編寫存儲過程。打開一個cursor，對A表遍曆，逐一檢索C,D,E表。 　　判斷狀態寫入新表。編程過程十分簡單，順利完成。但執行時效率低下，耗時在 　　8小時左右，不能滿足要求。 　　分析： 　　C,D,E表建有極其完備的索引。對單條數據檢索極其快速。同時執行時主機CPU 　　， 　　內存等資源十分空閑。查詢單條記錄耗時：8×3600/12萬＝0.24秒，也是在合理的 　　範圍。 　　同時主機數據庫在業務高峰期時可以支持500－600用戶同時登陸（telnet方式）。 　　以上 　　說明性能瓶頸不在主機，數據庫上。 　　結論：以上所有都合情合理，采用單進程方式無法進一步提高性能。爲提高速度， 　　只能 　　采用多進程。 　　快速構造原型: 　　原型一： 　　#!/usr/bin/perl 　　my $maxchild=20; 　　foreach $item (1..500) { 　　while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; }; 　　if ($PID=fork()){ 　　print "Starting Sub_Process:$PID\n"; 　　} else { 　　print "I will handle data:$item\n"; 　　sleep 1; 　　exit 1; 　　}; 　　} 　　執行以上，正常，子進程控制在20。 　　以上述腳本爲基礎，添加數據庫部分： 　　#!/usr/bin/perl 　　use DBI; 　　my $dbh=DBI->connect(...); 　　my $sth=$dbh->prepare(qq/select * from A/); 　　$sth->execute(); 　　$sth->bind_column(undef,.....); 　　while ($sth->fetch()) { 　　while ( `ps -ef|grep $0|wc -l` > $maxchild) { select undef,undef,undef,0.1; }; 　　if ($PID=fork()) { 　　print "Starting Sub_Process:$PID\n"; 　　} else { 　　query(B,C,D); #執行數據庫操作 　　insert(E); 　　exit 1; 　　} 　　} 　　$sth->finish(); 　　$dbh->disconnect(); 　　確保無語法錯誤，執行。處理一兩條數據後腳本報錯，中斷。具體錯誤略。 　　分析：程序框架沒錯，但是在fork子進程時，$dbh同時被子進程繼承，導致該數據 　　庫連接反複使用。 　　由于數據庫底層的某種原因，對該種操作是不允許的。結論：以上簡單的多進程方 　　式不可行。數據庫 　　連接部分必須同 fork 分離。 　　###################################### 　　考慮很久，設計如下原型：將打開A表的cursor單獨提出，結果傳給另外一個進程 　　。 　　12萬數據較大，作爲參數傳遞似乎不妥，考慮利用管道通信。 　　原型二： 　　############################ 　　分成 getdata，setdata兩個程序。首先建立管道 : mknod data.pipe p 　　cat getdata: 　　#!/usr/bin/perl 　　use DBI; 　　open(DATAPIPE,">./data.pipe") or die "$!\n"; 　　my $dbh=DBI->connect(...); 　　my $sth=$dbh->prepare(qq/select * from A/); 　　$sth->execute(); 　　$sth->bind_column(undef,.....); 　　while ($sth->fetch()) { 　　print DATAPIPE data.....; 　　} 　　close(DATAPIPE); 　　###################### 　　cat setdata: 　　#!/usr/bin/perl 　　use DBI; 　　open(DATAPIPE,"<./data.pipe") or die "$!\n"; 　　my $pipecount=0; 　　my $maxlines=2000; 　　my @lines=(); 　　while($record=<DATAPIPE>) { 　　$pipecount++; 　　push @lines,$record; 　　unless ($pipecount % $maxlines) { 　　if ($PID=fork()){ 　　print "Starting Sub_Process:$PID\n"; 　　@lines=(); 　　}else{ 　　my $dbh=DBI->connect(...); 　　foreach (@lines) { 　　handle_data($_); 　　} 　　$dbh->disconnect(); 　　exit 1; 　　} 　　} 　　} 　　my $dbh=DBI->connect(...); 　　foreach (@lines) { 　　handle_data($_); 　　} 　　$dbh->disconnect(); 　　以上腳本運行正常，執行時啓動：12萬/$maxlines= 60個子進程。 　　處理完所有數據耗時在 10分鍾左右，效率提高幾十倍。 　　腳本執行方式：./getdata&./setdata

 

 

 

　　免責聲明：本文僅代表作者個人觀點，與王朝網路無關。王朝網路登載此文出於傳遞更多信息之目的，並不意味著贊同其觀點或證實其描述，其原創性以及文中陳述文字和內容未經本站證實，對本文以及其中全部或者部分內容、文字的真實性、完整性、及時性本站不作任何保證或承諾，請讀者僅作參考，並請自行核實相關內容。