這篇論壇文章(賽迪網技術社區)根據一個實例著重講解了使用Oracle數據庫高級複制功能的具體方法及步驟,詳細內容請參考下文:
前言
日益增長的分布式應用需求要求實現更好分布式的軟件環境,不斷推動著分布式技術的進步。Oracle數據複制是實現分布式數據環境的一種技術,通過在不同的物理站點拷貝數據來建立分布式數據環境。它與分布式數據庫不同,在分布式數據庫中,雖然每個數據對象也對所有的站點可用,但是特定的數據對象只存在于一個特定的站點中。而數據複制實現所有的站點都有相同數據對象的可用拷貝。
在一個典型的分布式商業應用中經常需要把個地區的數據備份到總部的數據庫中,一方面可以作爲一種備份方式,另一方面也方便總部應用中的綜合統計。這是Oracle數據複制中的簡單應用,本文將以這樣一個例子,講述如何實現Oracle數據複制。
實際情況是,A公司總部在北京,有三個營業部分別位于上海(ORACLE.SHANGHAI.COM)、杭州(ORACLE.HANGZHOU.COM)和武漢(ORACLE.
WUHAN.COM)。三個營業部的軟件系統相同,數據庫結構也相同。現在需要把三個營業部的數據全部備份到總部的數據庫中。
准備工作
在進行複制之前需要准備的東西很多,當然最基礎就是網絡必須暢通,之後需要收集一些複制環境的基本信息:
1. 需要複制的數據庫站點的數量
2. 每個站點的Oracle版本號
3. 每個需要複制的數據庫的大小
4. 每個數據庫所使用的字符集
5. 每個需要複制的數據所用的方案名
收集完環境信息,可以開始建立總部的集中數據庫,集中數據庫要求版本高于所有主戰點的版本,最好所有的數據庫都是用相同的字符集。建好庫後爲每個主站點的備份數據分別建一個表空間,表空間大于需要複制的數據量,至于預留以後的發展空間視實際情況而定。
爲每個主站點的對應複制數據建立方案,如果各個主站點所使用的方案名不同,在集中數據庫站點分別建立名稱相同的對應方案。否則爲各主站點的複制數據分別建立相應的方案名。實際情況是後者,各營業部的數據庫都是用Oracle的方案名,這裏我們建立三個對應方
案:SHORACL、HZORACL 和WHORACL。所有數據庫的版本都是9i。
基本概念
複制之前先解釋一下複制中的幾個概念:
1.主站點(Mater Site):在複制過程中提供數據源的站點。如上圖中的上海數據庫站點。
2.實體化視圖站點(Materialized View Site):實體化視圖複制中的目標站點。如上圖中的北京數據庫站點。
3.多主體站點複制(Multimaster Replication):複制環境中的站點都是主站點,對複制的數據庫對象有相同的管理權限。
4.實體化視圖複制(Materialized View Replication): 一個主體站點提供源複制對象,一個實體化視圖站點拷貝主站點數據。
5.實體化視圖(Materialized View):在實體化視圖站點爲每個複制表或者視圖建立一個對應的表保存相應的數據,該表只能通過Oracle的複制機制進行增刪改數據的操作。
6. 快速刷新、完全刷新和強制刷新:複制過程中的三種刷新方式。快速刷新只複制源數據對象的改變部分;完全刷新每次都拷貝一遍源數據對象;強制刷新是數據庫的一個折衷方案,如果快速刷新失敗則使用完全刷新。
7. 主體組(Master Group):主體站點中被複制的源數據對象的集合。
8. 實體化視圖組(Materialized View Site):實體化視圖站點中複制對象的集合。
9. 實體化視圖日志(Materialized View Log):實體化視圖複制中使用快速刷新時記錄主體源數據對象操作日志的表。
同步複制和異步複制就不解釋了,本例采用每天一次的異步複制。
進行複制
配置好本地服務名分別爲:上海站點:SH,杭州站點:HZ,武漢站點:WH,北京站點:BJ,進入沒有登錄的sqlplus,讓我們開始複制!
一.設置主站點
這裏以上海主站點設置爲例。
1.連接主站點,創建複制管理員並授予相應的權限,複制管理員是管理整個複制環境並創建複制對象的用戶。只有數據管理員可以建立主體組和實體化視圖組。
connect system/passwd@SH
create user repadmin identified by repadmin;
begin
dbms_repcat_admin.grant_admin_any_schema(
username=>』repadmin』);
end;
/
grant comment any table to REPADMIN;
grant lock any table to REPADMIN;
後面的兩個grant語句使複制管理員可以爲任何表建立實體化視圖日志。如果想改用戶可以使用視圖管理器,還需要下面的命令:
grant select any dictionary to REPADMIN;
2.注冊傳播方,傳播方會將主體站點的延遲事務隊列推入其他主體站點或者實體化視圖站點。
begin
dbms_defer_sys.register_purpagator(username=>』repadmin』);
end;
3.調度清除作業,該作業會定時清除延遲事務隊列並用傳播方將延遲事務推入其他主體站點或者實體化視圖站點。先更換用戶:
disconnect;
connect repadmin/repadmin@SH;
begin
dbms_defer_sys.schedule_purge(
next_date=>sysdate,interval=>』sysdate + 1』,delay_seconds=>0);
end;
next_date:下一次執行日期,sysdate表示立即。
interval:間隔時段,sysdate + 1表示間隔一天,sysdate+ 1/24表示間隔一小時
delay_seconds:當延遲隊列沒有延遲事件時停止被次清除操作的延遲時間。
4.爲實體化視圖站點建立複制代理。創建複制代理用戶並授予視圖接受方權限。複制代理是複制接收方連接主體站點的用戶
disconnect;
connect system/passwd@SH;
create user proxy_bjoracle identified by proxy_bjoracle;
begin
dbms_repcat_admin.register_user_repgroup(
user_name=>』proxy_bjoracle,
privilege_type => 』proxy_snapadmin』,list_of_gnames => NULL);
end;
/
grant select_catalog_role to proxy_bjoracle;
5. 創建主體組。
disconnect;
connect repadmin/repadmin@SH;
begin
dbms_repcat.create_master_repgroup(gname=>』sh_rep』);
end;
/
6. 向主體組中添加複制對象
a) 添加表:
begin
dbms_repcat.create_master_repobject(
gname=>』sh_rep』,
type=>』TABLE』,
oname=>』 CREDIT_CARD』
sname=>』SHORACL』
use_existing_object=>TRUE,
copy_rows=>TRUE);
end;
b) 添加索引
begin
dbms_repcat.create_master_repobject(
gname=>』sh_rep』,
type=>』INDEX』,
oname=>』 INDEX_CREDIT_CARD』
sname=>』SHORACL』
use_existing_object=>TRUE,
copy_rows=>FALSE);
end;
/
7. 如果添加的表沒有主鍵需要設置可以代替主鍵的列或者列的集合
begin
dbms_repcat.set_columns(
sname => 』SHORACL』,
oname => 』 CREDIT_CARD 』,
column_list => 』 CREDIT_CARD_ID』);
end;
/
8. 在主體組中的數據對象可以被複制之前,必須爲他們生成複制支持。該方法爲複制創建必要的觸發器、包或者存儲過程:
begin
dbms_repcat.generate_replication_support(
sname=>』SHORACL』,
oname=>』 CREDIT_CARD』,
type=>』TABLE』,
min_communication=>TRUE);
end;
/
9. 爲快速刷新創建實體化視圖日志:
create materialized view log on SHORACL. CREDIT_CARD;
如果是沒有主鍵的表示用一下語句:
create materialized view log on SHORACL. CREDIT_CARD with
rowid excluding new values;
10.啓動複制:
begin
dbms_repcat.resume_master_activity(
name=>』sh_rep』);
end;
/
二.設置實體化視圖站點
1.創建複制管理員並授予相應的權限:
disconnect;
connect system/passwd@BJ;
create user mvadmin identified by
mvadmin;
begin
dbms_repcat_admin.
grant_admin_any_schema(username=> 』mvadmin』);
end;
/
grant comment any table to mvadmin;
grant lock any table to mvadmin;
grant select any dictionary to mvadmin;
2.注冊傳播方:
begin
dbms_defer_sys.register_propagator(
username => 』mvadmin』);
end;
/
3.公共數據庫連接。需要每個複制需要創建三個數據庫連接。公共數據庫連接指定數據庫的全局名稱:
create public database link ORACLSH using 』oracle.shanghai.
com』;
Using子句後跟的是全局數據庫名或者是連接字符串。
create public database link ORACLSH using 』(description=
(address=(protocol=tcp)(host=127.0.0.1)(port=1521))
(connect_data=(service_name=oracl)))』
4.建立清除延遲事務隊列調度作業:
disconnect;
connect mvadmin/mvadmin@BJ;
begin
dbms_defer_sys.schedule_purge(
next_date => sysdate,
interval => 』/*1:hr*/ sysdate + 1』,
delay_seconds => 0,
rollback_segment => 』』);
end;
5.建立複制管理員mvadmin的數據庫連接:
create database link ORACLSH connect to proxy_bjoracle
identified by proxy_bjoralce
Connect to ... Identified by ...子句指明用什麽用戶連接遠程數據庫
6.建立複制調度數據庫連接作業:
begin
dbms_defer_sys.schedule_push(
destination => 』ora92zjk』,interval => 』/*1:hr*/ sysdate + 1』,
next_date => sysdate,stop_on_error => false,
delay_seconds => 0,parallelism => 0);
end;
/
7.授予SHORACL用戶(對應SHORACL方案)
相應的權限建立實體化視圖:
disconnect;
connect system/passwd@BJ;
grant alter session to crm;
grant create cluster to crm;
grant create database link to crm;
grant create sequence to crm;
grant create session to crm;
grant create synonym to crm;
grant create table to crm;
grant create view to crm;
grant create procedure to crm;
grant create trigger to crm;
grant unlimited tablespace to crm;
grant create type to crm;
grant create any snapshot to crm;
grant alter any snapshot to crm;
8.建立複制方案的數據庫連接:
disconnect;
connect SHORACL/SHORACL@BJ;
create database link ORACLSH connect to ORACL identified
by ORACL;
複制方案的數據庫連接和複制管理員的數據庫連接要和system用戶間裏的對應公共數據庫連接使用相同的名字,在調度連接時將使用公共數據庫連接中指定的數據庫全局名或者連接字符串。
9.建立實體化視圖:
disconnect;
connect mvadmin/mvadmin@BJ;
create materialized view SHORACL.CREDIT_CARD refresh fast
wit h pr imar y key as sele ct * from ORA CL.
CREDIT_CARD@ORACLSH;
@後面是數據庫連接名。如果該表沒有主鍵則使用rowid來刷新
create materialized view SHORACL. CREDIT_CARD refresh
fast with rowid as select * from ORACL. CREDIT_CARD@ORACLSH;
10.爲多個視圖建立刷新組:
begin
dbms_refresh.make (
name => 』mvadmin.sh_refresh』,list => 』』,
next_date => sysdate,interval => 』sysdate + 1』,
implicit_destroy => false,rollback_seg => 』』,
push_deferred_rpc => true,refresh_after_errors => false);
end;
11.向刷新組中添加複制對象:
begin
dbms_refresh.add (name => 』mvadmin.sh_refresh』,list => 』SHORACL.CREDIT_CARD 』,lax => true);
end;
/
三.檢查複制進程
1.查看sys.dba_jobs視圖是否生成了足夠的作業。
經過以上的步驟應該有三個作業分別是清除作業、調度作業和刷新作業,查看視圖的what字段是否有下面的內容:
a) declare rc binary_integer; begin rc := sys.dbms_defer_sys.
purge( delay_seconds=>0); end;
b) declare rc binary_integer; begin rc := sys.dbms_defer_sys.
push(destination=>』ORACLSH』, stop_on_error=>FALSE,
delay_seconds=>0, parallelism=>0); end;
c) dbms_refresh.refresh(』"MVADMIN"."SH_REFRESH"』);
如果排除其它系統作業本例中杭州和武漢的數據庫複制建立之後將會有7個作業(如果爲每個複制分別建立刷新組的話),清除作業始終只有一個。每個複制對應一個調度作業,每個刷新組對應一個刷新作業。
2.查看job_queue_processes參數,確保該參數不爲零(數據庫的默認值是零),如果該參數爲零,除非每次手工執行刷新,否則系統不會自動刷新複制數據。
3.確保複制執行之後,觀察sys.dba_jobs視圖的failures字段。如果複制在刷新過程中除錯,Oracle會自動在1分鍾之後再次嘗試刷新,失敗之後再在2分鍾、4分鍾、8分鍾..之後嘗試刷新,直到失敗次數達到16次或者間隔時間超過作業設置的間隔時間,該作業將被標記爲中斷,Oracle不再執行該作業。要重新執行改作業使用dbms_job包的run過程:
begin
dbms_job.run(job_no);
end;
/
job_no 是sys.dba_jobs 的Job字段的值,作業號。
在重新執行因出錯而中斷的作業前,需要手工找到出錯點,並更正。
總結
本文只是使用了Oracle高級複制中最簡單的功能,Oracle的高級複制還提供可更新視圖和複雜的只讀實體化視圖複制,當然並不是我們都要去用高級複雜強大的功能,在具體應用的時候,還要根據系統功能和性能需求,選擇適當的複制技術。