百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Oracle OGG 单向DML同步

moboyou 2025-03-10 13:54 9 浏览

介绍

本文介绍OGG单向dml复制,先从数据初始化开始,然后配置实时同步!数据库和OGG的安装过程略!

初始化数据有很多方法,这里介绍用ogg来初始化,所以创建了T1表!

实时同步使用源端EXTRACT进程捕捉增量数据,存到源端trail文件中,然后使用源端pump进程读取EXTRACT的trail文件并投递到目标端的replicat进程的trail文件中。


服务器

操作系统版本

数据库版本

OGG版本

源端

192.168.141.100

CentOS6.8

11.2.0.4

12.2.0.1

目标端

192.168.141.105

CentOS6.8

11.2.0.4

12.2.0.1

数据库配置

1.源端和目标端数据库需要运行在归档模式,开启最小数据库附加日志,开启force_logging(可选)

alter database archivelog; (需要数据库在mount状态执行)

alter database force logging;

alter database add supplemental log data;

注意:

需要配置参数
ENABLE_GOLDENGATE_REPLICATION否则后面会遇到报错:

ERROR OGG-02091 Operation not supported because enable_goldengate_replication is not set to true.

ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE SCOPE=BOTH;

2.创建OGG用户和单独表空间(源端和目标端都需要)

create tablespace ts_ogg datafile '/u01/app/oracle/oradata/tdb01/ts_ogg01.dbf' size 200M AUTOEXTEND on extent management local segment space management auto;

create user ggusr identified by ggusr default tablespace ts_ogg;

为了方便直接给予DBA权限:

grant resource,connect,dba to ggusr;

3.测试用户和表准备(源端目标端都需要)

这里直接使用scott用户来做测试:

alter user scott identified by scott account unlock;

grant select_catalog_role to scott;

源端:使用 sys用户在scott下面创建表,因为DBA_OBJECTS表scott无法访问

create table scott.t1 as select * FROM DBA_OBJECTS;

ALTER TABLE scott.t1 ADD constraint pk_t1 primary key(object_id);

目标端:只需要创建表结构

create table scott.t1 as select * FROM DBA_OBJECTS where 1=2;

ALTER TABLE scott.t1 ADD constraint pk_t1 primary key(object_id);

4.配置TNS

源端:

目标端:

OGG MGR进程配置

源端和目标端都要配置MGR管理进程

GGSCI (oracle01) 1>EDIT PARAMS mgr

PORT 7809 ---手动编辑输入

GGSCI (oracle01) 3> view params mgr -查看

PORT 7809

其他命令:

-- info all 查看进程信息

-- start mgr 启动mgr进程

-- info mgr 查看mgr进程信息

-- view report mgr 查看mgr的报告

配置完成后,将源端和目标端的mgr进程都启动

start mgr

OGG数据初始化

在做实时同步之前,需要将源端和目标端的表(t1)中的数据进行同步,同步的方式有很多(数据泵,dblink,ogg等),这里介绍通过ogg来同步表数据,直接从源库同步数据到目标库(direct load),不生成trail文件。

1.在源端添加 extract 进程

GGSCI (oracle01) 1> ADD EXTRACT initab,SOURCEISTABLE

查看相关信息:

info initab,task

info initab,showch

编辑参数:

GGSCI (oracle01) 4> EDIT PARAMS initab


extract initab

setenv (ORACLE_SID=tdb01)

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

userid ggusr,password ggusr

rmthost 192.168.141.105,mgrport 7809

rmttask replicat,group scott1 --- scott1 为目标端replicat进程名称(红色字体使用时需要去掉)

table scott.t1;

GGSCI (oracle01) 6> view params initab -----查看参数

2.在目标端添加replicat进程

GGSCI (oracle02) 2> add replicat scott1,specialrun ---specialrun 只运行一次

编辑参数rinig1 --名字可以随便取,但是必须和上面同意

GGSCI (oracle02) 3> EDIT PARAMS scott1

replicat scott1

setenv (ORACLE_SID=tdb02)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

assumetargetdefs

userid ggusr,password ggusr

discardfile ./dirrpt/rinig1.dsc,purge

map scott.*,target scott.*;

GGSCI (oracle02) 4> view params scott1 ---查看参数

3.开始初始化数据

源端:

启动extract进程 并查看日志输出

GGSCI (oracle01) 9>start extract initab

GGSCI (oracle01) 10>info *,task --查看运行状态

GGSCI (oracle01) 11>view report initab ---查看输出信息,检查是否有报错

没有报错最后会出现:

注意:

OGG-01201 Error reported by MGR : Access denied.

如果出现这个报错,说明目标端mgr拒绝了连接,需要在目标端添加mgr的参数文件中添加

ACCESSRULE, PROG *, IPADDR *, ALLOW

查询两边表scott.t1表的数据量是否相同:

select count(*) from scott.t1; ---86953条(我这里是)

至此,数据初始化完成!

DML实时同步

源端EXTRACT进程捕捉增量数据,存到trail文件中,然后使用pump进程读取EXTRACT的trail并投递到目标端的replicat进程!!!

1.配置OGG实时同步功能(源端操作)

####使用ogg用户ggusr登录

GGSCI (oracle01) 1> dblogin userid ggusr, password ggusr

Successfully logged into database.

####在源端配置将需要传输的用户的表的附加日志:

GGSCI (oracle01 as ggusr@tdb01) 2>info trandata scott.* ---查看表附加日志信息

Logging of supplemental redo log data is disabled for table SCOTT.BONUS.

Logging of supplemental redo log data is disabled for table SCOTT.DEPT.

Logging of supplemental redo log data is disabled for table SCOTT.EMP.

Logging of supplemental redo log data is disabled for table SCOTT.SALGRADE.

Logging of supplemental redo log data is disabled for table SCOTT.T1.

####添加表附加日志信息

GGSCI (oracle01 as ggusr@tdb01) 3> add trandata scott.*

2.源端配置EXTRACT进程并添加trail文件,进程名字不能超过8个字符

GGSCI (oracle01) 2>ADD EXTRACT scott_st,tranlog,begin now

编辑参数:

GGSCI (oracle01) 3>EDIT PARAMS scott_st

extract scott_st

setenv (ORACLE_SID=tdb01)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

userid ggusr,password ggusr

exttrail ./dirdat/st

table scott.*;

GGSCI (oracle01) 4>view PARAMS scott_st

添加 exttrail文件,文件前缀不能超过2个字:

GGSCI (oracle01) 5>add exttrail ./dirdat/st,extract scott_st,megabytes 100

启动extract进程scott_st:

GGSCI (oracle01) 6>start extract scott_st

3.源端添加并启动pump进程(pump进程也是一种extract进程)

GGSCI (oracle01) 7>EDIT PARAMS pora_st

extract pora_st

setenv (ORACLE_SID=tdb01)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

passthru

rmthost 192.168.141.105,mgrport 7809

rmttrail ./dirdat/pa

table scott.*;

添加pump进程,并使用前面extract捕获的日志

GGSCI (oracle01) 8>add extract pora_st,exttrailsource ./dirdat/st

添加输出到目标端的trail文件名称,和参数中一致

GGSCI (oracle01) 9>add rmttrail ./dirdat/pa,extract pora_st,megabytes 100

启动extract进程pora_st:

start extract pora_st

4.目标端配置replicat进程

####在目标端添加检查表,

GGSCI (oracle02) 1> EDIT PARAMS ./GLOBALS

checkpointtable ggusr.rep_demo_ckpt

ggsci 登录到ggusr用户

GGSCI (oracle02) 2>dblogin userid ggusr, password ggusr

GGSCI (oracle02 as ggusr@tdb02) 3>add checkpointtable ggusr.rep_demo_ckpt

此时,在oracle中登录ggusr后,可以看到该用户下多出2张表

REP_DEMO_CKPT TABLE 和 REP_DEMO_CKPT_LOX

添加并启动replicat进程

GGSCI (oracle02) 1>EDIT PARAMS rora_st

replicat rora_st

setenv (ORACLE_SID=tdb02)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

userid ggusr,password ggusr

handlecollisions

assumetargetdefs

discardfile ./dirrpt/rora_st.dsc,purge

map scott.*,target scott.*;

添加replicat进程,配置trail

GGSCI (oracle02) 2>add replicat rora_st,exttrail ./dirdat/pa

启动extract进程!!(前面已经启动mgr)

GGSCI (oracle02) 3>start replicat rora_st

其他命令:

stats rora_st -----查看进程的捕获信息!!!!

info *.task

测试

同步测试:

select max(object_id) from t1; --在源端和目标端都查询T1表中最大的object_id号

源端做insert操作并提交:

insert into t1(object_id,object_name) values('88606','ogg_test');

commit;

目标端查询:

select object_id,object_name from t1 where object_id='88606';

相关推荐

声学EI要完稿?十步速写法

【推荐会议】国际声学与振动会议(ICAV)会议号:CFP23112A截稿时间:2025年4月20日召开时间/地点:2025年8月15-17日·新加坡论文集上线:会后3个月提交EiComp...

结构力学!EI会议图表规范秘籍

推荐会议:国际结构与材料工程进展大会(ISME2026)会议编号:EI#73521截稿时间:2026年3月10日召开时间/地点:2026年8月15-17日·德国柏林论文集上线:会后4...

傅里叶级数物理意义的直观理解:利用傅里叶级数逼近方波信号

上篇文章将向大家介绍频谱的概念,对傅里叶级数、傅里叶积分、傅里叶变换进行了数学的推导,并解释了它们各自的物理意义。推导过程见我的上一篇文章:频谱分析——频谱概念(傅里叶变换、级数、积分及物理意义)如下...

通过对航空发动机整机振动进行分析,有何控制方法?

前言针对航空发动机整机振动问题的复杂性和多样性,以整机振动的振源分析为出发点,总结国内外关于转子系统故障、气流激振、轴承故障、齿轮故障和结构局部共振等引起的整机振动的研究情况。结合航空发动机整机结构动...

MATLIB中使用PCA

主成分分析PCA(PrincipalComponentsAnalysis),奇异值分解SVD(Singularvaluedecomposition)是两种常用的降维方法降维致力于解决三类问题:降维...

数据处理|软件:让科研更简单2

书接上回,继续介绍免费的数据处理软件。eGPS一款热图绘制专用软件,热图就是用颜色代表数字,让数据呈现更直观,对比更明显。优点:小巧方便,基本功能齐全,包括数据转换、聚类分析、颜色调整等等缺点:常见的...

电力系统常用的通讯协议及其在Speedgoat系统中的实现

在电力系统中,IEC61850协议、DNP3协议、ModbusTCP广泛应用于远程终端设备(RTU)、智能电子设备(IED)交互以及监控和数据采集(SCADA)系统。一、IEC61850协议IE...

电子工程师的常用仿真软件

不知道从事电子行业的工程师,有没有使用模拟仿真工具,仿真软件网上又有很多,初学者,可能只知道Multisim和Proteus。一般Multisim适合在学习模拟电路和电路分析原理课程时使用,便于理解电...

技术论文|异结构混沌系统的组合同步控制及电路实现

欢迎引用[1]李贤丽,马赛,樊争先,王壮,马文峥,于婷婷.异结构混沌系统的组合同步控制及电路实现[J].自动化与仪器仪表,2022,No.276(10):80-84.DOI:10.14016/j.cn...

现场︱某110KV主变事故过程仿真分析

三峡电力职业学院、河南省电力公司洛阳供电公司的研究人员李莉、任幼逢、徐金雄、王磊,在2016年第6期《电气技术》杂志上撰文,针对某110KV变电站主变差动保护跳闸事故,结合事故相关检测数据,通过MAT...

光伏发电系统篇:单级式并网系统实时仿真

在全球积极推动清洁能源转型的大背景下,光伏发电作为重要的可再生能源利用方式,得到了广泛关注和迅猛发展。目前常用的光伏并网及光伏电站主要拓扑结构有单级式和双级式。相较于传统的多级式系统,单级式光伏发电并...

光伏发电系统篇:三电平并网逆变器实时仿真

一、三电平并网逆变器在能源转型加速的当下,分布式能源接入电网需求大增。三电平并网逆变器凭借低谐波、高功率密度等优势,有效提升电能转换效率,于新能源并网发电中担当关键角色。常见的三电平电路拓扑结构包括二...

自制3.5KW大功率逆变器,很简单,看过这个电路原理就懂了

前言拿下8000元奖金的项目,是什么水平?本项目经过联合湖南科技大学光伏逆变以及电力电子研究生团队共同探讨方案。项目成本:1200元,获得奖金:8000元!参加赛事:立创开源硬件平台_星火计划·外包赛...

圈内分享:电容式加速度计接口电路非线性建模与仿真设计

摘要:非线性是Sigma-Delta(ΣΔ)加速度计系统的关键指标之一。基于一个五阶ΣΔ加速度计结构,分析了其主要的非线性模块,在MATLAB中建立了整体结构的行为级模型,并利用根轨迹法进行了稳...

基于Matlab/Simulink建立一种Thevenin/RC电池模块仿真模型

本文以锂电池数学模型为基础,在Matlab/Simulink的仿真系统中,建立了一种Thevenin/RC电池模块仿真模型,通过实际工况试验,测试精度在允许误差范围内,为电池SOC/SOH研究提供了极...