百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

Oracle OGG 单向DML同步

moboyou 2025-03-10 13:54 16 浏览

介绍

本文介绍OGG单向dml复制,先从数据初始化开始,然后配置实时同步!数据库和OGG的安装过程略!

初始化数据有很多方法,这里介绍用ogg来初始化,所以创建了T1表!

实时同步使用源端EXTRACT进程捕捉增量数据,存到源端trail文件中,然后使用源端pump进程读取EXTRACT的trail文件并投递到目标端的replicat进程的trail文件中。


服务器

操作系统版本

数据库版本

OGG版本

源端

192.168.141.100

CentOS6.8

11.2.0.4

12.2.0.1

目标端

192.168.141.105

CentOS6.8

11.2.0.4

12.2.0.1

数据库配置

1.源端和目标端数据库需要运行在归档模式,开启最小数据库附加日志,开启force_logging(可选)

alter database archivelog; (需要数据库在mount状态执行)

alter database force logging;

alter database add supplemental log data;

注意:

需要配置参数
ENABLE_GOLDENGATE_REPLICATION否则后面会遇到报错:

ERROR OGG-02091 Operation not supported because enable_goldengate_replication is not set to true.

ALTER SYSTEM SET ENABLE_GOLDENGATE_REPLICATION = TRUE SCOPE=BOTH;

2.创建OGG用户和单独表空间(源端和目标端都需要)

create tablespace ts_ogg datafile '/u01/app/oracle/oradata/tdb01/ts_ogg01.dbf' size 200M AUTOEXTEND on extent management local segment space management auto;

create user ggusr identified by ggusr default tablespace ts_ogg;

为了方便直接给予DBA权限:

grant resource,connect,dba to ggusr;

3.测试用户和表准备(源端目标端都需要)

这里直接使用scott用户来做测试:

alter user scott identified by scott account unlock;

grant select_catalog_role to scott;

源端:使用 sys用户在scott下面创建表,因为DBA_OBJECTS表scott无法访问

create table scott.t1 as select * FROM DBA_OBJECTS;

ALTER TABLE scott.t1 ADD constraint pk_t1 primary key(object_id);

目标端:只需要创建表结构

create table scott.t1 as select * FROM DBA_OBJECTS where 1=2;

ALTER TABLE scott.t1 ADD constraint pk_t1 primary key(object_id);

4.配置TNS

源端:

目标端:

OGG MGR进程配置

源端和目标端都要配置MGR管理进程

GGSCI (oracle01) 1>EDIT PARAMS mgr

PORT 7809 ---手动编辑输入

GGSCI (oracle01) 3> view params mgr -查看

PORT 7809

其他命令:

-- info all 查看进程信息

-- start mgr 启动mgr进程

-- info mgr 查看mgr进程信息

-- view report mgr 查看mgr的报告

配置完成后,将源端和目标端的mgr进程都启动

start mgr

OGG数据初始化

在做实时同步之前,需要将源端和目标端的表(t1)中的数据进行同步,同步的方式有很多(数据泵,dblink,ogg等),这里介绍通过ogg来同步表数据,直接从源库同步数据到目标库(direct load),不生成trail文件。

1.在源端添加 extract 进程

GGSCI (oracle01) 1> ADD EXTRACT initab,SOURCEISTABLE

查看相关信息:

info initab,task

info initab,showch

编辑参数:

GGSCI (oracle01) 4> EDIT PARAMS initab


extract initab

setenv (ORACLE_SID=tdb01)

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

userid ggusr,password ggusr

rmthost 192.168.141.105,mgrport 7809

rmttask replicat,group scott1 --- scott1 为目标端replicat进程名称(红色字体使用时需要去掉)

table scott.t1;

GGSCI (oracle01) 6> view params initab -----查看参数

2.在目标端添加replicat进程

GGSCI (oracle02) 2> add replicat scott1,specialrun ---specialrun 只运行一次

编辑参数rinig1 --名字可以随便取,但是必须和上面同意

GGSCI (oracle02) 3> EDIT PARAMS scott1

replicat scott1

setenv (ORACLE_SID=tdb02)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

setenv (NLS_LANG=AMERICAN_AMERICA.ZHS16GBK)

assumetargetdefs

userid ggusr,password ggusr

discardfile ./dirrpt/rinig1.dsc,purge

map scott.*,target scott.*;

GGSCI (oracle02) 4> view params scott1 ---查看参数

3.开始初始化数据

源端:

启动extract进程 并查看日志输出

GGSCI (oracle01) 9>start extract initab

GGSCI (oracle01) 10>info *,task --查看运行状态

GGSCI (oracle01) 11>view report initab ---查看输出信息,检查是否有报错

没有报错最后会出现:

注意:

OGG-01201 Error reported by MGR : Access denied.

如果出现这个报错,说明目标端mgr拒绝了连接,需要在目标端添加mgr的参数文件中添加

ACCESSRULE, PROG *, IPADDR *, ALLOW

查询两边表scott.t1表的数据量是否相同:

select count(*) from scott.t1; ---86953条(我这里是)

至此,数据初始化完成!

DML实时同步

源端EXTRACT进程捕捉增量数据,存到trail文件中,然后使用pump进程读取EXTRACT的trail并投递到目标端的replicat进程!!!

1.配置OGG实时同步功能(源端操作)

####使用ogg用户ggusr登录

GGSCI (oracle01) 1> dblogin userid ggusr, password ggusr

Successfully logged into database.

####在源端配置将需要传输的用户的表的附加日志:

GGSCI (oracle01 as ggusr@tdb01) 2>info trandata scott.* ---查看表附加日志信息

Logging of supplemental redo log data is disabled for table SCOTT.BONUS.

Logging of supplemental redo log data is disabled for table SCOTT.DEPT.

Logging of supplemental redo log data is disabled for table SCOTT.EMP.

Logging of supplemental redo log data is disabled for table SCOTT.SALGRADE.

Logging of supplemental redo log data is disabled for table SCOTT.T1.

####添加表附加日志信息

GGSCI (oracle01 as ggusr@tdb01) 3> add trandata scott.*

2.源端配置EXTRACT进程并添加trail文件,进程名字不能超过8个字符

GGSCI (oracle01) 2>ADD EXTRACT scott_st,tranlog,begin now

编辑参数:

GGSCI (oracle01) 3>EDIT PARAMS scott_st

extract scott_st

setenv (ORACLE_SID=tdb01)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

userid ggusr,password ggusr

exttrail ./dirdat/st

table scott.*;

GGSCI (oracle01) 4>view PARAMS scott_st

添加 exttrail文件,文件前缀不能超过2个字:

GGSCI (oracle01) 5>add exttrail ./dirdat/st,extract scott_st,megabytes 100

启动extract进程scott_st:

GGSCI (oracle01) 6>start extract scott_st

3.源端添加并启动pump进程(pump进程也是一种extract进程)

GGSCI (oracle01) 7>EDIT PARAMS pora_st

extract pora_st

setenv (ORACLE_SID=tdb01)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

passthru

rmthost 192.168.141.105,mgrport 7809

rmttrail ./dirdat/pa

table scott.*;

添加pump进程,并使用前面extract捕获的日志

GGSCI (oracle01) 8>add extract pora_st,exttrailsource ./dirdat/st

添加输出到目标端的trail文件名称,和参数中一致

GGSCI (oracle01) 9>add rmttrail ./dirdat/pa,extract pora_st,megabytes 100

启动extract进程pora_st:

start extract pora_st

4.目标端配置replicat进程

####在目标端添加检查表,

GGSCI (oracle02) 1> EDIT PARAMS ./GLOBALS

checkpointtable ggusr.rep_demo_ckpt

ggsci 登录到ggusr用户

GGSCI (oracle02) 2>dblogin userid ggusr, password ggusr

GGSCI (oracle02 as ggusr@tdb02) 3>add checkpointtable ggusr.rep_demo_ckpt

此时,在oracle中登录ggusr后,可以看到该用户下多出2张表

REP_DEMO_CKPT TABLE 和 REP_DEMO_CKPT_LOX

添加并启动replicat进程

GGSCI (oracle02) 1>EDIT PARAMS rora_st

replicat rora_st

setenv (ORACLE_SID=tdb02)

setenv (ORACLE_HOME=/u01/app/oracle/product/11.2.0/dbhome_1)

userid ggusr,password ggusr

handlecollisions

assumetargetdefs

discardfile ./dirrpt/rora_st.dsc,purge

map scott.*,target scott.*;

添加replicat进程,配置trail

GGSCI (oracle02) 2>add replicat rora_st,exttrail ./dirdat/pa

启动extract进程!!(前面已经启动mgr)

GGSCI (oracle02) 3>start replicat rora_st

其他命令:

stats rora_st -----查看进程的捕获信息!!!!

info *.task

测试

同步测试:

select max(object_id) from t1; --在源端和目标端都查询T1表中最大的object_id号

源端做insert操作并提交:

insert into t1(object_id,object_name) values('88606','ogg_test');

commit;

目标端查询:

select object_id,object_name from t1 where object_id='88606';

相关推荐

iis部署php项目(iis发布php)

1.启动iis服务器最后点击确定就完成了2.打开iis点击进入即可3.创建网站进入添加网站。添加注意事项如图所示!启动、浏览、重启、停止网站这个如图所示。需要说明的是只要修改了配置就必须重启下网站4...

Win10安装Apache和PHP(apache安装php模块)

说明:虽然PHPStudy之类的软件给我们提供了方便的集成环境,但是其使用的是非线程安全的PHP版本(NotThreadSafe,NTS),某些功能不可以使用。所以,我们还需要自己再安装一个Apa...

两个php框架在一个网站上开发好吗

框架就是通过提供一个开发Web程序的基本架构,PHP开发框架把PHPWeb程序开发摆到了流水线上。换句话说,PHP开发框架有助于促进快速软件开发(RAD),这节约了你的时间,有助于创建更为稳定的程序,...

Ubuntu linux 上的 Nginx 和 Php 安装

教程-在UbuntuLinux上安装Nginx1.安装Nginx服务器和所需的包。apt-getupdatebrapt-getinstallnginx2.在Nginx配置文件...

网站开发初级(3) 之 PHP运行环境搭建

这篇文章主要是讲windows下php环境的搭建这里我们用的是phpstudy,作为入门学者足够了,解压安装就能用了,适当配置下基本能应付我们的开发要求下载地址:http://rj.baidu.co...

真实案例:优化用老PHP7.4的网站让其速度提高4倍

我让反应迟钝的PHP应用程序性能提升了4倍,而且我甚至没有改动任何源代码。没有重构,没有重写,只是进行了一系列精心规划的配置调整和部署优化。这篇文章将详细告诉你我是如何做到的。如果你的PHP应用程序运...

mac下快速搭建本地php开发环境(macbook开发php)

本教程主要是告诉大家,怎么快速的在mac下搭建php+mysql服务。一、安装CommandLineTools苹果系统下很多开发工具是基于CommandLineTools,所以安装它是首先。...

php手把手教你做网站(二十)vue+tp6简单案例(demo)

很多时候搭建好了环境,但是不知道怎么入手去开发。下面我们通过简单案例说明如何快速入门开发模块:例1:开发helloworld模块搭建好环境,新建项目以后,进入项目所在文件夹,依次进入src/compo...

Windows安装phpstudy(windows安装docker desktop)

说明:phpstudy是一个PHP+MySQL+Apache的集成环境,可以减少单独部署各个所需软件的麻烦,以及更加方便地切换版本。phpenv、wamp等软件的作用一样。由于环境的不同,安装过程中可...

服务器安装PHP网站的运行环境(php的服务器app)

首先要确认的是你的服务器的系统,Windows、或者linux系统。要想在Windows系统里运行php网站,可以选择iis或者Apache,如果你单独的去安装,可能会花很多时间去配置这个软件直接问题...

折腾群晖NAS:使用群晖web功能搭建个人博客「 小白玩NAS系列」

大家好,今天分享给大家如何利用群晖自带的web功能,来搭建一个属于自己的个人网站或者博客。搭建群晖web环境1、首先进入套件中心,下载webstation,群晖自带的web环境,安装会提示安装PHP...

黑客搭建钓鱼平台,手把手教你如何钓鱼?

跨站脚本攻击XSS:通过HTML注入篡改了网页,插入了恶意的脚本,从而用户浏览网页时,控制用户浏览器的一种攻击那么,我们搭建一个XSS钓鱼平台吧,注意:这个平台仅用于学习和测试,小伙伴们不要动有坏心思...

PHP 环境 搭建教程(php环境搭建apache)

PHP是一种编程语言,很多网站都用PHP语言编写,我们有时候需要测试一个网站,就需要PHP环境才能运行,又要安装Apache、又要安装MySQL……真的非常麻烦。其实我们可以使用PHP集成...

php手把手教你做网站(六)IIS创建站点注意事项

站点名称:随便填写;应用程序池:创建站点的时候会自动生成对应的,默认就好;物理路径:选择站点所在目录;类型:本地一定是http,网上可能会有https;IP地址:默认端口默认,如果是别的端口,网址访问...

分享PHP网站开发过程中的一些经验

现在的网站建设语言有几种,分别是ASP.NET,PHP,JSP这三种最为常见,这三种语言做出来的网站各有各的特点,asp属于最成熟的建站模式,jsp一般使用在大型网站系统上,对于php是目前比较流行的...