百度360必应搜狗淘宝本站头条
外键约束 oraclephp简单源码宏程序代码一览表唯一索引 oraclelinux有没有pe工具
当前位置：网站首页 > 技术资源 > 正文

Oracle 创建磁盘组报错ORA-15137的问题分析与解决思路

moboyou 2025-03-14 16:29 49 浏览

ASM扩容本来是件很简单的事，当ASM磁盘准备好之后，直接一条命令就会添加上。但是也会有异常情况，最近就碰到Oracle 19c在扩容时报错的故障，供大家参考。

集群处于ROLLING PATCH模式

背景

某ERP数据库采用Oracle 19c RAC集群，部署架构为传统架构即两台计算节点外挂集中存储。ASM的DATA磁盘组空闲较小需扩容，执行对DATA磁盘组的扩容操作，但报错失败。

报错ORA-15137。这个报错还没见过。我们通过完整的分析过程来展现分析思路。

收集信息

1、查看ASM磁盘组现有状态

通过命令查询，ASM的DATA磁盘组用于存放数据文件；ARCH磁盘组用于存放归档文件。

其中DATA磁盘组总量2TB，目前空闲可用约300GB；ARCH磁盘组总量1TB，目前空闲可用约700GB。

[root@erp1 ~]# su - gridLast login: Fri Jan 15 15:37:01 CST 2021
[grid@erp1 ~]$ asmcmd
ASMCMD> lsdg
State    Type    Rebal  Sector  Logical_Sector  Block       AU  Total_MB  Free_MB  Req_mir_free_MB  Usable_file_MB  Offline_disks  Voting_files  Name
MOUNTED  EXTERN  N         512             512   4096  1048576   1048576   716705                0          716705              0             N  ARCH/
MOUNTED  NORMAL  N         512             512   4096  4194304     15360    14388             5120            4634              0             Y  CRS/
MOUNTED  EXTERN  N         512             512   4096  1048576   2097152   323132                0          323132              0             N  DATA/
ASMCMD>

2、查看磁盘（权限和属组）

①通过lsblk命令查询sdf、sdg、sdh、sdi，均为1TB磁盘；

②通过scsi_id命令查询磁盘ID；

③通过查看
99-oracle-asmdevices.rules文件。在1月14日进行了修改，将
3604fe8d100d5d230b888210a00000038磁盘绑定了别名asm-data03；

④在/dev目录下查看绑定状态正确无误。

[root@erp1 ~]# lsblk
NAME            MAJ:MIN RM   SIZE RO TYPE MOUNTPOINT
sda               8:0    0 558.7G  0 disk
├─sda1            8:1    0     1G  0 part /boot
└─sda2            8:2    0 557.7G  0 part
  ├─centos-root 253:0    0 493.7G  0 lvm  /
  └─centos-swap 253:1    0    64G  0 lvm  [SWAP]
sdb               8:16   0   5.5T  0 disk
└─sdb1            8:17   0     5T  0 part /backup
sdc               8:32   0     5G  0 disk
sdd               8:48   0     5G  0 disk
sde               8:64   0     5G  0 disk
sdf               8:80   0     1T  0 disk
sdg               8:96   0     1T  0 disk
sdh               8:112  0     1T  0 disk
sdi               8:128  0     1T  0 disk
up-0            252:0    0     5G  0 disk
up-1            252:1    0     5G  0 disk
up-2            252:2    0     5G  0 disk
up-3            252:3    0     1T  0 disk
up-4            252:4    0     1T  0 disk
up-5            252:5    0     1T  0 disk
up-6            252:6    0     5G  0 disk
up-7            252:7    0     5G  0 disk
loop0             7:0    0   4.3G  0 loop /media
up-10           252:10   0     1T  0 disk
up-12           252:12   0     5G  0 disk
up-13           252:13   0     5G  0 disk
up-16           252:16   0     1T  0 disk
up-20           252:20   0     5G  0 disk
up-21           252:21   0     1T  0 disk
up-23           252:23   0     1T  0 disk
up-24           252:24   0     1T  0 disk
up-25           252:25   0     1T  0 disk
up-26           252:26   0     1T  0 disk
[root@erp1 ~]#
[root@erp1 dev]# for i in `cat /proc/partitions|awk '{print $4}'|grep sd`;do echo "###$i: `/usr/lib/udev/scsi_id -g -u /dev/$i`";done
###sda: 3600508b1001cda76417cf02db9743e70
###sda1: 3600508b1001cda76417cf02db9743e70
###sda2: 3600508b1001cda76417cf02db9743e70
###sdb: 3600508b1001c7a0f06f5b4a9bf1cb976
###sdb1: 3600508b1001c7a0f06f5b4a9bf1cb976
###sdc: 3604fe8d100d5d230c0ebe3c90000001d
###sdd: 3604fe8d100d5d230c0ebe3f20000001e
###sde: 3604fe8d100d5d230c0ebe41c0000001f
###sdf: 3604fe8d100d5d230bc5ea3a50000001
a###sdg: 3604fe8d100d5d230bc5ea3ce0000001b
###sdh: 3604fe8d100d5d230bc5f19f80000001c
###sdi: 3604fe8d100d5d230b888210a00000038
[root@erp1 udev]# cd rules.d/
[root@erp1 rules.d]# l
ltotal 16-rw-------. 1 root root  211 Jun 24  2020 56-nxup.rules
-rw-r--r--. 1 root root 1390 Jan 14 09:21 99-oracle-asmdevices.rules
-rw-r-----  1 root root 1653 Jun 30  2020 99-oracle-asmdevices.rules.old.bak
-rw-------. 1 root root  571 Jun 24  2020 99-ultrapath.rules
[root@erp1 rules.d]# cat 99-oracle-asmdevices.rules
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230c0ebe3c90000001d", SYMLINK+="asm-ocr01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230c0ebe3f20000001e", SYMLINK+="asm-ocr02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230c0ebe41c0000001f", SYMLINK+="asm-ocr03", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230bc5ea3a50000001a", SYMLINK+="asm-data01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230bc5ea3ce0000001b", SYMLINK+="asm-data02", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230bc5f19f80000001c", SYMLINK+="asm-arch01", OWNER="grid", GROUP="asmadmin", MODE="0660"
KERNEL=="sd*", SUBSYSTEM=="block", PROGRAM=="/usr/lib/udev/scsi_id -g -u -d $devnode", RESULT=="3604fe8d100d5d230b888210a00000038", SYMLINK+="asm-data03", OWNER="grid", GROUP="asmadmin", MODE="0660"

补充：

验证属组权限的，还有一个更快捷的方法——kfod。当我们创建磁盘组的时候，Oracle就是调用kfod命令来发现磁盘的，如果能够被kfod识别，那这块盘就能够被Oracle正确识别：

常用验证命令：

kfod status=true disks=all op=disks

3、查看ASM alert日志，是否还有更多信息：

和前台界面报错一样，ORA-15137，再没有更多信息。

现在就是新加的这块盘没有问题，不管是OS，还是Oracle，都能够正常识别这块盘。按理说是可以正常扩容成功的，但是ASM alert实例就是添加报错。

MOS

现在只有查询官方文档了。看有没有蛛丝马迹。

通过报错关键词查询（ORA-15137: The ASM cluster is in rolling patch state.）。

匹配文档： [OCI] Scale-up Failed in DBCS With ORA-15032: not all alterations performed, ORA-15137: The ASM cluster is in rolling patch state (Doc ID 2681040.1)
为两台计算节点补丁不一致，list of patches在计算节点1缺少一个， patch level值不一致。

1节点：

[grid@erp1 trace]$ /u01/app/19.3.0/grid/bin/kfod op=patches
---------------
List of Patches
===============
30869156
30869304
30894985
30898856
[grid@erp1 trace]$ /u01/app/19.3.0/grid/bin/kfod op=PATCHLVL
-------------------
Current Patch level
===================
3633918477
[grid@erp1 trace]$ /u01/app/19.3.0/grid/bin/crsctl query crs softwarepatch
Oracle Clusterware patch level on node erp1 is [3633918477].
[grid@erp1 trace]$ /u01/app/19.3.0/grid/bin/crsctl query crs activeversion -f
Oracle Clusterware active version on the cluster is [19.0.0.0.0]. The cluster upgrade state is [ROLLING PATCH]. The cluster active patch level is [724960844].
[grid@erp1 trace]$ /u01/app/19.3.0/grid/bin/asmcmd showclusterstate
In Rolling Patch
[grid@erp1 trace]$

2节点：

[grid@erp2 trace]$ /u01/app/19.3.0/grid/bin/kfod op=patches
---------------
List of Patches
===============
29517242
30869156
30869304
30894985
30898856
[grid@erp2 trace]$ /u01/app/19.3.0/grid/bin/kfod op=PATCHLVL
-------------------
Current Patch level
===================
1019803962
[grid@erp2 trace]$ /u01/app/19.3.0/grid/bin/crsctl query crs softwarepatch
Oracle Clusterware patch level on node erp2 is [1019803962].
[grid@erp2 trace]$ /u01/app/19.3.0/grid/bin/crsctl query crs activeversion -f
Oracle Clusterware active version on the cluster is [19.0.0.0.0]. The cluster upgrade state is [ROLLING PATCH]. The cluster active patch level is [724960844].
[grid@erp2 trace]$ /u01/app/19.3.0/grid/bin/asmcmd showclusterstate
In Rolling Patch

上述的state is [ROLLING PATCH]，一般显示为state is [NORMAL]。此处已经异常。

可以看出两点：

  • 集群处于ROLLING PATCH模式；
  • 对比发现，crs softwarepatch补丁信息不一致，而且kfod工具的补丁，2节点比1节点多一个。

看起来是由于2个节点的补丁不一致，导致集群处于ROLLING PATCH模式。那为什么会有补丁信息不一样的情况？

因为我们打补丁的时候，是通过opatchauto自动打的，而且是2个节点一起打的。经询问，打补丁的过程没有报错。这个就比较奇怪了。打算提个sr咨询下原厂，因为未来还要大批量的打补丁，这将是个隐患。

补充：

这种查看补丁的方式还是第一次用，以前常用的都是opatch lspatches和opatch lsinventory来查看节点的补丁信息，如下：

对比发现：两节点安装的RU是一致的。所以在此处，此方法查看补丁的方法是行不通的。

小结：通过命令和日志查询，发现在1月14日早9时，进行了udev绑定状态正常，进行了DATA磁盘组添加磁盘，报错失败。经过搜索查询，疑似为两台计算节点补丁不一致造成。目前数据库使用状态正常，管控应用使用状态正常。

解决

以下所有的操作都是在多余的补丁的那个节点操作的，即2节点操作：

1、停止2节点数据库：shutdown immediate

2、./rootcrs.sh -prepatch

3、 ./patchgen commit -rb 29757256 (29757256是节点二多余的那个补丁)

4、./rootcrs.sh -postpatch

执行完第三步会报错，按照MOS文档 2348013.1 处理

5、./rootcrs.sh -prepatch

6、./rootcrs.sh -postpatch

7、ASMCMD进去，showclusterstate，再检查patch状态，从rolling变为normal

至此，添加ASM磁盘正常。

问题原因

本次故障是因为安装补丁的时候，由于未知原因，导致kfod这个工具的补丁不一致，集群处于ROLLING PATCH模式，识别ASM磁盘都没有问题，但是会导致ASM扩容失败。

手动安装补丁，没有执行rootcrs.sh的脚本

今天在测试环境创建磁盘组时报错了，虽然不知道问题是怎样产生的，但是最后解决了，特此记录一下。

问题现象

create diskgroup xxxxx;
ORA-15018: Diskgroup can not be created
ORA-15137: cluster in rolling patch

问题原因

猜测是因为打19.4.2的补丁时不是用opatchauto打的，并且打的时候没有跑rootcrs.sh的脚本。

问题解决

如果下面命令查询2个节点命令不一致的话可以用下面的方法解决，可惜我的2个节点一致这个方法不行：

crsctl query crs softwarepatch
crsctl stop rollingpatch

2个节点分别跑rootcrs.sh的脚本，问题得到解决：

/crs/install/rootcrs.sh -prepatch
/rdbms/install/rootadd_rdbms.sh

If this is an Oracle Restart Home, as the root user execute:

/crs/install/rootcrs.sh -postpatch

参考:

[OCI] Scale-up Failed in DBCS With ORA-15032: not all alterations performed, ORA-15137: The ASM cluster is in rolling patch state (Doc ID 2681040.1)

Patching 12.2.0.1 Grid Infrastructure gives error CRS-6706: Oracle Clusterware Release Patch Level (‘748994161’) Does Not Match Software Patch Level (Doc ID 2348013.1)

墨天轮原文链接：
https://www.modb.pro/db/101954?sjhy（复制到浏览器或者点击oracle 创建磁盘组报错 ORA-15137 - 墨天轮立即查看）

关于作者

樊卓卓，云和恩墨西区交付团队技术顾问。超过7年的Oracle DBA经验，服务于运营商、电力、银行、国税、制造、广电等行业，拥有PGCA、PGCE、OBCA、OBCP多项认证，擅长Oracle数据库升级迁移、备份恢复、故障诊断。

相关推荐

Excel技巧:SHEETSNA函数一键提取所有工作表名称批量生产目录

首先介绍一下此函数：SHEETSNAME函数用于获取工作表的名称，有三个可选参数。语法：=SHEETSNAME([参照区域],[结果方向],[工作表范围])（参照区域，可选。给出参照，只返回参照单元格...

Excel HOUR函数:“小时”提取器_excel+hour函数提取器怎么用

一、函数概述HOUR函数是Excel中用于提取时间值小时部分的日期时间函数，返回0（12:00AM）到23（11:00PM）之间的整数。该函数在时间数据分析、考勤统计、日程安排等场景中应用广泛。语...

Filter+Search信息管理不再难|多条件|模糊查找|Excel函数应用

原创版权所有介绍一个信息管理系统，要求可以实现:多条件、模糊查找，手动输入的内容能去空格。先看效果，如下图动画演示这样的一个效果要怎样实现呢？本文所用函数有Filter和Search。先用filter...

FILTER函数介绍及经典用法12:FILTER+切片器的应用

EXCEL函数技巧：FILTER经典用法12。FILTER+切片器制作筛选按钮。FILTER的函数的经典用法12是用FILTER的函数和切片器制作一个筛选按钮。像左边的原始数据，右边想要制作一...

office办公应用网站推荐_office办公软件大全

以下是针对Office办公应用（Word/Excel/PPT等）的免费学习网站推荐，涵盖官方教程、综合平台及垂直领域资源，适合不同学习需求：一、官方权威资源1.微软Office官方培训...

WPS/Excel职场办公最常用的60个函数大全(含卡片)，效率翻倍!

办公最常用的60个函数大全：从入门到精通，效率翻倍！在职场中，WPS/Excel几乎是每个人都离不开的工具，而函数则是其灵魂。掌握常用的函数，不仅能大幅提升工作效率，还能让你在数据处理、报表分析、自动...

收藏|查找神器Xlookup全集|一篇就够|Excel函数|图解教程

原创版权所有全程图解，方便阅读，内容比较多，请先收藏！Xlookup是Vlookup的升级函数，解决了Vlookup的所有缺点，可以完全取代Vlookup，学完本文后你将可以应对所有的查找难题，内容...

批量查询快递总耗时?用Excel这个公式，自动计算揽收到签收天数

批量查询快递总耗时？用Excel这个公式，自动计算揽收到签收天数在电商运营、物流对账等工作中，经常需要统计快递“揽收到签收”的耗时——比如判断某快递公司是否符合“3天内送达”的服务承...

Excel函数公式教程(490个实例详解)

Excel函数公式教程（490个实例详解）管理层的财务人员为什么那么厉害？就是因为他们精通excel技能！财务人员在日常工作中，经常会用到Excel财务函数公式，比如财务报表分析、工资核算、库存管理等...

Excel(WPS表格)Tocol函数应用技巧案例解读，建议收藏备用!

工作中，经常需要从多个单元格区域中提取唯一值，如体育赛事报名信息中提取唯一的参赛者信息等，此时如果复制粘贴然后去重，效率就会很低。如果能合理利用Tocol函数，将会极大地提高工作效率。一、功能及语法结...

Excel中的SCAN函数公式，把计算过程理清，你就会了

Excel新版本里面，除了出现非常好用的xlookup，Filter公式之外，还更新一批自定义函数，可以像写代码一样写公式其中SCAN函数公式，也非常强大，它是一个循环函数，今天来了解这个函数公式的计...

Excel(WPS表格)中多列去重就用Tocol+Unique组合函数，简单高效

在数据的分析和处理中，“去重”一直是绕不开的话题，如果单列去重，可以使用Unique函数完成，如果多列去重，如下图：从数据信息中可以看到，每位参赛者参加了多项运动，如果想知道去重后的参赛者有多少人，该...

Excel(WPS表格)函数Groupby，聚合统计，快速提高效率!

在前期的内容中，我们讲了很多的统计函数，如Sum系列、Average系列、Count系列、Rank系列等等……但如果用一个函数实现类似数据透视表的功能，就必须用Groupby函数，按指定字段进行聚合汇...

Excel新版本，IFS函数公式，太强大了!

我们举一个工作实例，现在需要计算业务员的奖励数据，右边是公司的奖励标准：在新版本的函数公式出来之前，我们需要使用IF函数公式来解决1、IF函数公式IF函数公式由三个参数组成，IF(判断条件，对的时候返...

Excel不用函数公式数据透视表，1秒完成多列项目汇总统计

如何将这里的多组数据进行汇总统计？每组数据当中一列是不同菜品，另一列就是该菜品的销售数量。如何进行汇总统计得到所有的菜品销售数量的求和、技术、平均、最大、最小值等数据？不用函数公式和数据透视表，一秒就...

一周热门
最近发表
标签列表
蜀ICP备2024111239号-28