产品切换数据库问题处理总结
moboyou 2025-03-19 14:44 21 浏览
数据库用于存放产品在使用过程中生成的数据,并用这些数据去支持产品完成功能的执行。随着数据库技术的发展,数据库产品越来越多,如Oracle、DB2、MongoDB、SQLServer、Mysql等。各种数据库之间互有差异,各有各的优势,在实际工作中,可根据具体情况选择适当的数据库。
以往数通畅联产品是基于Mysql进行开发,在实际项目中也是基于Mysql进行集成开发;在本次项目工作中,需要使用的数据库为Oracle数据库,但部分工作已通过Mysql环境完成开发,所以需要进行数据的迁移以及产品数据库切换,在这过程中出现了一些问题,在本篇文档中将对这过程中的问题进行整理,将问题的产生原因以及解决方式进行记录,以供后续回顾。
背景说明
本篇文档主要对本次切换数据库后进行功能测试的过程中遇到的问题进行整理记录,分析问题出现的原因、解决的办法以及后续如何能够避免出现同样的问题进行记录,以供后续通过本篇文档进行回顾。
1.项目架构
数据中台主要帮助进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。
2.工作介绍
本次工作是在产品从Mysql切换为Oracle,同时完成以往配置迁移后,对产品功能进行测试,保障产品在完成数据库切换后,功能可以正常使用,使后续集成工作可以顺利开展。在测试的过程中,一定会出现一些问题,在处理问题的过程中,对问题进行记录,后续尽可能避免出现相同问题,也可以在后续出现相似问题时可以快速进行处理。
3.差异分析
Mysql和Oracle都是关系型数据库,可以应用于各种平台。在Oracle中创建一个数据库,数据库下有好多用户:sys,system,scott等,不同用户下还有好多表。但Mysql的默认用户是root,用户下可以创建好多数据库,每个数据库下还有好多表。同时两个数据库的SQL语法也有着差异,如:
1.Oracle中select语句后边的from是不能省略的,如果没有实际的表,可以用dual作为from的目的表,Mysql中from则是可以省略的;
2.Oracle中分组语句如果某列名不作为分组依据,及没有出现在group by后,则该列名是不允许放到select后边的,Mysql则没有此限制;
3.Oracle左连接,右连接可以使用(+)来实现. Mysql只能使用left join ,right join等关键字等等。
测试说明
每个产品乃至每个功能,在开发完成或是优化完成之后,都需要对其进行测试,用于发现问题点并进行处理,保障在实际使用的过程中,不会因为产品中出现的问题而影响到实际的工作效率。
1.测试目的
本篇文档主要对于主数据以及集成开发部分所需要使用到的功能点在测试过程中出现的问题以及解决办法进行介绍。由于产品是从Mysql数据库切换为Oracle数据库,由于两个数据库的SQL语句存在着差异,部分类型的数据在使用时也存在着不同,所以在切换过程中一定会存在处理不全面导致功能异常的问题;所以出现了本次的测试工作,本次测试的目的就是为了查找产品调整过程中考虑不全面的功能点,提高产品功能在实际使用中的可靠性。
2.测试重点
本次测试主要围绕着主数据平台进行,保障数据集成过程中所需要使用到的各项功能点,具体测试功能点如下:
1.页面显示效果,验证数据显示是否有异常;
2.页面新增、删除、启用、禁用等按钮功能是否正常;
3.MDC中数据建模是否能够生成对应的数据表,生成后的字段名称、字段类型、字段长度是否正确;
4.MDC功能建模能否进行创建,初始化的表单中字段与数据建模是否保持一致,以及SQL解析是否正确,数据管理页面能否根据解析出的SQL进行数据过滤查询;
5.验证数据同步接口功能是否正常,数据能否完成导入;
6.验证配置统一分发接口后,在BPM流程进行调用是否能够调用成功。
3.测试思路
在上文中对需要测试的功能点进行了介绍,在具体测试时可以按照实际使用步骤进行测试,将上述功能进行分类,并完成功能验证,具体如下:
1.进行数据建模、功能建模,在这过程中对这两个功能模块中的细节进行验证;
2.验证页面能否正常打开,打开后的显示效果有无异常;
3.进行源头系统数据同步,在这过程中验证数据同步接口的功能,同步后可验证数据详情页面以及各按钮的功能;
4.配置统一分发接口,使用手动创建的虚拟接口验证统一分发接口能否完成接口调用,数据下发有无异常。
测试过程
上文已对具体测试思路进行了介绍,并对需要测试的功能进行了分类;在本章节中,将具体介绍实际测试过程,本次测试过程也是主数据在数据集成工作中的实际使用步骤;未防止误解,在本章节中的截图都为经过调整后的最终效果。
1.模型构建
在MDC的基础数据建模中点击新增,配置主数据的基本信息、来源系统以及分发系统,如图:
双击新增的数据模型即可对该模型进行字段的配置,如图:
点击创建表即可完成对该主数据相关的数据表结构的创建,如图:
在MDC的功能配置中点击新增,如图:
在填写并配置完成主数据功能模型的基础信息之后,点击表单信息可以对该主数据的具体页面显示效果进行调整,位置如图:
打开管理列表对数据管理页面中的显示效果进行调整,如图:
打开管理表单调整数据详情页面的显示效果,如图:
在SQL中点击解析SQL并进行部署即可完成功能模型的调整,如图:
2.同步测试
本次主要用于接口功能测试,所以使用的流程为未调整的数据初始化流程,并进行一条数据的同步,如图:
查看临时表中是否有数据新增,如图:
查看真实表是否有数据写入,如图:
验证日志是否生成,如图:
点击禁用按钮,验证按钮功能,如图:
验证启用按钮功能,如图:
验证数据详情页面是否显示正常,如图:
3.统一分发
打开需要分发的下游业务系统,添加需要分发的主数据,如图:
双击主数据配置字段权限,如图:
点击接口配置,填写目标系统接收数据接口,本次为测试接口,如图:
选择数据,生成任务并提交,通过BPM流程调用统一分发接口,验证数据是否分发成功,如图:
在分发日志中验证数据是否分发成功,如图:
问题总结
在对产品功能进行使用、测试的过程中,遇到了一些问题,有预料之中的问题,也存在预料之外的问题;在本章节中,将对这些问题进行整理归纳,并描述这些问题是如何解决的。
1.问题描述
本次验证过程遇到的问题中,有SQL差异引起的问题、字段差异引起的问题、编写代码时考虑不足引起的问题,其中较为典型的问题如下:
1.数据建模添加字段后,无法对应修改数据表中的字段;
2.临时表以及真实表接口在数据同步过程中,无法完成数据的写入;
3.数据大量同步时,会出现无法进行数据同步的情况。
2.问题分析
在处理上述问题以及其他零散问题的过程中,发现有很多问题是由于Oracle以及Mysql数据库之间的差异引起的,这些问题大多是由于对Oracle的SQL处理不熟悉,在Mysql切换为Oracle时没有注意到引起的;其次就是由于不够细心,一些字段类型没有进行修改,导致功能使用出现异常;最后就是接口性能需要优化,以往的接口在开发时考虑不周,导致接口在大批量数据进行调用时出现异常。
3.解决方法
在测试过程中,出现了大大小小的问题,在出现的问题中,多为两个数据库之间的SQL差异或是字段使用差异引起的,在上文中列出了几个或是典型或是不该出现的问题,解决方式如下:
1.数据建模中预置的字段类型为Mysql的字段类型,切换为Oracle类型该问题解决;
2.时间类型字段在数据同步到接口中后,在字符串以及时间相互转换的过程中,出现‘.0’导致数据同步失败;
3.数据在大量同步时,游标数超出了最大游标数,后调整代码将使用到链接的位置在不使用时进行关闭,该问题解决。
总结归纳
本次主要完成了主数据部分在数据集成过程中需要使用的功能点的测试,在测试过程中也出现了大大小小的问题,这些问题在测试的过程中暴露了出来,经过调试后,产品的性能得到了进一步的优化。
1.工作总结
本次主要进行产品功能测试,在本次工作中,对于主数据在数据集成的过程中需要使用到的数据建模、功能建模、数据管理、数据详情、统一分发等一系列功能进行了测试,将期间出现的问题进行反馈并协助完成功能调试,使产品接口的性能以及产品的功能点得到了完善;同时通过本次工作结果,产品如再次进行数据库的切换操作,需要考虑哪些位置已明确。
2.后续规划
在完成主数据这部分功能的测试后,经过对代码的调整,已经消除了比较容易出现的问题点,虽然后续很可能出现其他的问题,但这是一款软件所无法避免的,人工开展的工作必然会出现差错,像本次开展的测试工作,正是尽可能的去将问题更早的暴露出来并进行调试,提高产品功能的可靠性以及可用性,保障产品在实际使用时,问题尽可能少的出现乃至于不出现问题。通过本次工作的结果,后续在产品功能开发时,相信会考虑得更加全面,在保障功能可用性的同时优化产品性能。
3.心得总结
任何一款产品,进行数据库的切换操作都是需要非常谨慎的,其中涉及到非常多的差异,如SQL写法差异、函数使用差异、字段处理差异等等,这点在实际集成开发、进行数据库读写时也是需要注意的,在本次测试时也为后续项目集成开发需要注意的位置打下了基础。
通过本次测试,发现了数据库切换引起的功能异常,也发现了产品性能有待优化之处,在后续的工作中,将对产品其余接口进行测试,如能保持在大量数据调用下的稳定,相信在后续实际使用的过程中,也不会出现问题,这也正是项目前期工作的一部分,在开发环境完成各项功能的测试,保障正式环境产品的可靠性。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
相关推荐
- 高效有趣学Excel:从入门到精通的全面教程分享
-
在当今这个数据驱动的时代,掌握Excel不仅是提升工作效率的利器,更是职场竞争中的一项重要技能。今天,我非常高兴地与大家分享一套全面的Excel学习教程——《高效有趣学Excel:轻松入门到精通》,这...
- Excel新函数重磅来袭!告别复杂公式,效率提升200%!
-
“透视表终于不用点来点去了?”昨晚刷到这条留言,顺手把新表扔进365,一行=GROUPBY(部门,产品,销售额,SUM)回车,三秒出汇总,刷新按钮直接失业。那一刻,办公室空调声都显得多余。有人还在录宏...
- Excel 效率神器:LET 函数入门教程,让复杂公式变简单
-
您是否曾经编写过又长又复杂的Excel公式,然后没过几天自己都看不懂了?或者,同一个计算在公式里重复写了无数次,不仅容易出错,修改起来更是噩梦?Excel推出的LET函数就是来解决这些痛点...
- Excel多对多查询函数新手教程:从案例到实操
-
一、为啥要学多对多查询?举个例子你就懂!假设你是公司HR,手里有张员工技能表(如下),现在需要快速找出:"张三"会哪些技能?"Excel"技能有哪些人掌握?员工姓名...
- 14、VBA代码+excel内置函数,实现高效数据处理(零基础入门)
-
1、学习VBA的主要目的是数据处理,VBA在数据处理上展现出强大的计算实力。它不仅完美继承EXCEl内置函数的功能,还能通过编程语法实现更灵活的应用。无论是基础的加减乘除,还是复杂的统计分析、逻辑判断...
- word和excel零基础学习免费视频教程,赶紧收藏,作者将转付费课
-
亲爱的朋友们:大家好!本人是全国计算机等级考试二级MSoffice高级应用课程的在校授课老师。本人近段时间打算将wore/excel免费分享给所有有需要的朋友。知识本身无深浅,本人知识也有限,如果讲...
- excel函数从入门到精通,5组13个函数,易学易懂易用
-
对于职场中经常使用Excel的小伙伴们,最希望掌握一些函数公式,毕竟给数据处理带来很多方便,可以提高我们的工作效率。今天分享几组函数公式,适合于初学者,也是职场中经常用到的,下次碰到可以直接套用了。0...
- Excel效率神器:LET函数入门教程,让复杂公式变简单
-
写公式写到想砸电脑?教你用LET把Excel公式从“迷宫”变成“小剧本”,几步看懂又好改很多人都经历过这样的窘境:花了半小时写出一条看似厉害的Excel公式,几天后再看自己都懵了,或者同样...
- 完全免费的Excel教程大全,适合日常excel办公和技能提升
-
说明微软官方的excel文档,由于网站在国外,有时打开慢,而且应用层面介绍不够详细;这里介绍一个集齐了excel各种使用方法和说明的网站;网站名称:懒人Excel网站介绍可以看到有基础教程、快捷键、函...
- Excel 新函数 LAMBDA 入门级教程_excel365新增函数
-
LAMBDA函数的出现是Excel历史上的一次革命性飞跃。它允许用户自定义函数,而无需学习VBA等编程语言。这意味着你可以将复杂的、重复的计算逻辑封装成一个简单的、可复用的自定义函数,极大地...
- Excel新函数LAMBDA入门级教程_excel新建函数
-
把复杂公式“变成函数”后,我在Excel上的重复工作少了一半——你也能做到我一直有一个习惯:遇到每天要重复写的复杂公式,就想把它封装起来,像调用内置函数那样去用。说实话,过去没有LAMBDA,这个想法...
- Excel DROP 函数全方位教程:从基础入门到高级动态应用
-
上一篇我们学习了ExcelTAKE函数,今天我们来学习一下和TAKE函数相对应的DROP函数,它是Microsoft365和Excel2021中引入的一个动态数组函数。它的核心功能是从一...
- 学习Excel公式函数还有官方提供的教程,还是免费的!赶紧试试
-
首先声明,这不是广告,纯干货分享!除了学习Excel的基本操作之外,很多人都是冲着公式和函数才去找教程买教材的,这个结论应该不会有什么毛病。因为,Excel的公式函数真的很强大!现在的Excel教程可...
- 什么是保险员常说的“IRR”?让我们一次说明白!
-
买保险的时候,你是不是常听到销售抛出一些术语,比如“IRR很高哦,收益不错!”?听着挺专业,但“IRR”到底啥意思?想问又不好意思问,别急,它其实是个很简单的概念,咱们今天一次把它说明白。1,IRR...
- 理财型保险如何选择缴费期?_理财型保险计算方式
-
选择理财型保险(通常指年金险、增额终身寿险等)的缴费期,并非简单地看哪个年限短或长,而是需要结合自己的财务状况、理财目标和产品特性来综合决定。下面我将为大家详细解析不同缴费期的特点、适用人群和选择策略...
- 一周热门
- 最近发表
-
- 高效有趣学Excel:从入门到精通的全面教程分享
- Excel新函数重磅来袭!告别复杂公式,效率提升200%!
- Excel 效率神器:LET 函数入门教程,让复杂公式变简单
- Excel多对多查询函数新手教程:从案例到实操
- 14、VBA代码+excel内置函数,实现高效数据处理(零基础入门)
- word和excel零基础学习免费视频教程,赶紧收藏,作者将转付费课
- excel函数从入门到精通,5组13个函数,易学易懂易用
- Excel效率神器:LET函数入门教程,让复杂公式变简单
- 完全免费的Excel教程大全,适合日常excel办公和技能提升
- Excel 新函数 LAMBDA 入门级教程_excel365新增函数
- 标签列表
-
- 外键约束 oracle (36)
- oracle的row number (32)
- 唯一索引 oracle (34)
- oracle in 表变量 (28)
- oracle导出dmp导出 (28)
- 多线程的创建方式 (29)
- 多线程 python (30)
- java多线程并发处理 (32)
- 宏程序代码一览表 (35)
- c++需要学多久 (25)
- css class选择器用法 (25)
- css样式引入 (30)
- css教程文字移动 (33)
- php简单源码 (36)
- php个人中心源码 (25)
- php小说爬取源码 (23)
- 云电脑app源码 (22)
- html画折线图 (24)
- docker好玩的应用 (28)
- linux有没有pe工具 (34)
- 可以上传视频的网站源码 (25)
- 随机函数如何生成小数点数字 (31)
- 随机函数excel公式总和不变30个数据随机 (33)
- 所有excel函数公式大全讲解 (22)
- 有动图演示excel函数公式大全讲解 (32)