产品切换数据库问题处理总结
moboyou 2025-03-19 14:44 15 浏览
数据库用于存放产品在使用过程中生成的数据,并用这些数据去支持产品完成功能的执行。随着数据库技术的发展,数据库产品越来越多,如Oracle、DB2、MongoDB、SQLServer、Mysql等。各种数据库之间互有差异,各有各的优势,在实际工作中,可根据具体情况选择适当的数据库。
以往数通畅联产品是基于Mysql进行开发,在实际项目中也是基于Mysql进行集成开发;在本次项目工作中,需要使用的数据库为Oracle数据库,但部分工作已通过Mysql环境完成开发,所以需要进行数据的迁移以及产品数据库切换,在这过程中出现了一些问题,在本篇文档中将对这过程中的问题进行整理,将问题的产生原因以及解决方式进行记录,以供后续回顾。
背景说明
本篇文档主要对本次切换数据库后进行功能测试的过程中遇到的问题进行整理记录,分析问题出现的原因、解决的办法以及后续如何能够避免出现同样的问题进行记录,以供后续通过本篇文档进行回顾。
1.项目架构
数据中台主要帮助进行全链路业务、全生命周期的数据管理,基于建立在数据仓库和数据平台之上,通过数据清洗导入、数据同步/分发、数据处理、分析等技术,对企业内外部海量数据进行采集、存储、计算、加工、分析等,从而为企业的业务决策提供数据方面的参考,用数据为公司业务、营销、管理赋能。
2.工作介绍
本次工作是在产品从Mysql切换为Oracle,同时完成以往配置迁移后,对产品功能进行测试,保障产品在完成数据库切换后,功能可以正常使用,使后续集成工作可以顺利开展。在测试的过程中,一定会出现一些问题,在处理问题的过程中,对问题进行记录,后续尽可能避免出现相同问题,也可以在后续出现相似问题时可以快速进行处理。
3.差异分析
Mysql和Oracle都是关系型数据库,可以应用于各种平台。在Oracle中创建一个数据库,数据库下有好多用户:sys,system,scott等,不同用户下还有好多表。但Mysql的默认用户是root,用户下可以创建好多数据库,每个数据库下还有好多表。同时两个数据库的SQL语法也有着差异,如:
1.Oracle中select语句后边的from是不能省略的,如果没有实际的表,可以用dual作为from的目的表,Mysql中from则是可以省略的;
2.Oracle中分组语句如果某列名不作为分组依据,及没有出现在group by后,则该列名是不允许放到select后边的,Mysql则没有此限制;
3.Oracle左连接,右连接可以使用(+)来实现. Mysql只能使用left join ,right join等关键字等等。
测试说明
每个产品乃至每个功能,在开发完成或是优化完成之后,都需要对其进行测试,用于发现问题点并进行处理,保障在实际使用的过程中,不会因为产品中出现的问题而影响到实际的工作效率。
1.测试目的
本篇文档主要对于主数据以及集成开发部分所需要使用到的功能点在测试过程中出现的问题以及解决办法进行介绍。由于产品是从Mysql数据库切换为Oracle数据库,由于两个数据库的SQL语句存在着差异,部分类型的数据在使用时也存在着不同,所以在切换过程中一定会存在处理不全面导致功能异常的问题;所以出现了本次的测试工作,本次测试的目的就是为了查找产品调整过程中考虑不全面的功能点,提高产品功能在实际使用中的可靠性。
2.测试重点
本次测试主要围绕着主数据平台进行,保障数据集成过程中所需要使用到的各项功能点,具体测试功能点如下:
1.页面显示效果,验证数据显示是否有异常;
2.页面新增、删除、启用、禁用等按钮功能是否正常;
3.MDC中数据建模是否能够生成对应的数据表,生成后的字段名称、字段类型、字段长度是否正确;
4.MDC功能建模能否进行创建,初始化的表单中字段与数据建模是否保持一致,以及SQL解析是否正确,数据管理页面能否根据解析出的SQL进行数据过滤查询;
5.验证数据同步接口功能是否正常,数据能否完成导入;
6.验证配置统一分发接口后,在BPM流程进行调用是否能够调用成功。
3.测试思路
在上文中对需要测试的功能点进行了介绍,在具体测试时可以按照实际使用步骤进行测试,将上述功能进行分类,并完成功能验证,具体如下:
1.进行数据建模、功能建模,在这过程中对这两个功能模块中的细节进行验证;
2.验证页面能否正常打开,打开后的显示效果有无异常;
3.进行源头系统数据同步,在这过程中验证数据同步接口的功能,同步后可验证数据详情页面以及各按钮的功能;
4.配置统一分发接口,使用手动创建的虚拟接口验证统一分发接口能否完成接口调用,数据下发有无异常。
测试过程
上文已对具体测试思路进行了介绍,并对需要测试的功能进行了分类;在本章节中,将具体介绍实际测试过程,本次测试过程也是主数据在数据集成工作中的实际使用步骤;未防止误解,在本章节中的截图都为经过调整后的最终效果。
1.模型构建
在MDC的基础数据建模中点击新增,配置主数据的基本信息、来源系统以及分发系统,如图:
双击新增的数据模型即可对该模型进行字段的配置,如图:
点击创建表即可完成对该主数据相关的数据表结构的创建,如图:
在MDC的功能配置中点击新增,如图:
在填写并配置完成主数据功能模型的基础信息之后,点击表单信息可以对该主数据的具体页面显示效果进行调整,位置如图:
打开管理列表对数据管理页面中的显示效果进行调整,如图:
打开管理表单调整数据详情页面的显示效果,如图:
在SQL中点击解析SQL并进行部署即可完成功能模型的调整,如图:
2.同步测试
本次主要用于接口功能测试,所以使用的流程为未调整的数据初始化流程,并进行一条数据的同步,如图:
查看临时表中是否有数据新增,如图:
查看真实表是否有数据写入,如图:
验证日志是否生成,如图:
点击禁用按钮,验证按钮功能,如图:
验证启用按钮功能,如图:
验证数据详情页面是否显示正常,如图:
3.统一分发
打开需要分发的下游业务系统,添加需要分发的主数据,如图:
双击主数据配置字段权限,如图:
点击接口配置,填写目标系统接收数据接口,本次为测试接口,如图:
选择数据,生成任务并提交,通过BPM流程调用统一分发接口,验证数据是否分发成功,如图:
在分发日志中验证数据是否分发成功,如图:
问题总结
在对产品功能进行使用、测试的过程中,遇到了一些问题,有预料之中的问题,也存在预料之外的问题;在本章节中,将对这些问题进行整理归纳,并描述这些问题是如何解决的。
1.问题描述
本次验证过程遇到的问题中,有SQL差异引起的问题、字段差异引起的问题、编写代码时考虑不足引起的问题,其中较为典型的问题如下:
1.数据建模添加字段后,无法对应修改数据表中的字段;
2.临时表以及真实表接口在数据同步过程中,无法完成数据的写入;
3.数据大量同步时,会出现无法进行数据同步的情况。
2.问题分析
在处理上述问题以及其他零散问题的过程中,发现有很多问题是由于Oracle以及Mysql数据库之间的差异引起的,这些问题大多是由于对Oracle的SQL处理不熟悉,在Mysql切换为Oracle时没有注意到引起的;其次就是由于不够细心,一些字段类型没有进行修改,导致功能使用出现异常;最后就是接口性能需要优化,以往的接口在开发时考虑不周,导致接口在大批量数据进行调用时出现异常。
3.解决方法
在测试过程中,出现了大大小小的问题,在出现的问题中,多为两个数据库之间的SQL差异或是字段使用差异引起的,在上文中列出了几个或是典型或是不该出现的问题,解决方式如下:
1.数据建模中预置的字段类型为Mysql的字段类型,切换为Oracle类型该问题解决;
2.时间类型字段在数据同步到接口中后,在字符串以及时间相互转换的过程中,出现‘.0’导致数据同步失败;
3.数据在大量同步时,游标数超出了最大游标数,后调整代码将使用到链接的位置在不使用时进行关闭,该问题解决。
总结归纳
本次主要完成了主数据部分在数据集成过程中需要使用的功能点的测试,在测试过程中也出现了大大小小的问题,这些问题在测试的过程中暴露了出来,经过调试后,产品的性能得到了进一步的优化。
1.工作总结
本次主要进行产品功能测试,在本次工作中,对于主数据在数据集成的过程中需要使用到的数据建模、功能建模、数据管理、数据详情、统一分发等一系列功能进行了测试,将期间出现的问题进行反馈并协助完成功能调试,使产品接口的性能以及产品的功能点得到了完善;同时通过本次工作结果,产品如再次进行数据库的切换操作,需要考虑哪些位置已明确。
2.后续规划
在完成主数据这部分功能的测试后,经过对代码的调整,已经消除了比较容易出现的问题点,虽然后续很可能出现其他的问题,但这是一款软件所无法避免的,人工开展的工作必然会出现差错,像本次开展的测试工作,正是尽可能的去将问题更早的暴露出来并进行调试,提高产品功能的可靠性以及可用性,保障产品在实际使用时,问题尽可能少的出现乃至于不出现问题。通过本次工作的结果,后续在产品功能开发时,相信会考虑得更加全面,在保障功能可用性的同时优化产品性能。
3.心得总结
任何一款产品,进行数据库的切换操作都是需要非常谨慎的,其中涉及到非常多的差异,如SQL写法差异、函数使用差异、字段处理差异等等,这点在实际集成开发、进行数据库读写时也是需要注意的,在本次测试时也为后续项目集成开发需要注意的位置打下了基础。
通过本次测试,发现了数据库切换引起的功能异常,也发现了产品性能有待优化之处,在后续的工作中,将对产品其余接口进行测试,如能保持在大量数据调用下的稳定,相信在后续实际使用的过程中,也不会出现问题,这也正是项目前期工作的一部分,在开发环境完成各项功能的测试,保障正式环境产品的可靠性。
本文由@数通畅联原创,欢迎转发,仅供学习交流使用,引用请注明出处!谢谢~
相关推荐
- iis部署php项目(iis发布php)
-
1.启动iis服务器最后点击确定就完成了2.打开iis点击进入即可3.创建网站进入添加网站。添加注意事项如图所示!启动、浏览、重启、停止网站这个如图所示。需要说明的是只要修改了配置就必须重启下网站4...
- Win10安装Apache和PHP(apache安装php模块)
-
说明:虽然PHPStudy之类的软件给我们提供了方便的集成环境,但是其使用的是非线程安全的PHP版本(NotThreadSafe,NTS),某些功能不可以使用。所以,我们还需要自己再安装一个Apa...
- 两个php框架在一个网站上开发好吗
-
框架就是通过提供一个开发Web程序的基本架构,PHP开发框架把PHPWeb程序开发摆到了流水线上。换句话说,PHP开发框架有助于促进快速软件开发(RAD),这节约了你的时间,有助于创建更为稳定的程序,...
- Ubuntu linux 上的 Nginx 和 Php 安装
-
教程-在UbuntuLinux上安装Nginx1.安装Nginx服务器和所需的包。apt-getupdatebrapt-getinstallnginx2.在Nginx配置文件...
- 网站开发初级(3) 之 PHP运行环境搭建
-
这篇文章主要是讲windows下php环境的搭建这里我们用的是phpstudy,作为入门学者足够了,解压安装就能用了,适当配置下基本能应付我们的开发要求下载地址:http://rj.baidu.co...
- 真实案例:优化用老PHP7.4的网站让其速度提高4倍
-
我让反应迟钝的PHP应用程序性能提升了4倍,而且我甚至没有改动任何源代码。没有重构,没有重写,只是进行了一系列精心规划的配置调整和部署优化。这篇文章将详细告诉你我是如何做到的。如果你的PHP应用程序运...
- mac下快速搭建本地php开发环境(macbook开发php)
-
本教程主要是告诉大家,怎么快速的在mac下搭建php+mysql服务。一、安装CommandLineTools苹果系统下很多开发工具是基于CommandLineTools,所以安装它是首先。...
- php手把手教你做网站(二十)vue+tp6简单案例(demo)
-
很多时候搭建好了环境,但是不知道怎么入手去开发。下面我们通过简单案例说明如何快速入门开发模块:例1:开发helloworld模块搭建好环境,新建项目以后,进入项目所在文件夹,依次进入src/compo...
- Windows安装phpstudy(windows安装docker desktop)
-
说明:phpstudy是一个PHP+MySQL+Apache的集成环境,可以减少单独部署各个所需软件的麻烦,以及更加方便地切换版本。phpenv、wamp等软件的作用一样。由于环境的不同,安装过程中可...
- 服务器安装PHP网站的运行环境(php的服务器app)
-
首先要确认的是你的服务器的系统,Windows、或者linux系统。要想在Windows系统里运行php网站,可以选择iis或者Apache,如果你单独的去安装,可能会花很多时间去配置这个软件直接问题...
- 折腾群晖NAS:使用群晖web功能搭建个人博客「 小白玩NAS系列」
-
大家好,今天分享给大家如何利用群晖自带的web功能,来搭建一个属于自己的个人网站或者博客。搭建群晖web环境1、首先进入套件中心,下载webstation,群晖自带的web环境,安装会提示安装PHP...
- 黑客搭建钓鱼平台,手把手教你如何钓鱼?
-
跨站脚本攻击XSS:通过HTML注入篡改了网页,插入了恶意的脚本,从而用户浏览网页时,控制用户浏览器的一种攻击那么,我们搭建一个XSS钓鱼平台吧,注意:这个平台仅用于学习和测试,小伙伴们不要动有坏心思...
- PHP 环境 搭建教程(php环境搭建apache)
-
PHP是一种编程语言,很多网站都用PHP语言编写,我们有时候需要测试一个网站,就需要PHP环境才能运行,又要安装Apache、又要安装MySQL……真的非常麻烦。其实我们可以使用PHP集成...
- php手把手教你做网站(六)IIS创建站点注意事项
-
站点名称:随便填写;应用程序池:创建站点的时候会自动生成对应的,默认就好;物理路径:选择站点所在目录;类型:本地一定是http,网上可能会有https;IP地址:默认端口默认,如果是别的端口,网址访问...
- 分享PHP网站开发过程中的一些经验
-
现在的网站建设语言有几种,分别是ASP.NET,PHP,JSP这三种最为常见,这三种语言做出来的网站各有各的特点,asp属于最成熟的建站模式,jsp一般使用在大型网站系统上,对于php是目前比较流行的...
- 一周热门
- 最近发表
- 标签列表
-
- 外键约束 oracle (36)
- oracle的row number (32)
- 唯一索引 oracle (34)
- oracle in 表变量 (28)
- oracle导出dmp导出 (28)
- oracle两个表 (20)
- oracle 数据库 字符集 (20)
- matlab化简多项式 (20)
- 多线程的创建方式 (29)
- 多线程 python (30)
- java多线程并发处理 (32)
- 宏程序代码一览表 (35)
- c++需要学多久 (25)
- css class选择器用法 (25)
- css样式引入 (30)
- css教程文字移动 (33)
- php简单源码 (36)
- php个人中心源码 (25)
- php小说爬取源码 (23)
- 云电脑app源码 (22)
- html画折线图 (24)
- docker好玩的应用 (28)
- linux有没有pe工具 (34)
- mysql数据库源码 (21)
- php开源万能表单系统源码 (21)