百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 技术资源 > 正文

单个表上亿行数据的主键、索引设计,及分页查询

moboyou 2025-03-03 11:09 36 浏览

一,概述

一般而言,我们对关系型数据库系统,进行表结构设计时,会按数据的种类,进行分类,一般有如下种类:

1)主数据,其数据量基本稳定,不随时间而线性增长。比如,分公司,产品,经销商。 这种数据库表,我们一般以 tm_ 作为表名的前缀, 意思是 table of master data。
2)系统级数据,其数据量基本稳定,不随时间而线性增长。比如,用户权限控制,配置参数。 这种数据库表,我们一般以 ts_ 作为表名的前缀, 意思是 table of system。
3)日志数据表,随时间而线性增长,但会安排定时任务定期删除旧数据,保持总体数据量稳定。 这种数据库表,我们一般以 tl_ 作为表名的前缀, 意思是 table of log。
4)接口数据表,随时间而线性增长,但会安排定时任务定期删除旧数据,保持总体数据量稳定。 这种数据库表,我们一般以 ti_ 作为表名的前缀, 意思是 table of interface。
5)业务交易数据,随时间而线性增长,用户平常关注最近若干天的数据,少数情况下会查阅很久以前的数据。 这种数据库表,我们一般以 tt_ 作为表名的前缀, 意思是 table of transaction data。
6)关系数据,可能是以上 1,2,5 的关系表,我们分别以 tmr_, tsr_, ttr_ 作为表名的前缀。

通常,数据量大的,都是上述"5. 业务交易数据"

二、业务交易表的主键、索引设计

业务交易数据,按通常的理解,一般有主表、明细表两种。

业务交易主表的主键,一般是 id/uuid;另在某个时间字段上,加上索引。比如:

CREATE TABLE ow_pkg.TT_FLOW_IN
(
   IN_UUID varchar2(32),
   IN_SHEET_CD varchar2(255) NOT NULL,
   IN_TIME date NOT NULL,

   SEND_NODE_ID decimal(38,0) NOT NULL,
   RECEIVE_NODE_ID decimal(38,0) NOT NULL,

   CREATED_BY varchar2(20),
   CREATED_DT date,
   UPDATED_BY varchar2(20),
   UPDATED_DT date,
   UPDATE_CNT INTEGER DEFAULT 0  NOT NULL
)
;

其中, in_uuid 为主键。

对于交易主表的主键,可用按 SQL 语法,创建 primary key, 也可以只创建成唯一索引(UNIQUE INDEX), 或普通索引(INDEX)。之所以会有这种的做法,是因为有的数据库,比如 MS SQL Server, 默认在主键上创建聚集索引(clustered index, 不同的数据库,名词可能有所差异),数据的存储,按主键的数值顺序,如果我们使用 uuid 做主键,这可能不是我们期望的。
在主键上创建普通索引,是在使用 uuid 作为主键数据时。因 uuid 本身就能保证唯一性,不需要使用数据库的 primary key 或 UNIQUE INDEX 语法来保证数据唯一性。且有的架构师,担心每行数据 insert 到表时,拥有 primary key 或 UNIQUE INDEX 定义的表,数据库会自动进行主键数据的唯一性检查,如果数据量极大,这个唯一性检查有可能需要花费额外的时间,还不如使用普通索引,跳过主键数据的唯一性检查。

这里我们创建唯一性索引。

CREATE UNIQUE INDEX idx_tt_flow_in_in_uuid ON ow_pkg.TT_FLOW_IN(IN_UUID); 

一般在交易主表的某个时间字段上,创建普通索引,或者聚集索引(clustered index),比如:

CREATE INDEX idx_tt_flow_in_in_time ON ow_pkg.TT_FLOW_IN(IN_TIME);

交易表的数据,一般是 insert 多、delete 少,如果不定义主键、不创建聚集索引(clustered index),正常情况下,数据的存储也是按时间顺序的。

对于业务交易明细表,一般创建明细表主键、在明细表指向主表的字段上创建普通索引。比如:

CREATE TABLE ow_pkg.TT_FLOW_IN_DETAIL
(
   IN_DETAIL_UUID varchar2(32),				--pk
   IN_UUID varchar2(32),					--fk
   PROJ_ID decimal(38,0) NOT NULL,
   STATUS_ID decimal(38,0),
   CONTAINER_ID decimal(38,0) NOT NULL,
   REAL_QTY decimal(10,0),
   PLAN_QTY decimal(10,0),
   CREATED_BY varchar2(20),
   CREATED_DT date,
   UPDATED_BY varchar2(20),
   UPDATED_DT date,
   UPDATE_CNT INTEGER DEFAULT 0  NOT NULL,
)
;
CREATE UNIQUE INDEX idx_tt_flow_in_detail_in_detail_uuid ON ow_pkg.TT_FLOW_IN_DETAIL(IN_DETAIL_UUID); 
CREATE INDEX idx_tt_flow_in_detail_in_uuid ON ow_pkg.TT_FLOW_IN_DETAIL(IN_UUID); 

交易明细表不需要在某个时间字段上,创建索引。此时基于 in_uuid 查找 tt_flow_in_detail 表,数据量不会超过 30 行。

三、分页查询

SQL 标准中,有分页查询的语法。一般只针对业务主表进行查询分页、然后点击查找结果的某行,弹出窗口显示业务明细表数据。

这里的分页查询 SQL 为(基于 Oracle):

SELECT * FROM (
	SELECT ROW_NUMBER() OVER (ORDER BY i.in_time desc,i.IN_SHEET_CD,i.in_uuid ) as rownum_xx
	,i.*
	from TT_FLOW_IN i 
	where i.in_time between to_date('2020-01-01 00:00' ,'yyyy-mm-dd hh24:mi') and to_date('2020-01-02 00:00' ,'yyyy-mm-dd hh24:mi')
	and i.IN_SHEET_CD is not null
)
WHERE rownum_xx >= 0 and rownum_xx <= 20;

请主要,where 中的参数,可以动态参数。比如对于 java ,可以使用占位符 ? ,使用 Java 的 PreparedStatement , 进行执行。

通常大家忽略的是 order by 这部分。这一部分一般按顺序依次为: 业务主表的时间字段(逆序排序)、业务主表的单证编号、其它可见字段、业务主表的主键

不加排序(order by) 的分页是耍流氓,没意义的;排序字段中必须包含用户能理解的数据项,如果只按后台 id/uuid 排序,用户会觉得数据混乱无序;如果 order by 最后不加主键,有可能导致某些行的数据,既出现在第 n 页、又出现在第 n+1 页。

四、分页查询的性能

以上分页查询 SQL, 在单个表数据量为 1.3 亿行的情况下,查询时间范围跨度为 15 天的情况下,每查询一次改一下查询时间范围的小时数,多次测试,分别用时: 0.047 秒、0.062 秒、0.047 秒、0.062 秒。平均用时 0.055 秒。

性能可以说是非常的好。

相关推荐

惊艳所有安卓程序员!京东T8纯手码的安卓开发相关源码精编解析

Android系统的源代码非常庞大和复杂,我们不能贸然进入,否则很容易在里面迷入方向,进而失去研究它的信心。我们应该在分析它的源代码之前学习好一些理论知识,下面就介绍一些与Android系统相关的资料...

「黑客编程」手把手教你编写POC

1概述1.1什么是POC?POC(全称:Proofofconcept),中文译作概念验证。在安全界可以理解成漏洞验证程序。和一些应用程序相比,PoC是一段不完整的程序,仅仅是为了证明提出...

社交媒体登录Spring Social的源码解析

在上一篇文章中我们给大家介绍了OAuth2授权标准,并且着重介绍了OAuth2的授权码认证模式。目前绝大多数的社交媒体平台,都是通过OAuth2授权码认证模式对外开放接口(登录认证及用户信息接口等)。...

网站后端开发源代码

成人网站在推动Web发展方面发挥的作用是不可否认的。从克服浏览器视频功能的限制到使用WebSockets推送广告(以防止广告拦截器拦截广告),您必须不断想出巧妙的方法,才能让自己处于Web...

Java语言的智能名片系统源码,二次开发流程

在数字化转型浪潮中,智能名片系统已成为企业营销的基础设施。本文将手把手教你如何部署一套基于Java的智能名片系统源码,涵盖技术选型、环境搭建、部署实施和二次开发全流程。一、系统架构设计1.1技术栈选...

小程序源码交付标准详解:必备内容与注意事项

在定制化小程序开发项目中,源码交付是确保客户后续自主运维、二次开发的关键环节。然而,许多客户在验收时才发现交付内容不全,导致项目无法正常部署或升级。本文将系统梳理小程序源码交付的**必备内容**、**...

安装Dify源码并修改前端发布

Dify是一个开源的大语言模型(LLM)应用开发平台,目前是开源的,可以拿到完整的前后端源码,Dify虽然开源协议,但要求前端代码保留版权协议和Logo;今天讲下如何源码安装,并来修改打包前端代码...

Android系统基础(03) Android系统源码下载

常规官方网站说明:Android源码官方网站为(google你懂的):https://source.android.com官网参考链接,对应的tag(tag是一种标签,我们可以根据tag来判断下载的...

不靠Agent,4步修复真Bug!蚂蚁CGM登顶SWE-Bench开源榜

机器之心报道编辑:吴昕Agentless+开源模型,也能高质量完成仓库级代码修复任务,效果媲美业界SOTA。一、Agentless、44%与NO.1说到AI写代码的实力,大家最关心的还是...

VS Code使用Git可视化管理源代码详细教程

前言:  随着VSCode的功能和插件的不断强大和完善,它已经成为了我们日常开发中一个必不可缺的伙伴了。在之前我曾经写过一篇SourceTree使用教程详解(一个git可视化管理神器,想要了解的话可...

SpringMVC + Spring + Mybatis + Shiro + 教务查询系统源码分享

功能模块介绍源码获取先转发,然后加关注,私信“源码”即可免费获取登录模块功能使用Shiro权限管理框架,实现登录验证和登录信息的储存,根据不同的登录账户,分发权限角色,对不同页面url进行角色设置...

PHP漏洞之跨网站请求伪造

CSRF(CrossSiteRequestForgeries),意为跨网站请求伪造,也有写为XSRF。攻击者伪造目标用户的HTTP请求,然后此请求发送到有CSRF漏洞的网站,网站执行此请求后,...

Dify工具使用全场景:dify-web修改编译指南(源码解读篇·第1期)

我的场景最近一直在研究dify怎么用,怎么用好,要想研究深了,还是得看源码,首先就是要把界面改改,当前的界面太素了,不了解web源码,没法改。所以静下来看了看源码,发现也不难,正好给大家也分享一下修改...

SKIT.FlurlHttpClient.Wechat实现微信接口开发-服务器验证回调

1.在微信公众后台配置设置以下内容开发者密码(AppSecret)IP白名单,就是使用哪一个服务器来控制当前公众号l令牌服务器地址(URL):使用哪一个Url来验证服务器是可以进行开发令牌(To...

PHP和NodeJS的代码执行效率比较

在瞬息万变的网络开发领域中,选择合适的技术栈对于构建高效且可扩展的应用程序至关重要。在众多后端技术中,PHP与Node.js常常成为开发者热议的焦点。Node.js以其非阻塞、事件驱动的架构著称,而P...