时序数据库在水电站领域的应用
moboyou 2025-04-05 18:46 15 浏览
大家好,上期经过了王宏志教授对数据库前沿领域的介绍,不知道小伙伴们是否对数据库领域有了更深的认识呢,本期让我们回归时序数据库,再来聊一聊时序数据库在水电站领域的应用。
本文仅代表个人观点,如有偏颇之处,还请海涵~
传统水电站监控系统迎挑战
在水电站的自动化控制过程中,电站的运行数据监控系统举足轻重。其后期为运行分析、趋势判断和事故处理等提供了有力的保障。水电站监控的数据具有采集频次高、并呈现时间序列排序等特点,使用传统的RDB(诸如MySQL、SQL Server、Oracle等)存储带来了诸多的问题。
首先,其存储成本高,写入吞吐低。大型水电站的测点非常之大,即使只是1万个测点,如果每秒采集一次,一天也要占用大约10 ~ 20 GB的磁盘存储空间。普通的磁盘阵列的容量很难满足上述海量数据的存储需求,而且关系型数据库对时序数据的压缩不理想,这也就造成伴随时间推移,其成本还将不断上升。此外,在传统方案下,海量数据写入耗时较长,难以满足千万级的写入需求。
其次,查询性能差。虽然会对关系型数据库进行分库分表、优化索引等技术操作,但随着存储数据的不断增长,其查询效率还是会显著降低,难以在秒级甚至毫秒级获取所需要的数据。同时,分表策略也会增加查询业务的复杂性。比如,如果按月分表,那么查询跨月数据需要通过多条SQL或联合查询才能获得所需结果。
时序数据库解决传统数据库瓶颈
针对水电厂监控系统中存储的数据大部分是时序数据的特点,基于时序数据库搭建水电站的监控系统成为了更好的选择。相比于关系型数据库,时序数据库在数据存储和查询方面,都有明显的性能优势。
时序数据库的高效压缩比可以节省大量的存储空间。这主要是因为其采用了列式存储的方法。其每列都存储了一组有序数据,将这些数据转换为单行“数组”形式的数据。然后针对其数据类型,使用特定压缩算法对每个数组进行单独压缩。
在查询方面,时序数据库的数据通常每秒或者每毫秒记录一次,这导致数据增长很快。而对于传统关系型数据库来说,由于大量地使用B+树进行索引,当数据量到达一定量级后,其写入性能就会出现明显的下降。而时序数据库可以进行自动分区,随着不断地数据写入,以时间戳来自动建立分区,将时序数据分区存放,保证每一个分区的索引维持在一个较小规模,从而维持住写入性能。查询时也可以快速定位到所需的数据分区,保证查询性能。
基于时序数据库提供更优服务
水电站监控系统的时序数据库主要用于曲线查询、报表查询等服务,根据相关的查询请求到时序数据库中查询相应的数据,生成相应的结果集返回。比如报表查询功能,主要是进行时序数据采样、输出,要实现可选间隔时序数据的平均值、最大值、最小值、均值等统计功能。同时也要求,通过配置界面配置所需要的测点统计功能,前端页面能够展示所需要的统计值。目前看来时序数据库提供的聚合查询函数完全能够满足水电站监控系统的所需要的统计功能,并且请求时间均在1秒以内。再比如,曲线查询功能,其要求系统可由时序数据库提供任意历史时间段的实时数据,供电站人员查询实时曲线,并要求可同时查询多个测点的曲线,以便进行分析比较。
好了各位小伙伴,本期我们就聊到这里,我们下次再见。
CnosDB简介
CnosDB是一款高性能、高易用性的开源分布式时序数据库,现已正式发布及全部开源。
欢迎关注我们的代码仓库,一键三连:
https://github.com/cnosdb/cnosdb
相关推荐
- Excel技巧:SHEETSNA函数一键提取所有工作表名称批量生产目录
-
首先介绍一下此函数:SHEETSNAME函数用于获取工作表的名称,有三个可选参数。语法:=SHEETSNAME([参照区域],[结果方向],[工作表范围])(参照区域,可选。给出参照,只返回参照单元格...
- Excel HOUR函数:“小时”提取器_excel+hour函数提取器怎么用
-
一、函数概述HOUR函数是Excel中用于提取时间值小时部分的日期时间函数,返回0(12:00AM)到23(11:00PM)之间的整数。该函数在时间数据分析、考勤统计、日程安排等场景中应用广泛。语...
- Filter+Search信息管理不再难|多条件|模糊查找|Excel函数应用
-
原创版权所有介绍一个信息管理系统,要求可以实现:多条件、模糊查找,手动输入的内容能去空格。先看效果,如下图动画演示这样的一个效果要怎样实现呢?本文所用函数有Filter和Search。先用filter...
- FILTER函数介绍及经典用法12:FILTER+切片器的应用
-
EXCEL函数技巧:FILTER经典用法12。FILTER+切片器制作筛选按钮。FILTER的函数的经典用法12是用FILTER的函数和切片器制作一个筛选按钮。像左边的原始数据,右边想要制作一...
- office办公应用网站推荐_office办公软件大全
-
以下是针对Office办公应用(Word/Excel/PPT等)的免费学习网站推荐,涵盖官方教程、综合平台及垂直领域资源,适合不同学习需求:一、官方权威资源1.微软Office官方培训...
- WPS/Excel职场办公最常用的60个函数大全(含卡片),效率翻倍!
-
办公最常用的60个函数大全:从入门到精通,效率翻倍!在职场中,WPS/Excel几乎是每个人都离不开的工具,而函数则是其灵魂。掌握常用的函数,不仅能大幅提升工作效率,还能让你在数据处理、报表分析、自动...
- 收藏|查找神器Xlookup全集|一篇就够|Excel函数|图解教程
-
原创版权所有全程图解,方便阅读,内容比较多,请先收藏!Xlookup是Vlookup的升级函数,解决了Vlookup的所有缺点,可以完全取代Vlookup,学完本文后你将可以应对所有的查找难题,内容...
- 批量查询快递总耗时?用Excel这个公式,自动计算揽收到签收天数
-
批量查询快递总耗时?用Excel这个公式,自动计算揽收到签收天数在电商运营、物流对账等工作中,经常需要统计快递“揽收到签收”的耗时——比如判断某快递公司是否符合“3天内送达”的服务承...
- Excel函数公式教程(490个实例详解)
-
Excel函数公式教程(490个实例详解)管理层的财务人员为什么那么厉害?就是因为他们精通excel技能!财务人员在日常工作中,经常会用到Excel财务函数公式,比如财务报表分析、工资核算、库存管理等...
- Excel(WPS表格)Tocol函数应用技巧案例解读,建议收藏备用!
-
工作中,经常需要从多个单元格区域中提取唯一值,如体育赛事报名信息中提取唯一的参赛者信息等,此时如果复制粘贴然后去重,效率就会很低。如果能合理利用Tocol函数,将会极大地提高工作效率。一、功能及语法结...
- Excel中的SCAN函数公式,把计算过程理清,你就会了
-
Excel新版本里面,除了出现非常好用的xlookup,Filter公式之外,还更新一批自定义函数,可以像写代码一样写公式其中SCAN函数公式,也非常强大,它是一个循环函数,今天来了解这个函数公式的计...
- Excel(WPS表格)中多列去重就用Tocol+Unique组合函数,简单高效
-
在数据的分析和处理中,“去重”一直是绕不开的话题,如果单列去重,可以使用Unique函数完成,如果多列去重,如下图:从数据信息中可以看到,每位参赛者参加了多项运动,如果想知道去重后的参赛者有多少人,该...
- Excel(WPS表格)函数Groupby,聚合统计,快速提高效率!
-
在前期的内容中,我们讲了很多的统计函数,如Sum系列、Average系列、Count系列、Rank系列等等……但如果用一个函数实现类似数据透视表的功能,就必须用Groupby函数,按指定字段进行聚合汇...
- Excel新版本,IFS函数公式,太强大了!
-
我们举一个工作实例,现在需要计算业务员的奖励数据,右边是公司的奖励标准:在新版本的函数公式出来之前,我们需要使用IF函数公式来解决1、IF函数公式IF函数公式由三个参数组成,IF(判断条件,对的时候返...
- Excel不用函数公式数据透视表,1秒完成多列项目汇总统计
-
如何将这里的多组数据进行汇总统计?每组数据当中一列是不同菜品,另一列就是该菜品的销售数量。如何进行汇总统计得到所有的菜品销售数量的求和、技术、平均、最大、最小值等数据?不用函数公式和数据透视表,一秒就...
- 一周热门
- 最近发表
-
- Excel技巧:SHEETSNA函数一键提取所有工作表名称批量生产目录
- Excel HOUR函数:“小时”提取器_excel+hour函数提取器怎么用
- Filter+Search信息管理不再难|多条件|模糊查找|Excel函数应用
- FILTER函数介绍及经典用法12:FILTER+切片器的应用
- office办公应用网站推荐_office办公软件大全
- WPS/Excel职场办公最常用的60个函数大全(含卡片),效率翻倍!
- 收藏|查找神器Xlookup全集|一篇就够|Excel函数|图解教程
- 批量查询快递总耗时?用Excel这个公式,自动计算揽收到签收天数
- Excel函数公式教程(490个实例详解)
- Excel(WPS表格)Tocol函数应用技巧案例解读,建议收藏备用!
- 标签列表
-
- 外键约束 oracle (36)
- oracle的row number (32)
- 唯一索引 oracle (34)
- oracle in 表变量 (28)
- oracle导出dmp导出 (28)
- 多线程的创建方式 (29)
- 多线程 python (30)
- java多线程并发处理 (32)
- 宏程序代码一览表 (35)
- c++需要学多久 (25)
- css class选择器用法 (25)
- css样式引入 (30)
- css教程文字移动 (33)
- php简单源码 (36)
- php个人中心源码 (25)
- php小说爬取源码 (23)
- 云电脑app源码 (22)
- html画折线图 (24)
- docker好玩的应用 (28)
- linux有没有pe工具 (34)
- 可以上传视频的网站源码 (25)
- 随机函数如何生成小数点数字 (31)
- 随机函数excel公式总和不变30个数据随机 (33)
- 所有excel函数公式大全讲解 (22)
- 有动图演示excel函数公式大全讲解 (32)
