时序数据库有哪些特点imescale时序数据库介绍古道轻风

在互联网行业中,也有着非常多的时序数据,例如用户访问网站的行为轨迹,应用程序产生的日志数据等等。

时序数据有几个特点

1. 基本上都是插入,没有更新的需求。

业务方对时序数据通常有几个查询需求

1. 获取最新状态,查询最近的数据(例如传感器最新的状态)

3. 获取异常数据,根据指定条件,筛选异常数据

1. 压缩能力

通常用得上时序数据库的业务,传感器产生的数据量都是非常庞大的,数据压缩可以降低存储成本。

2. 自动rotate

为了方便使用,时序数据库必须有数据自动rotate的能力。

3. 支持分片,水平扩展

因为涉及的传感器可能很多,单个节点可能比较容易成为瓶颈,所以时序数据库应该具备水平扩展的能力,例如分表应该支持水平分区。

4. 自动扩展分区,

业务对时序数据的查询,往往都会带上对时间区间进行过滤,因此时序数据通常在分区时,一定会有一个时间分区的概念。时序数据库务必能够支持自动扩展分区,减少用户的管理量,不需要人为的干预自动扩展分区。例如1月份月末,自动创建2月份的分区。

5. 插入性能

时序数据,插入是一个强需求。对于插入性能要求较高。

6. 分区可删除

分区可以被删除,例如保留1个月的数据,1个月以前的分区都可以删除掉。

7. 易用性(SQL接口)

SQL是目前最通用的数据库访问语言,如果时序数据库能支持SQL是最好的。

8. 类型丰富

物联网的终端各异,会有越来越多的非标准类型的支持需求。例如采集图像的传感器,数据库中至少要能够存取图像的特征值。而对于其他垂直行业也是如此,为了最大程度的诠释业务,必须要有精准的数据类型来支撑。

9. 索引接口

支持索引,毫无疑问是为了加速查询而引入的。

10. 高效分析能力

时序数据,除了单条的查询,更多的是报表分析或者其他的分析类需求。这对时序数据库的统计能力也是一个挑战。

11. 其他特色

11.1 支持丰富的数据类型,数组、范围类型、JSON类型、K-V类型、GIS类型、图类型等。满足更多的工业化需求,例如传感器的位置信息、传感器上传的数据值的范围,批量以数组或JSON的形式上传,传感器甚至可能上传图片特征值,便于图片的分析。(例如国家安全相关),轨迹数据的上层则带有GIS属性。

这个世界需要的是支持类型丰富的时序数据库,而不是仅仅支持简单类型的时序数据库。

11.2 支持丰富的索引接口,因为类型丰富了,普通的B-TREE索引可能无法满足快速的检索需求,需要更多的索引来支持 数组、JSON、GIS、图特征值、K-V、范围类型等。 (例如PostgreSQL的gin, gist, sp-gist, brin, rum, bloom, hash索引接口)

这两点可以继承PostgreSQL数据库的已有功能,已完全满足。

TimescaleDB是基于PostgreSQL数据库打造的一款时序数据库,插件化的形式,随着PostgreSQL的版本升级而升级,不会因为另立分支带来麻烦。

1. 基于时序优化

3. 全SQL接口

4. 支持垂直于横向扩展

6. 支持多个SERVER,多个CHUNK的并行查询。分区在TimescaleDB中被称为chunk。

7. 自动调整CHUNK的大小

8. 内部写优化(批量提交、内存索引、事务支持、数据倒灌)。

内存索引,因为chunk size比较适中,所以索引基本上都不会被交换出去,写性能比较好。

数据倒灌,因为有些传感器的数据可能写入延迟,导致需要写以前的chunk,timescaleDB允许这样的事情发生(可配置)。

9. 复杂查询优化(根据查询条件自动选择chunk,最近值获取优化(最小化的扫描,类似递归收敛),limit子句pushdown到不同的server,chunks,并行的聚合操作)

10. 利用已有的PostgreSQL特性(支持GIS,JOIN等),方便的管理(流复制、PITR)

1. chunk过多,会不会影响查询性能?

这点不需要担心,PostgreSQL 10.0已经优化了

1. 创建时序表(hypertable)

2. 迁移数据到hyper table

3. 查询hyper table

4. 查询最近异常的数据

5. 计算最近7天,每小时的异常次数

6. 计算巴士的每小时平均速度

7. 展示最近12小时,每小时的平均值

8. 监控每分钟过载的设备数量

9. 最近7天,按固件版本,输出每个固件版本的报错次数

10. 某个范围,每小时,温度高于90度的设备数量。

1. TimescaleDB是基于PostgreSQL的时序数据库插件,完全继承了PostgreSQL的功能,对于复杂查询,各种类型(GIS,json,k-v,图像特征值,range,数组,复合类型,自定义类型,.....)的支持非常丰富,非常适合工业化的时序数据库场景需求。

1.1 支持丰富的数据类型,数组、范围类型、JSON类型、K-V类型、GIS类型、图类型等。满足更多的工业化需求,例如传感器的位置信息、传感器上传的数据值的范围,批量以数组或JSON的形式上传,传感器甚至可能上传图片特征值,便于图片的分析。(例如国家安全相关),轨迹数据的上层则带有GIS属性。

未来,这个世界更多需要的是支持类型丰富的时序数据库,而不仅仅是支持简单类型的时序数据库。

1.2 支持丰富的索引接口,因为类型丰富了,普通的B-TREE索引可能无法满足快速的检索需求,需要更多的索引来支持 数组、JSON、GIS、图特征值、K-V、范围类型等。 (例如PostgreSQL的gin, gist, sp-gist, brin, rum, bloom, hash索引接口)

2. 数据的后期处理,分析,结合PostgreSQL退出的HTAP特性,可以更好的满足大量时序数据的实时查询,实时挖掘的需求。

结合技术包括: CPU多核并行计算、向量计算、LLVM、列存储、算子复用、内置的sharding 等等。

THE END
0.传感器大多数传感器具有线性传递函数。灵敏度定义为输出信号和测量特性之间的比值。例如,如果传感器测量温度并有电压输出,灵敏度是以[伏特 /开尔文“V/K”]为单位的常数。灵敏度是传递函数的斜率。将传感器的电输出(例如V)转换为测量单位(例如K),需要将电输出除以斜率(或乘以其倒数)。此外,经常需要增加或减少偏置量 。例jvzquC41ywrj0€nmk1gtunyu1uuhq~44284&G=*DE'G1'N;':6+:H.J7';?&CA*42/+32.J8';6&;L*G9'>C'B<'G9+B9.>3'G;&CM*C8'K8'B>'DG+F9.F9';7/j}rn
1.智能传感器的特点有哪些?一文讲清智能传感器的特点有哪些?一文讲清 智能传感器是一种大发展的新兴技术,它能够收集、传输和处理感受到的信息。它能够按照一定的原理、方法或规则,及时准确地感知周围环境及其状态的变化,而不需要人为干预介入,为被控系统提供必要信息,使周围环境的变化得以采集,引发合适的反应,从而满足需求和预期目的。jvzquC41yy}/upuldi4dqv4kphu05m=227999>;:fc778Bff;d=1:kghghjd0qyon
2.气压传感器的作用以及它的特点都有哪些气压传感器的作用以及它的特点都有哪些 2022-08-08 下午 2时26分28秒 星期一 实际上气压传感器就是属于一种功能模块,其功能是将外界的各种信号转换成电信号。传感器检测到的信号最近显著增加,因此其种类也非常的广泛。气压传感器的特点是:小型化、数字化、智能化、多功能性、系统化和网络化。这是实现自动检测和控jvzquC41yhn28A=073ypnn3eqo5dqvucp{tfy|igvcoma;69:3?:4B3jvo
3.电化学式传感器的应用有哪些电化学式传感器的特点电化学式传感器(Electrochemical Sensors)是一种将电化学过程与灵敏元件相结合,以进行气体测量、溶液分析及其他物理化学参数测量的传感器。电化学式传感器具有灵敏度高、响应快、易于制备和使用等特点,因此被广泛应用于环境监测、生命科学、工业生产等领域。 1.电化学式传感器的应用 jvzquC41yy}/gnkqewy/exr1g1758=>:30nuou
4.传感器简答题11-1 简述微波传感器的测量机理。 由发射天线发出微波,此波遇到被测物体时将被吸收或反射,使微波功率发生变化。若利用接收天线,接收到通过被测物体或由被测物体反射回来的微波,并将它转换为电信号,再经过信号调理电路,即可以显示出被测量,实现了微波检测。 11-2 微波传感器有哪些特点?微波传感器如何分类? 1、微波jvzquC41o0972mteu0tfv8iqe1723:<57:860qyon
5.微信注销后聊天记录还能恢复吗?微信账号注销方法科技如果对聊天记录进行备份或迁移的话,微信注销后聊天记录可以恢复。如果没有对聊天记录进行备份或迁移的话,微信注销后聊天记录无法恢复。以下是注销微信的操作步骤: 1、打开微信APP,点击“我”-“设置”-“账号与安全”,进入界面。 2、点击“微信安全中心”-“注销账号”-“申请注销”即可。jvzq<84o0rgpm~3eqo4dp8pglk5lgsn142831:5321739=930jznn
6.节气门位置传感器有哪几类?各有什么特点?各有什么特点? 1、滑动电阻式节气门位置传感器,又称线性输出式节气门位置传感器、可变电阻式节气门位置传感器、电位计式节气门位置传感器。目前双可变电阻式节气门位置传感器正被大量应用到汽车中。 2、节气门位置传感器有线性、开关型及综合型(既有开关又有线性可变电阻)三种。节气门位置传感器装在节气门体上,与节气门联动,jvzquC41yy}/rlfwvq4dqv3ep1pyym45;8805B;476660qyon
7.电容式传感器的位移特性实验(6页)华南师范大学实验报告实验项目:电容式传感器的位移特性实验实验目的了解电容式传感器结构及其特点基本原理利用平板电容C=εS/d和其它结构的关系式通过相应的结构和测量电路可以选择ε、S、d中三个参数中,保持两个参数不变,而只改变其中一个参数,则可以有测谷物干燥度(ε变)测微小位移(变d)和测量液位(变S)等多种jvzquC41o0hpqt63:0ipo8mvon532:>133831A6472<82@;2246767xjvo
8.浅析美军先进战机传感器系统及作战效能将应用于F35导读:本文通过对美军先进战斗机传感器系统的技术特点与作战效能进行梳理分析可以得到,未来基于传感器融合技术与先进的算法,F-35所配备的AN/APG-81有源相控阵火控雷达、AN/AAQ-37分布式孔径系统、AN/AAQ-40光电瞄准系统、AN/ASQ-239电子战系统等传感器将进一步实现全传感器融合,以将F-35战机作为信息化联合作战节点,实现jvzquC41okr/pn|u0uooc7hqo0io1ƒmgpisjpp44247.2B2351jpe6nmv|yd{8;797447xjvor
9.工业传感器在智能时代四个特点那么,工业传感器究竟有何魅力,能让其市场增长如此之快?本文就将用一些具有代表性的厂商的产品来说明工业传感4.0时代智能传感器技术的四大特点:持续在线、全天候工作、本地处理和多传感器信息融合。 #01 持续在线 当前,我们处在一个永远监听、不间歇运行的设备得到大规模使用的风口浪尖。持续在线是作为物联网的一个重要jvzquC41yy}/gnuy0eun0ls1ctzjeuj142843946738847mvo
10.5G特点有哪些?几个关键词带你了解5G是在4G基础上,对于移动通信提出更高的要求,它不仅在速度而且还在功耗、时延等多个方面有了全新的提升。由此业务也会有巨大提升,互联网的发展也将从移动互联网进入智能互联网时代。 5G的六大基本特点 1. 高速度 原因:高速度根本原因在基站,带宽越高则可以实现的传输速率越大,5G的使用频率主要在比2、3、4G都高jvzquC41yy}/7:hvq0ipo8ftvkimg8;3:4680qyon