2023-09-25

TDengine

分享:

北京涛思数据科技有限公司( TAOS Data ) 瞄准日益增长的物联网数据市场,专注时序空间大数据的存储、查询、分析和计算,不依赖任何开源或第三方软件,开发了拥有自主知识产权、100% 自主可控的高性能、分布式、支持SQL的时序数据库 TDengine。TDengine 可广泛运用于物联网、车联网、工业互联网、IT运维等领域。公司已经申请多项技术发明专利,且全部提交 PCT 专利申请。

(一)开源项目情况简介

申报人:北京涛思数据科技有限公司

项目名称:TDengine

开源许可协议:AGPL

项目主导企业:涛思数据

所在开源社区:无

开发者:187 位开发者,其中 48 位外部开发者

(二)开源项目功能与性能简介

TDengine是一款开源、高性能、分布式、支持 SQL 的时序数据库,其核心代码包括集群功能全部开源。同时 TDengine 还带有内建的缓存、流式计算、数据订阅等系统功能,能大幅减少研发和运维的复杂度。TDengine 可以让大量设备、数据采集器每天产生的高达 TB 甚至 PB 级的数据能得到高效实时的处理,对业务的运行状态进行实时的监测、预警,并从大数据中挖掘出商业价值。

TDengine 的独特优势有:

高性能:通过创新的存储引擎设计,无论是数据写入还是查询,TDengine的性能比通用数据库快 10倍以上,也远超其他时序数据库,而且存储空间也大为节省。

分布式:通过原生分布式的设计,TDengine提供了水平扩展的能力,只需要增加节点就能获得更强的数据处理能力,同时通过多副本机制保证了系统的高可用。

TDengine采用 SQL作为数据查询语言,减少学习和迁移成本,同时提供 SQL 扩展来处理时序数据特有的分析,而且支持方便灵活的

schemaless数据写入。

完全开源,TDengine的核心代码包括集群功能全部开源,全球超过 109.0k个实例,GitHub Star 18k,Fork 4.3k,社区活跃。

(三)项目应用场景及效果

TDengine 能被广泛运用于物联网、工业互联网、车联网、IT 运维、能源、金融等领域。自 2018 年商业化版本发布后,TDengine 已经在全球 400 多个城市中,被广泛应用在了物联网、工业互联网、IT运维、车联网、能源和金融等各行业,为各企业的数字化改造和转型、效率提升以及存储、运维成本降低上做出很大贡献。在已发布的70余个Case 文章中,我们可以看到各种传统监控平台的性能症结被解决,数字化、智慧化转型变得更顺畅,一部分案例如下:

顺丰科技:根据容量规划完成相关参数调整后,在理想情况下,TDengine集群写入速度最高达到90w条/s的写入速度。服务端物理机

由 21 台降至 3 台,每日所需存储空间为 93G(2副本),同等副本下仅为OpenTSDB+HBase的约 1/10。

零跑科技:不用再像 MongoDB 一样,在查询前还需要根据业务加工出需求数据,TDengine的列式存储,直接以 SQL 计算即可,大大提高了业务的灵活性,同时其高压缩算法提升了 10 到 20倍的压缩性能。

跨越速运:应用TDengine后服务器数量从 21 台降至 3 台,压缩一个 5 万行、每行在 600 字节以上的表,压缩后的磁盘 size 是 1665KB,压缩率高达 1%。

浙商银行:目前微服务可视化服务治理平台对并发要求较高,但是TDengine可以很好地满足需求,插入/查询平均耗时均在 10ms 以内。

同花顺:在稳定性上,改造前调用数据情况共40W次,共出现异常 0.01% 的异常,使用TDengine改造后出现异常降低至 0.001%。

得物:在批量写入设置上设置最大写入条数,耗时基本也能保持在毫秒。目前 Sentinel 的数据没有使用副本,全量数据分散在三台机器中,根据计算得知TDengine对于 Sentinel 监控数据的压缩率达 10%,相当可观。

货拉拉:将监控的数据存储由 MySQL 改造为TDengine后,不仅顶住了监控数据增长所带来的压力,还节约了存储空间,成本压缩到了原来的 1/10 甚至更低。历史原生监控数据可回溯时间也变得更长,之前存储 3 天原生数据及聚合数据的空间,现在可供原始数据存储 45 天。

 


上一篇: 开源MES
下一篇: Open Horizon