江晓龙的博客

字化浪潮席卷全球的当下，企业 IT 架构正加速向云原生、微服务化演进。根据 Gartner 报告显示，超过 80% 的企业已将核心业务迁移至云环境，复杂的分布式系统架构带来效率提 升的同时，也让运维工作陷入前所未有的困局。日志分散在数十个服务节点，指标数据割裂于不同监控工具， —旦业务出现卡顿，运维人员需在海量数据中 “大海捞针 ” ，平均故障排查时间长达数小时；传统监控工具依赖人工阈值设置，被动响应式告警常导致问题发现滞后，严重影响业务连续性。

在统计分析应用中，从明细数据计算出来的各种指标是支撑业务的重要数据。但是，要做到快速而且灵活的多指标计算，后台数据源面临多个难题。多指标计算的一个难题是涉及的明细数据量非常大。政府、金融、能源和工业等各个行业，都在不断产生大量的明细数据。要在几千万甚至上亿的明细数据基础上计算多种指标，还要达到秒级响应的速度，对于传统数据库和大数据技术来说都是一个不小的挑战。另一个难题是需要同时计算的指标数量非常多。

使用分布式集群来处理大数据是当前的主流，将一个大任务拆分成多个子任务分布到多个节点进行处理通常能获得显著的性能提升。因此，只要发现处理能力不足就可以通过增加节点的方式进行扩容，这也是很多拥趸者最朴素的想法。以至于当我们接触一项新的大数据处理技术往往首先问的就是支不支持分布式以及能支持多大规模的集群，可见“分布式思维”已经根深蒂固。那么分布式真是处理大数据的万能药吗？“万能”当然不可能。没有包治百病的灵药，任何技术都有其适用场景，分布式也一样。能否使用分布式技术解决处理能力问题，要结合任务的特点来看。

理论上来讲，SPL是SQL的超集，任何SQL实现的计算的确都可以使用SPL来完成，解释或移植 SQL 是可能的，虽然这也有不少工作量，但难度并不是非常大。高效的代码要针对运算模型的特征去编写，而SQL语句中通常并没这样的信息。SPL则具备简洁高效的特点，提供了更加敏捷的语法可以简化复杂计算，同时支持过程计算天然支持分步编码，计算体系更加开放可以同时针对多种数据源混合计算，利用内置的高性能存储和高性能算法容易获得更高的计算性能，在使用时更加灵活既可以独立使用也可以嵌入应用集成使用。非常遗憾，大概率不可以。

我们之前做过一些性能优化的案例，不算很多，还没有失手过。少则提速数倍，多则数十倍，极端情况还有提速上千倍的。提速一个数量级基本上是常态。这是怎么做到的呢？这些被提速的场景都有一个共同点：原先都是用各种数据库（也有HADOOP/Spark）上的SQL实现的，包括查询用的几百行SQL也有跑批用的几千行存储过程，然后我们改用集算器的SPL重新实现之后就有了这样的效果。集算器SPL有什么神奇之处？是不是能让各种运算跑得更快？有点遗憾，并没有这样的好事。

当我们想通过自己开发的工具去调用某个网站的接口，完成某些特殊功能时，可以打开浏览器的f12开发者模式，清空所有请求，点击网站中的功能，这时在开发者窗口中就会弹出对应的请求，点击请求—>Playload。即可看到该接口需要传递的参数。

俗话说得好工欲善其事必先利其器，接下来给大家推荐10款最佳的DevOps工具，相信每一款大家并不陌生，一些优秀的工具无论是对于运维还是开发，都是至关重要的，不仅可以降低运维成本还可以提高运维效率。今天分享的10款最佳DevOps工具，基本都是我正在使用的并且附带一些使用感受。推荐的每一款工具，我都会给大家详细介绍工具的优势以及推荐工具的理由。

一直以来国内的同学想找一个方便好用的开源BI都不是一件易事，国外的页面不好修改，国内的基本都收费，现在有了润乾开源BI了，同学们可以去试一下了，润乾是做报表起家，是报表行业的领头羊，报表功能好，BI功能也不差，还天然弥补了BI缺少报表能力的短板润乾报表的新老用户，遍布各行各业，已经有很多在用润乾的开源BI了，因为报表自带BI，直接集成到系统里，改改页面，就成了自己系统的BI模块了。

我们工作中写SQL处理数据是家常便饭，不管是应用内数据处理还是临时查询分析都可以用SQL完成，相对其他技术（如Java等高级语言）也更简单。不过，SQL的简单只限于简单需求，有些复杂计算场景SQL写起来却很难，嵌套N层以至于达到几百上千行，说SQL代码长度时通常不会以行计而是以KB计。这种情况并不少见，相信经常写SQL的小伙伴并不陌生。为什么会出现这种情况呢？在http://c.raqsoft.com.cn/article/1639032922105 里详细分析了这个问题。虽然SQL比其他数据处理技术更简单

采用列存可以只读取需要的列，在总列数较多、计算涉及的列较少时，能减少硬盘访问量，提高性能。但仅此还不够，列存数据仓库还要在数据压缩、多线程并行和查找计算等方面做优化以将列存的效果做到最佳。开源数据计算引擎SPL充分利用数据有序存储的特征，在保持低 CPU 消耗的前提下，实现了较高压缩率的压缩算法，大幅减少了物理存储量，进一步提高了性能。SPL还提供倍增分段机制，解决了列存分段难题，让列存数据也能充分利用并行计算来提高效率。并且，SPL能够自由建立行存、列存数据表，允许开发者自主选择使用，且提供了带值索引。.

今天给他们介绍的软件是这个IVX低代码开发平台，对于开发同事非常友好，可以快速的开发出一个web平台，对于ivx其他的介绍在前面的文章有给大家将结果，本次我们直奔主题，去用ivx开发一个web平台。页面中间的数据都是由表格添加的，我延时其中一个表格的添加，其他表格的属性都一样。选择webapp小程序，输入项目名称，点击创建。在列名显示中也要将数据填上，否则不显示。

Splashtop商用的远程控制软件可以用于企业使用，官网地址httpsSplashtopInc.成立于2006年，总部位于硅谷，在杭州、台北、东京、新加坡、阿姆斯特丹等地设有分支机构。Splashtop为全球的跨国企业和中小型企业、教育机构、托管服务供应商（MSP）和个人提供安全且易于管理的远程控制和远程支持软件及服务。经过17年的发展，Splashtop现在拥有3000万全球用户、20万企业用户，支持会话超过8亿次。httpshttps。..................

Ivx和mendix都是面向低代码、无代码的开发，今天我们一起聊一聊二者的区别，相信大家看完此篇文章就知道应该如何选择哪一个低代码开发平台了。

可以在Java应用中嵌入的数据引擎看起来比较丰富，但其实并不容易选择。Redis计算能力很差，只适合简单查询的场景。Spark架构复杂沉重，部署维护很是麻烦。H2\HSQLDB\Derby等内嵌数据库倒是架构简单，但计算能力又不足，连基本的窗口函数都不支持。相比之下，SQLite在架构性和计算能力上取得了较好的平衡，是应用较广的Java嵌入数据引擎。SQLite架构简单，其核心虽然是C语言开发的，但封装得比较好，对外呈现为一个小巧的Jar包，能方便地集成在Java应用中。SQLite提供了JDBC接口，可以

码是一类新兴的数字化产品，受到越来越多厂商和用户的青睐。低代码刚出现的时候，市场概念相对朴素，用户较容易理解。各类厂商入局后，为了提升差异化竞争能力，纷纷提出各种概念，例如表单驱动、模型驱动、数据驱动、工作流引擎等。2022年，海比研究院研究显示，“难以理解低代码/无代码” 的用户正在大幅上升，用户对于产品的选型和使用表示更加困惑。基于此，海比研究院将对低代码无代码市场展开深度研究，致力于为CIO解决“怎么选低代码无代码”和“怎么用低代码无代码”两大难题。低代码与无代码存在着本质的区别。首先要讨论这个问题，