<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Alice_656的博客]]></title><description><![CDATA[欢迎讨论切磋]]></description><link>https://blog.youkuaiyun.com/Alice_656</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Alice_656]]></copyright><item><title><![CDATA[润乾数据采集填报中自动计算处理]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/86243946</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/86243946</guid><author>Alice_656</author><pubDate>Thu, 10 Jan 2019 17:38:45 +0800</pubDate><description><![CDATA[阅读原文：http://c.raqsoft.com.cn/article/1543550151602?r=alice

在业务系统中，常常会遇到这样的需求，用户录入了某些数据后，系统需要自动算出另外一部分单元格的值，从而方便用户的计算、简化用户的输入，进而减少错误率，这就是我们常说的自动计算功能。自动计算在 excel 中很常见，那么在报表工具里我们要如何去实现呢？

下面我们就通过润乾报表设计器...]]></description><category></category></item><item><title><![CDATA[润乾报表中录入数据时如何实现行列转换]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/86229527</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/86229527</guid><author>Alice_656</author><pubDate>Thu, 10 Jan 2019 14:02:17 +0800</pubDate><description><![CDATA[阅读原文：http://c.raqsoft.com.cn/article/1544084300963?r=alice

应用场景及需求：

某电力集团在实际应用中需要在填报数据时将数据库中的字段以更符合业务人员使用习惯的方式进行呈现，其中就有行列转换的情况。在常规的应用开发中，一般都是通过专门设计的数据界面进行录入，然后再通过程序转换存入数据库。而现在有了集算器支持的润乾填报表，就能够处理各种有关...]]></description><category></category></item><item><title><![CDATA[润乾报表数据填报中的合法性校验]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/86228714</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/86228714</guid><author>Alice_656</author><pubDate>Thu, 10 Jan 2019 13:47:45 +0800</pubDate><description><![CDATA[阅读原文：http://c.raqsoft.com.cn/article/1544091400841?r=alice

教师是一个令人尊敬的职业，但批改作业却是个很伤神的工作，这个过程充满了传说中的“哭笑不得”，不信你看，标准的汉字都能被他们写活：
这些脑回路清奇的同学下学别走，老师有句话跟你谈一下……

无独有偶，在 IT 行业中，总有一些终端用户输入的内容让统计人员无从下手。技术人员在做统计汇...]]></description><category></category></item><item><title><![CDATA[利用有序高效实施交并差集合运算]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/85766140</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/85766140</guid><author>Alice_656</author><pubDate>Fri, 04 Jan 2019 11:58:31 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1545662863743?r=alice

 交并差是常见的集合运算，SQL 中对应的 intersect/union/minus 计算也很简单。不过当数据量较大时，这类集合运算性能往往偏低，尤其当参与计算的数据量超过内存容量时，性能表现会十分糟糕。

       本文专门针对这种情况下的高性能计算（HPC）需求，讨论...]]></description><category></category></item><item><title><![CDATA[大主子表关联的性能优化方法]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/85765906</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/85765906</guid><author>Alice_656</author><pubDate>Fri, 04 Jan 2019 11:53:49 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1545619124373?r=alice

主子表是数据库最常见的关联关系之一，最典型的包括合同和合同条款、订单和订单明细、保险保单和保单明细、银行账户和账户流水、电商用户和订单、电信账户和计费清单或流量详单。当主子表的数据量较大时，关联计算的性能将急剧降低，在增加服务器负载的同时严重影响用户体验

一、        ...]]></description><category></category></item><item><title><![CDATA[区块链技术的一些疑问]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/85120995</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/85120995</guid><author>Alice_656</author><pubDate>Thu, 20 Dec 2018 14:19:33 +0800</pubDate><description><![CDATA[阅读原文：http://c.raqsoft.com.cn/article/1533882683963?r=alice

1. 区块链只适合执行低频高价的交易？

单纯的链式结构未必会产生分叉，但考虑到去中心化和网络的不稳定性，分叉就是不可避免的。而合理的链又不能容忍分叉，规避的办法是多走几轮后看哪个分叉能走得更远。这样，区块在刚产生时并不能确认自己是否在最长链上，必须多等几轮才知道。也就是说，交易...]]></description><category></category></item><item><title><![CDATA[Java 嵌入 SPL 轻松实现数据分组]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/85103437</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/85103437</guid><author>Alice_656</author><pubDate>Wed, 19 Dec 2018 18:04:41 +0800</pubDate><description><![CDATA[阅读原文：http://c.raqsoft.com.cn/article/1544235144250?r=alice

要在 Java 代码中实现类似 SQL 中的 GroupBy 分组聚合运算，是比较繁琐的，通常先要声明数据结构（Java 实体类），然后用 Java 集合进行循环遍历，最后根据分组条件添加到某个子集合中。Java 8 有了 Lambda（stream）代码简洁了许多，分组后往往还...]]></description><category></category></item><item><title><![CDATA[跨库多维分析后台的实现]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84990422</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84990422</guid><author>Alice_656</author><pubDate>Thu, 13 Dec 2018 16:15:43 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1535601728534?r=alice

问题的提出

 

        多维分析（BI）系统后台数据常常可能来自多个数据库，这时就会出现跨库取数计算的问题。

例如：从性能和成本考虑，往往会限制生产库的容量，同时将历史数据分库存放，由ETL定期把生产库中新产生的数据同步到历史库中，同步周期根据数据的生成量，可能是...]]></description><category></category></item><item><title><![CDATA[轻量级可嵌入多维分析后台]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84990311</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84990311</guid><author>Alice_656</author><pubDate>Thu, 13 Dec 2018 16:10:43 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1534408099533?r=alice

问题的提出

多维分析（BI）系统后台数据源通常有三种选择。一、普通数据库；二、专业数据仓库；三、BI 系统自带的数据源。

但是，这三种选择都有各自的问题。普通数据库一般都是行式存储，很难获得多维分析希望的高性能，只适用较小数据量。专业数据仓库有不少是列式存储的，性能问题不大...]]></description><category></category></item><item><title><![CDATA[协助 MySQL 实现 Oracle 高级分析函数]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84862709</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84862709</guid><author>Alice_656</author><pubDate>Thu, 06 Dec 2018 18:16:35 +0800</pubDate><description><![CDATA[阅读原文：http://c.raqsoft.com.cn/article/1535964014661?r=alice

Oracle 支持一些独特的语法和函数，在移植到 MySQL 上时或多或少给程序员造成了困扰，下面我们针对 Oracle 的一些特殊用法举例并讲解如何用集算器来完成同样功能。这些方法当然也不限于针对 MySQL，对于所有其它数据库也能支持。

1、         递归语句

a...]]></description><category></category></item><item><title><![CDATA[10 行代码提取复杂 Excel 数据]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84862619</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84862619</guid><author>Alice_656</author><pubDate>Thu, 06 Dec 2018 18:11:31 +0800</pubDate><description><![CDATA[把 Excel 文件导入关系数据库是数据分析业务中经常要做的事情，但许多 Excel 文件的格式并不规整，需要事先将其中的数据结构化后再用 SQL 语句写入数据库。而一般情况下，结构化的工作量会比较大，而且很难通用，每次都要针对文件格式进行分析后再进行开发。下面使用另外一种方式处理

1.   普通行式

　　先看最简单的情况：如下图所示，Excel文件中第一行是列标题，从第二行开始，每行是一条数...]]></description><category></category></item><item><title><![CDATA[数据分析之37 个场景使用到集算器]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84637906</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84637906</guid><author>Alice_656</author><pubDate>Thu, 29 Nov 2018 18:46:54 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1534732238335?r=alice

慢

1、清单式大报表难以及时呈现，采用数据库分页方式翻页效率很差

集算器将计算和呈现做成两个异步线程，取数线程发出 SQL 将数据缓存到本地，然后交给呈现线程快速展现报表
	取数线程只涉及一个事务不会出现数据不一致，保证数据准确性
2、查询报表从数据库中取数量大，JDBC ...]]></description><category></category></item><item><title><![CDATA[超大数据下大批量随机键值的查询优化方案]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84637844</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84637844</guid><author>Alice_656</author><pubDate>Thu, 29 Nov 2018 18:40:15 +0800</pubDate><description><![CDATA[可阅读原文: http://c.raqsoft.com.cn/article/1536544293689?r=alice

一、问题描述

键值查询是很常见的查询场景，在数据表上建有索引后，即使表中数据记录数巨大（几亿甚至几十亿行），用键值查询出单条记录也会很快，因为建立索引后的复杂度只有 logN（以 2 为底）次， 10 亿行数据也只要比较 30 次（10 亿约等于 2^30），在现代计算机上...]]></description><category></category></item><item><title><![CDATA[应对多层JSON数据计算与入库]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84632632</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84632632</guid><author>Alice_656</author><pubDate>Thu, 29 Nov 2018 14:47:32 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1536633176729?r=alice

JSON作为一种轻量级的数据交换格式，因其易于读写和交互的特点，已逐渐成为主流的数据类型之一。常见的编程语言大多都对 JSON 的读取与解析提供了接口，但是接下来如何把多层 JSON 数据经过筛选、计算并展开成二维数据，就需要开发人员去头疼了。本文就为大家分享一下如何利用集算器...]]></description><category></category></item><item><title><![CDATA[让Birt报表脚本数据源变得既简单又强大]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84630317</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84630317</guid><author>Alice_656</author><pubDate>Thu, 29 Nov 2018 14:11:01 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1537155188168?r=alice

应用场景：报表数据准备

应用结构



集成后，集算器嵌入报表应用层，相当于本地的逻辑数据库（不需要单独服务器部署），在报表与数据源间作为报表数据准备层，完成各种复杂的计算任务。

概述：运行在 JVM 上的 SQL 函数和存储过程

总所周知，有些数据库没有强大的分析函数（...]]></description><category></category></item><item><title><![CDATA[基于文件系统实现可追加的数据集市]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84583408</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84583408</guid><author>Alice_656</author><pubDate>Wed, 28 Nov 2018 14:15:27 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1538189724921?r=alice

一 问题背景

绝大多数的应用系统中，一开始数据的存储和计算基本都是由数据库来完成的，同时服务于业务交易和报表查询；不过在经过几年信息化建设和数据积累后，常常都会遇到数据库压力变大，从而导致性能瓶颈的问题。

究其原因，往往发现针对历史数据查询的报表在其中占了很大比重。进一步分...]]></description><category></category></item><item><title><![CDATA[车险往年保单关联计算的性能优化]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84583023</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84583023</guid><author>Alice_656</author><pubDate>Wed, 28 Nov 2018 13:55:19 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1541400226267?r=alice

保险行业中，往往需要根据往年保单来快速计算和生成当年新的保单。以车险为例，在提醒老客户续保时就需要计算指定时间段的往年保单，例如某省级公司需要定期计算特定月份内可续保保单对应的历史保单。而目前在大多数保险营运系统中，这类批量数据处理任务都是由存储过程实现的，其中存在的典型问题就...]]></description><category></category></item><item><title><![CDATA[10 行代码集算器实现写诗机器人]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84563557</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84563557</guid><author>Alice_656</author><pubDate>Tue, 27 Nov 2018 11:55:51 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1536756719594?r=alice

集算器不仅有大数据计算，还有诗和远方。最近看到不少写诗机器人的新闻，于是尝试用集算器简单地实现一个。这个实现真的很简单，简单到只有10几行代码，请看实现步骤：

 

1下载字典和诗词

从网上找一个用于分词的字典文件，里面记录着每个中文词汇的词性。我从GitHub上找了一个，...]]></description><category></category></item><item><title><![CDATA[数据计算中间件技术综述]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84563238</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84563238</guid><author>Alice_656</author><pubDate>Tue, 27 Nov 2018 11:40:45 +0800</pubDate><description><![CDATA[可阅读原文：http://c.raqsoft.com.cn/article/1537237515333?r=alice

## 传统企业大数据架构的问题



  上图是大家都很熟悉的基于 Hadoop 体系的开源大数据架构图。在这个架构中，大致可以分成三层。最下一层是数据采集，通常会采用 kafka 或者 Flume 将 web 日志通过消息队列传送到存储层或者计算层。对于数据存储，目前 Apa...]]></description><category></category></item><item><title><![CDATA[10 行代码实现手写数字识别]]></title><link>https://blog.youkuaiyun.com/Alice_656/article/details/84563082</link><guid>https://blog.youkuaiyun.com/Alice_656/article/details/84563082</guid><author>Alice_656</author><pubDate>Tue, 27 Nov 2018 11:34:08 +0800</pubDate><description><![CDATA[可直接阅读原文：http://c.raqsoft.com.cn/article/1540374496048?r=alice

识别手写的阿拉伯数字，对于人类来说十分简单，但是对于程序来说还是有些复杂的。

 



不过随着机器学习技术的普及，使用10几行代码，实现一个能够识别手写数字的程序，并不是一件难事。这是因为有太多的机器学习模型可以拿来直接用，比如tensorflow、caffe，在pyt...]]></description><category></category></item></channel></rss>