记录生活

原创 【BUG分析】clickhouse表final成功，但存在数据未合并

执行optimize table xxx final显示执行成功，但数据存在部分未合并。

原创 【性能优化】低配starRocks常驻内存优化

由于服务器的实际资源小于starRocks官方的配置，导致starRocks在无任务的情况下，常驻内存偏高，可用于查询的资源变小。实际部署的集群一般是4C8G和8C16G，be的配置不达标为了解决单次查询内存不足的问题，提升系统稳定性。放弃starRocks默认开启的通过内存换时间的优化逻辑，降低内存使用。

原创 【代码实践】starRocks 窗口函数(udf)实践

实现天粒度的同比计算。

原创 【基础知识】MPP架构和hadoop架构比对

mpp架构，就是找一群和自己能力差不多的任一起做事，每个人做的事情是一致的。hadoop架构，就是找一群能力差一些的人，但只需要他们每个人只做一部分工作。

原创 【技术预研】StarRocks官方文档浅析（4）

当前仅支持声明会话级别的自定义变量，即用户只能使用自己声明的自定义变量，且如客户端断开，那么当前会话中所有自定义变量将失效。相当于提供java中的public。

原创 【技术预研】StarRocks官方文档浅析（3）

基于starRocks官方文档，对其内容进行一定解析，方便大家理解和使用。若无特殊标注，startRocks版本是3.2。下面的章节和官方文档保持一致。

原创 【技术预研】StarRocks官方文档浅析（2）

基于starRocks官方文档，对其内容进行一定解析，方便大家理解和使用。若无特殊标注，startRocks版本是3.2。下面的章节和官方文档保持一致。

原创 【技术预研】StarRocks官方文档浅析（1）

基于starRocks官方文档，对其内容进行一定解析，方便大家理解和使用。若无特殊标注，startRocks版本是3.2。下面的章节和官方文档保持一致。

原创 【技术预研】starRocks高性价比替换hbase

hbase作为类列数据库，更准确说是列族数据库。本质上是一个文件查询系统，追求极限的写入和读取。而starRocks作为olap数据库，在保持优秀的关联计算能力的前提下，还有不错的查询效率，当然和hbase本身比还有一定差距。但对于一般场景还是可以接受的，毕竟要省掉很多的资源。与hdfs等组件解耦，降低运维压力。

原创 【技术选型】clickhouse vs starRocks

如果只能单机部署的话，clickhouse基本无敌。如果集群化，starRocks可以替换clickhouse，但支持的函数会相对少一些

原创 【技术选型】Doris vs starRocks

仅从当前能看到的数据中，相比于doris，starRocks在性能方面具备优势，且更新频率高（降低维护成本）。

原创 【技术选型】clickhouse vs starRocks

如果只能单机部署的话，clickhouse基本无敌。如果集群化，starRocks可以替换clickhouse，但支持的函数会相对少一些（clickhouse有不少自定义函数）

原创 【基础知识】大数据组件HBase简述

HBase是一个开源的、面向列（Column-Oriented）、适合存储海量非结构化数据或半结构化数据的、具备高可靠性、高性能、可灵活扩展伸缩的、支持实时数据读写的分布式存储系统。只是面向列，不是列式存储。

原创 【基础知识】大数据组件YARN简述

YARN是一个分布式的资源管理系统。YARN是Hadoop系统的核心组件，主要功能包括负责在Hadoop集群中的资源管理，负责对作业进行调度运行以及监控。

原创 【基础知识】大数据组件HDFS简述

HDFS是经典的Master和Slave架构，每一个HDFS集群包括一个NameNode和多个DataNode。NameNode管理所有文件的元数据信息，并且负责与客户端交互。DataNode负责管理存储在该节点上的文件。每一个上传到HDFS的文件都会被划分为一个或多个数据块，这些数据块根据HDFS集群的数据备份策略被分配到不同的DataNode上，位置信息交由NameNode统一管理。

原创 【基础知识】Hadoop生态系统

Hadoop是一个开源的分布式计算框架,主要用于大数据的存储和处理，即一个包含多种组件的综合分布式系统,组件相互协作完成从数据存储到计算分析的完整功能。

原创 【基础知识】大数据概述

大数据概述

原创 【clickhouse】ck远程访问另一个ck

就相当于从ck1直接请求ck2。

原创 【问题解决】解决crontab中sudo需要密码的问题

echo 'your password' | sudo -S xxxx.sh需要重点关注的是，执行命令需要增加 -S ，否则执行失败。

原创 【功能开发】shell实现获取前一天、前一周、前一月

currentDate=`date "+%Y-%m-%d %H:%M:%S"`currtTimeStamp=`date -d "$currentDate" +%s`endDate=''startDate=''case $timeType in"day" )endDate=`date "+%Y-%m-%d 00:00:00"`startDate=`date -d "$date yesterday" "+%Y-%m-%d 00:00:00"`;;"week" )endDa

原创 【问题解决】pd使用中创建表结构出现 maximum length 错误

使用PD12设计数据库时遇到的问题，总是在check model 时报 Table code maximum length . Column code maximum length.此时，通过database / edit current dbms / General / Script / Objects / MaxConstLen ,修改数值为60，如果只是表名过长的话，只需要修改table下面的MaxConstLen参考https://blog.youkuaiyun.com/iteye_21199/art

原创 【问题解决】‘ascii‘ codec can‘t encode character

export PYTHONIOENCODING=utf8解决方法如上，需要修改python的编码环境https://stackoverflow.com/questions/56104377/ascii-codec-cant-encode-character-ordinal-not-in-range-128

原创 window安装hive避坑以及版本下载

window安装hive，避坑重点是版本选择hadoop2.8.5spark2.4.7MySQL5.5hive2.1.1如果你已经从其他教程了解到上述新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入重点是版本选择hado

原创 执行cmake -DCMAKE_INSTALL_PREFIX报错

这里写自定义目录标题执行cmake -DCMAKE_INSTALL_PREFIX报错怀疑点cmake版本升级下载安装包编译与安装查看版本执行cmake -DCMAKE_INSTALL_PREFIX报错环境：centOS 7.3为安装CGAL-4.13.1.tar.xz执行 cmake -DCMAKE_INSTALL_PREFIX=/usr/local/CGAL-4.13.1 报错怀疑点cmake的版本比较低因为用yum安装的版本，安装的版本是2.8。yum install cmake

原创 【Windows】【Zip包】mysql安装

背景说明 1. 安装环境是win7系统 2. 之前有安装mysql 5.6 版本失败情况 3. 本次安装mysql 8.0.19内容简述 1. 安装步骤参考 2. 找不到VCRUNTIME140_1.dll解决方案 3. mysql卸载不干净怎么处理安装步骤参考本章节参考：压缩版安装步骤下载地址 压缩版下载地址找不到VCRUNTIME140_1.dll解决方案...

原创 基于pandas.to_sql批量导入数据到postgresql

关注点：数据库连接的创建方式测试连接数据库是否成功to_sql相关参数版本信息：Python 3.6pandas 0.24.2postgresql 11数据库连接创建不能用psycopg2.connect，需要用create_engine参考文档 engine = create_engine('postgres://' ...

原创 electron支持开机自启动（注册表写入）

参考文档：https://newsn.net/say/electron-auto-launch.html方法来源于官方API：https://electronjs.org/docs/api/app#appsetloginitemsettingssettings-macos-windows这是官方的内容app.setLoginItemSettings(settings) macOS Wi...

原创 《数据仓库工具箱》第二章笔记——Kimball维度建模技术概述

第二章笔记——Kimball维度建模技术概述本章主要讨论下述概念：本章主要是介绍维度建模的基本概念，建议简单通读，然后结合后续案例再反复咀嚼。维度建模4大决策点选择业务过程声明粒度确认维度确认事实...

转载 node.js 获取当前路径以及实现文件拷贝

nodejs取得当前执行路径https://www.cnblogs.com/itadong/p/7151308.htmlnodejs实现文件的拷贝复制https://www.cnblogs.com/coding4/p/7495968.html

原创 vue播放音频的两种方法（audio标签和audiocontext方法）

最近在做桌面端应用基于electron-vue，涉及音频播放，就简单研究一下。一种是基于audio标签，另一种是基于AudioContext方法。audio标签两种实现，第一种是直接在HTML中使用标签<audio src="../viper.mp3" controls="controls"></audio>第二种是在js文件中使用 let audio...

原创 前端解决比较字符串时，显示内容相同但返回false的情况

比较两端含有换行的文字。console.llog显示内容相同，例如：string_a：你最近不说话怎么了 为什么是不是有什么事让你不快乐string_b：你最近不说话怎么了 为什么是不是有什么事让你不快乐但是比较长度发现不一致string_a.length != string_b.length通过JSON.stringify(string_a)显示出换行符之类的东东...

原创 npm install --save-dev electron （报错error errno -4048）

入门electron，根据官网 编写第一个Electron 应用程序npm install --save-dev electron在创建的文件夹下面，执行该命令，出现报错2354 error path E:\electron\practice\your-app\node_modules\@types2355 error code EPERM2356 error errno -4048...

原创 如何用Python计算周数

import datetimedatetime.datetime.now().isocalendar()datetime.date(2014, 6, 8).isocalendar()返回结果是三元组（年号，第几周，第几天）周数是带跨年计算的方式，不是1月1日默认第一周的方式...

原创 Python连接gbase数据库

1）安装依赖库 pip install pymysql2）查询代码 import pymysql.cursors // 连接gbase数据库 connection = pymysql.connect(host='127.0.01', port=5258, user='root', password='111', db='...

原创 electron入门——安装及创建项目

由于项目需要，一只数据狗暂时转向前端。本来以为写写html5、ccs、js，没想到需要electron+vue。vue现在算是有点了解，electron还是非常懵懂，于是乎在bilibili上面看点视频，正好记录一下。**NPM:**全称是Node Package Manager，是一个NodeJS包管理和分发工具，已经成为了非官方的发布Node模块（包）的标准。入门准备：1、先安装nod...

转载 虚拟机与docker容器的差异

作者：傅飞链接：https://www.zhihu.com/question/48174633/answer/229253704来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。用个类比来极简说明一下：一、物理机是这样的二、虚拟机是这样的三、容器是这样的...

原创 JS中函数后面有没有括号的区别

最近在看 《JavaScript DOM编程艺术》，把书里面的例子照着打一遍。不过很容易漏打或者错打一些东东。遇到问题的起因：是要利用window.onload函数，保证页面加载完成后再执行后续的js脚本。但由于onload函数只能加载一个函数作为入参，所以要进行改造。代码如下：function addLoadEvent(func){ var oldonload = window.onl...

原创 【ARIMA】时间序列预测——freq参数的选择

原创 【ARIMA】Python3的时间序列训练——出现类型转换报错

model = ARIMA(stock_train, order=(2, 1, 2),freq=None)result = model.fit()报错信息：Cannot cast ufunc subtract output from dtype(‘float64’) to dtype(‘int64’) with casting rule ‘same_kind’原因是由于读取的csv数据是整形...

原创 小白解读JVM

作者：似梦似意境来源：优快云原文：https://blog.youkuaiyun.com/luomingkui1109/article/details/72820232版权声明：本文为博主原创文章，转载请附上博文链接！本文主要是基于上述文章的学习笔记，JVM（java virtual machine），提供一个与平台无关的代码运行环境，具备了跨平台的能力。 ① Java源文件—-&gt;编译器—...