weixin_45568892的博客

clickhouse工作笔记

SpringBoot

ClickHouse 常用函数（工作笔记待补充）1 时间函数dateDiff计算时间差：select dateDiff('day',parseDateTimeBestEffort(toString(20210601)),today() ) as day_diff;day_diff|--------| 30|parseDateTimeBestEffortselect parseDateTimeBestEffort(toString(20210601));parseDateT

Java常用方法汇总判断List集合中是否存在相同元素//校验是否存在相同资产List<String> assetNoList = Lists.newArrayList();beforeMergeAssetList.forEach( asset->{ String assetNo = asset.getAssetInfo().getAssetNo(); if (StringUtils.isBlank(assetNo)){throw new JeecgBootExce

MybatisPlus问题解决——java.lang.AssertionError1 报错信息2 报错原因MybatisPlus实现分页查询使用接口IPage来接收返回数据，但是请求对象没有继承Page类。 /* * 分页查询列表 * */ IPage<AssetSplitVO> getAssetSplitPage(AssetSplitReq req);@Datapublic class AssetSplitReq extends Page { /**拆分单号

Web server failed to start. Port 9080 was already in use.问题解决Ctrl+R，打开CMD运行界面。1 输入指令netstat -ano 查看启动的进程ID。2 输入指令taskkill /F /pid 进程号，杀掉进程。C:\Users\MyPC>netstat -ano活动连接 协议 本地地址 外部地址 状态 PID... TCP 192.168.1.139:9

Impala+kudu（工作笔记）Impala是什么？Impala是用于处理存储在Hadoop集群中的大量数据的MPP（大规模并行处理）SQL查询引擎。 它是一个用C ++和Java编写的开源软件。 与其他Hadoop的SQL引擎相比，它提供了高性能和低延迟。换句话说，Impala是性能最高的SQL引擎（提供类似RDBMS的体验），它提供了访问存储在Hadoop分布式文件系统中的数据的最快方法。Impala是建立在Hadoop生态圈的交互式SQL解析引擎，Impala的SQL语法与Hive高度兼容，

项目相关-Linux指令大全（待补充）1 项目jar包部署（linux）linux服务器重启jar包1.1 先kill进程1.2 执行jar包定时任务xxljob启动admin:nohup java -Xms2048m -Xmx2048m -Duser.timezone=GMT+8 -Dfile.encoding=utf-8 -jar /data/project/ad-platform/3399-ad-xxl-job/xxl-job-admin-2.2.1-SNAPSHOT.jar >/

IDEA显示多项目启动的service界面idea设置1 调出service界面2 选择application并启动多个项目3 管理多个项目

SQL常见知识点（工作笔记）1 函数UNION ALLUNION ALL 字段要对应上，将结果上下拼接。列数不变，行数相加argMinargMin Syntax: argMin(arg, val)Calculates the arg value for a minimal val value. If there are several different values of arg for minimal values of val, the first of these values en

常用产品数据定义1 名词解释ROI投资回报率（ROI）是指通过投资而应返回的价值，即企业从一项投资活动中得到的经济回报。LTVLTV(life time value)生命周期总价值，意为客户终生价值，是公司从用户所有的互动中所得到的全部经济收益的总和。通常被应用于市场营销领域，用于衡量企业客户对企业所产生的价值，被定为企业是否能够取得高利润的重要参考指标。ARPUARPU（average revenue per user ）,ARPU=总收入/用户数;是指在一段时间内从每位用户获得收入。每用户

数仓理论简述1 表的分类1.1 实体表实体表，一般是指一个现实存在的业务对象，比如用户，商品，商家，销售员等等。1.2 维度表维度表，一般是指对应一些业务状态，编号的解释表。也可以称之为码表。比如地区表，订单状态，支付方式，审批状态，商品分类等等。1.3 事务型事实表事务型事实表，一般指随着业务发生不断产生的数据。特点是一旦发生不会再变化。一般比如，交易流水，操作日志，出库入库记录等...

大数据中遇到的问题简述（待续）1、数据量大怎么分析？分析后怎么做传输？怎么做到实时？数据量大可在hadoop平台分析。分析的结果数据可用sqoop迁移数据工具导出。常用实时处理框架有sparkStreaming、storm、flink等。2、数据来源？python爬虫爬取网页。单机多线程、分布式多线程。定期导入到离线系统。3、如何分析数据？数据量小，一个复杂的sql即可搞定，web服务...

大数据常见英文词汇（三）之常见框架和工具（待续）Hadoop（分布式系统基础架构）HDFS（Hadoop分布式文件系统）Mapreduce（分布式计算框架）HBASE（分布式列存数据库）Zookeeper（分布式协作服务）HIVE（数据仓库）Pig(ad-hoc脚本 数据分析工具）Sqoop(数据ETL/同步工具）Flume（日志收集工具）...

大数据常见英文词汇（二）（续）以下单词是本人在学习大数据过程中遇到的生疏单词词汇。单词均在百度翻译中得到的释义，可能有失偏颇，望读者指正！原文译文ACK确认、命令正确应答Advanced Message Queuing Protocol高级消息队列协议Agility敏捷性AutoCommit自动提交Avro数据序列化系统Azkaban...

数据库之OLAP和OLTP简介1 数据处理分类数据库数据处理可以分成两大类：联机事务处理 OLTP（On-Line Transaction Processing）联机分析处理 OLAP（On-Line Analytical Processing）2 数据处理目标​ 业务类系统主要供基层人员使用，进行一线业务操作，通常被称为OLTP。数据分析的目标是探索并挖掘数据价值，作为企业高层进...

大数据常见英文词汇（待更新）words(单词)resilient 有弹性的parallelize 并行化procedure 过程process 进程、处理program 程序schedule 日程安排scheduler 调度程序schema 架构segment 段operation 算子convergence 汇聚visualize 可视化plugin ...

乘风破浪会有时，直挂云帆济沧海