- 博客(72)
- 资源 (2)
- 问答 (2)
- 收藏
- 关注
RSS订阅原创 吃透StarRocks分区、分桶
在StarRocks中，表被划分成多个Tablet，多副本场景下，每个Tablet多副本冗余存储在BE（Backend）上。对于单分区表、数据在逻辑上划分为多个桶（Bucket）,每个桶的数据称之为一个Tablet。如果设置为单分区单桶，那么无论数据量大小，都只会有一个Tablet，因为所有数据都属于同一个桶。
2024-11-05 07:15:00
876
原创 数据仓库-数仓分层建设
通过在数据仓库中创建可重用的数据模型，可以减少数据的重复处理，提高数据的处理效率。通过在数据仓库的不同层次上进行数据聚合和汇总，可以提高查询性能，尤其是在面对大量数据时。通过在数据仓库中间层（如ODS层，操作数据存储层）确保数据的一致性，可以减少数据冗余和错误。通过分层，可以容易地对数据进行维护和更新。每一层的数据都具有特定的用途和结构，这使得数据的管理和维护变得更加简单。随着业务的发展，数据量和复杂性可能会增加。分层设计可以更容易地扩展数据仓库，以适应不断变化的需求。
2024-10-13 17:11:47
1096
1
原创 数据仓库系列01-规划篇
数仓架构师需要对数仓分层、业务分类、数据域、业务过程、数据集市、主题域进行设计。当企业业务比较复杂，不同类型业务彼此间需要共享数据域，但是又希望能在模型设计和应用过程中快速定位本业务的数据时，可结合真实业务情况，规划不同的业务分类，在后续建模的维度表和明细表中，将其关联到对应的业务分类中。：数据域是一个较高层次的数据归类标准，是对企业业务过程进行抽象、提炼、组合的集合，是企业业务人员在使用数据时第一个分组入口，可以帮助企业业务人员快速的从海量的数据中快速圈定到自己的业务数据。该层级有应用表、维度表。
2023-12-30 02:32:16
512
原创 数据仓库-核心概念
数据仓库，英文名称为Data Warehouse，可简写为DW或DWH。数据仓库，是为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合。它是单个数据存储，出于分析性报告和决策支持目的而创建。为需要业务智能的企业，提供指导业务流程改进、监视时间、成本、质量及控制。
2023-09-10 09:56:53
1166
原创 python使用selenium库 ChromeDriver版本不匹配问题
【问题】Session not created:This version of ChromeDriver only supports Chrome version 96【解决】1、访问以下网址下载Chrome对应版本的Driverhttps://chromedriver.storage.googleapis.com/index.html2、将解压好的chromedriver.exe移动到python安装目录运行cmd，Windows 命令行窗口执行 where pytho
2022-03-15 09:50:50
1945
原创 Spark Streaming-NetworkWordCount
目录一、spark streaming编程步骤二、spark streaming官方示例流程研究1、NetworkWordCount2、本地运行a.设置参数：localhost 9999b.终端键入nc -lk 9999，并输入文字进行测试c.查看程序执行日志一、spark streaming编程步骤构建streamingcontext（ssc） 指定输入源...
2019-10-05 14:59:54
494
原创 linux 客户端ssh到root
1、设置root用户密码执行命令passwd设置密码2、apt-get install openssh-server3、修改sshd_config文件，找到PermitRootLogin 配置项将原先的PermitRootLogin的prohibit-password修改为yesvi /etc/ssh/sshd_configPermitRootLogin yesPermi...
2019-09-23 23:32:01
339
1
原创 后台启动kafka
sudo bin/kafka-server-start.sh -daemon config/server.properties
2019-09-13 00:42:00
418
原创 kafka 0.11.0.2 安装
1、下载kafkahttps://archive.apache.org/dist/kafka/0.11.0.2/kafka_2.11-0.11.0.2.tgz2、解压tar xvf kafka_2.11-0.11.0.2.tgz3、添加hostvim /etc/hosts添加如下host192.168.0.1 test.kafka1192.168.0.2 test...
2019-07-27 17:44:00
1011
原创 zookeeper3.5.5安装
1、下载zookeeperhttp://mirror.bit.edu.cn/apache/zookeeper/zookeeper-3.5.5/apache-zookeeper-3.5.5-bin.tar.gz2、解压zookeepertar xvfapache-zookeeper-3.5.5-bin.tar.gz3、添加hostsvim /etc/hosts192....
2019-07-27 17:03:37
3184
2
转载 Win7虚拟机无法打开内核设备:\\Global\\vmx86
原文地址：https://jingyan.baidu.c在百度知道上，多次看到知友提出：虚拟机无法打开内核设备“\\.\Global\vmx86“的问题。如：无法打开内核设备“\\.\Global\vmx86”: 系统找不到指定的文件。你想要在安装 VMware Workstation 前重启吗?未能初始化监视器设备。我们应该如何来解决这个问题呢？工具/原料 硬件：计算机 ...
2019-04-24 18:26:35
2353
原创 Jenkins安装
官网下载war包，本文用的是jenkins.war 2.138.1版本java -jar jenkins.war --httpPort=8899浏览器访问 http://host:8899，输入密码（初始密码在/root/.jenkins/secrets/initialAdminPassword）登录后安装jenkins推荐的插件 ...
2018-10-10 14:40:39
221
转载 java的异常（Exception）信息的详细记录
原文地址：http://blog.youkuaiyun.com/long95wang/article/details/8089489获取Exception的详细信息 我自己运行测试的环境：windowsXP、eclipse3.5.1、jdk1.6下面的三个方法都是获取异常的详细信息，或许的异常详细信息以字符串的形式返回，保持栈堆载的风格 方法一：public sta
2017-02-15 14:55:21
2254
转载 使用System.arraycopy()实现数组之间的复制
原文地址：http://blog.youkuaiyun.com/kesalin/article/details/566354System提供了一个静态方法arraycopy(),我们可以使用它来实现数组之间的复制。其函数原型是：public static void arraycopy(Object src, int srcPos,
2017-01-20 19:42:41
4689
转载 jedis操作详解-List
原文地址：http://www.open-open.com/lib/view/open1385173172698.html在Redis中，List类型是按照插入顺序排序的字符串链表。和数据结构中的普通链表一样，我们可以在其头部(left)和尾部(right)添加新的元素。在插入时，如果该键并不存在，Redis将为该键创建一个新的链表。与此相反，如果链表中所有的元素均被移除，那么
2017-01-20 19:30:37
1752
转载 解决谷歌浏览器中的input背景色默认是黄色
原文地址：http://www.cnblogs.com/yjhua/p/5523447.html请查看 http://www.cnblogs.com/zhaokai021/p/4625169.html input:-webkit-autofill { -webkit-box-shadow: 0 0 0px 1000px white inset !important
2016-09-19 13:57:23
3530
转载 Spring Security笔记：自定义Login/Logout Filter、AuthenticationProvider、AuthenticationToken
原文地址：http://www.cnblogs.com/yjmyzz/p/how-to-custom-filter-provider-and-token-in-spring-security3.html
2016-09-19 00:30:56
823
转载 Linux查看CPU和内存使用情况
原文地址：http://www.cnblogs.com/xd502djj/archive/2011/03/01/1968041.html在系统维护的过程中，随时可能有需要查看 CPU 使用率，并根据相应信息分析系统状况的需要。在 CentOS 中，可以通过 top 命令来查看 CPU 使用状况。运行 top 命令后，CPU 使用状态会以全屏的方式显示，并且会处在对话的模式 -- 用基于
2016-09-18 14:42:10
775
转载 linux 下 /bin /sbin 的区别
/bin,/sbin,/usr/bin,/usr/sbin区别/ : this is root directory root 用户根目录/bin : commands in this dir are all system installed user commands 系统的一些指令/sbin: commands in this di
2016-09-18 11:43:04
566
转载 在Linux下查看环境变量
原文地址：http://soft.chinabyte.com/os/169/11412169.shtml 1. 显示环境变量HOME $ echo $HOME /home/redbooks 2. 设置一个新的环境变量hello $ export HELLO="Hello!" $ echo $HELLO Hello! 3
2016-09-18 11:34:48
552
转载 Non-terminating decimal expansion; no exact representable decimal result
原文地址：http://blog.youkuaiyun.com/lopper/article/details/5314686由于需要处理精度比较高的浮点数，所以弃用double类型，改用BigDecimal类来进行数值处理。在加减乘时都没有出现问题，但是到除法运算时，提示了如下错误：大概的意思是“无法结束的除法表达式；没有精确的除结果”。我当时输入的10/3，结果应该是3.
2016-09-03 12:25:57
462
转载 mysql中You can't specify target table for update in FROM clause错误
原文地址：http://blog.youkuaiyun.com/priestmoon/article/details/8016121mysql中You can't specify target table for update in FROM clause错误的意思是说，不能先select出同一表中的某些值，再update这个表(在同一语句中)。 例如下面这个sql：delete fro
2016-08-31 16:18:45
337
原创 解决javaee中get请求中文乱码
设置tomcat配置文件1、server.xml中找到下文节点，添加红色字体部分 connectionTimeout="20000" redirectPort="8443" uriEncoding="UTF-8"/>2、如果使用maven，在pom文件中设置
2016-08-29 17:16:02
1256
1
转载 解决PKIX：unable to find valid certification path to requested target 的问题
原文地址：http://blog.youkuaiyun.com/faye0412/article/details/6883879/注意：本文出自“阿飞”的博客 ，如果要转载本文章，请与作者联系！并注明来源: http://blog.youkuaiyun.com/faye0412/article/details/6883879这两天在twitter服务
2016-08-23 16:44:58
946
转载 spring security源代码疑问
原文地址：http://www.codes51.com/itwd/1474556.html问题：spring security源代码疑问描述:项目里要使用spring security,在使用的时候偶然读到了一段代码，没看懂。就是下面这个方法，里面有个try catch。catch了UsernameNotFoundException异常，然后
2016-08-16 11:28:59
1402
转载 移动APP服务端API设计应该考虑到的问题
原文地址http://www.hutuseng.com/article/how-to-design-api2014年，移动APP的热度丝毫没有减退，并没有像桌面软件被WEB网站那样所取代，不但如此，越来越多的传统应用、网站也都开始制作自己的移动APP，也就是我们常说的IOS客户端、android客户端。这仿佛又回到了多年前的CS架构，那时候我们用VB、VC、Delphi在W
2016-07-23 17:53:36
1028
转载 ubuntu 64位 安装 ia32-libs
原文地址：http://blog.youkuaiyun.com/hackerwin7/article/details/37878007sudo apt-get install g++-multilibsudo apt-get install libncurses5:i386sudo apt-get install libc6:i386 libgcc1:i386 gcc-4.6-base:i386
2016-07-11 21:34:43
661
转载 JVM内存管理总结【分享】
原文地址：http://bbs.youkuaiyun.com/topics/310051808近期看了看Java内存泄露的一些案例，跟原来的几个哥们讨论了一下，深入研究发现JVM里面还是有不少以前不知道的细节，这里稍微剖析一下。先看一看JVM的内部结构——如图所示，JVM主要包括两个子系统和两个组件。两个子系统分别是Class loader子系统和Execution engine(执行
2016-06-21 18:24:31
409
转载 配置log4j日志动态加载（不重启服务）
原文地址：http://blog.youkuaiyun.com/lk_blog/article/details/50618471状态：测试通过，内容有效方法一:使用spring提供的配置参考文章:http://www.tuicool.com/articles/nuUVZrhttp://blog.youkuaiyun.com/javaloveiphone/article/detail
2016-06-05 02:12:53
2359
转载 打开MySQL数据库远程访问的权限
原文地址：http://www.cnblogs.com/ycsfwhh/archive/2012/08/07/2626597.html状态：测试通过，内容有效在我们使用mysql数据库时，有时我们的程序与数据库不在同一机器上，这时我们需要远程访问数据库。缺省状态下，mysql的用户没有远程访问的权限。下面介绍两种方法，解决这一问题。1、改表法 可能是你的帐号不允许从
2016-06-05 02:06:20
386
转载 centos7下使用yum安装mysql
原文地址：http://www.mamicode.com/info-detail-503994.html状态：通过测试，内容有效CentOS7的yum源中默认好像是没有mysql的。为了解决这个问题，我们要先下载mysql的repo源。1. 下载mysql的repo源$ wget http://repo.mysql.com/mysql-community-relea
2016-06-05 02:03:25
523
原创 H5中video标签
1、添加webkit-playsinline属性，去除safari浏览器播放视频时的默认模式（全屏模式） Your browser does not support the video tag.
2016-05-13 16:14:20
2449
转载 JavaScript中清空数组的三种方式
原文地址：http://www.cnblogs.com/snandy/archive/2011/04/04/2005156.html方式1，splice123var ary = [1,2,3,4];ary.splice(0,ary.length);console.log(ary); //
2016-05-04 11:31:29
459
转载 Java 8十个lambda表达式案例
原文地址：http://www.jdon.com/idea/java/10-example-of-lambda-expressions-in-java8.html1. 实现Runnable线程案例使用() -> {} 替代匿名类：//Before Java 8:new Thread(new Runnable() { @Override public v
2016-04-29 17:04:13
600
vue2开发微信公众号网页登录后重定向的问题
2018-01-31
ajax访问servlet打印xmlhttp.status状态总是错误
2013-12-02
TA创建的收藏夹 TA关注的收藏夹
TA关注的人