- 博客(84)
- 收藏
- 关注
RSS订阅原创 centos linux 下安装mysql 8.0
由于mysql安装过程中，会通过mysql用户在/tmp目录下新建tmp_db文件，所以请给/tmp较大的权限。(3)删除mariadb。
2022-08-07 22:09:27
347
原创 flume 简介
Flume是Cloudera提供的一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。Flume基于流式架构，灵活简单。正在上传…重新上传取消Flume组成架构如下图所示。正在上传…重新上传取消Agent是一个JVM进程，它以事件的形式将数据从源头送至目的。Agent主要有3个部分组成，Source、Channel、Sink。Source是负责接收数据到Flume Agent的组件。Source组件可以处理各种类型、各种格式的日志数据，包括avro、thrift、exec、jms、spoolin
2022-07-13 16:33:57
364
原创 zookeeper中配置参数结实
Zookeeper中的配置文件zoo.cfg中参数含义解读如下：1）tickTime =2000：通信心跳数，Zookeeper服务器与客户端心跳时间，单位毫秒Zookeeper使用的基本时间，服务器之间或客户端与服务器之间维持心跳的时间间隔，也就是每个tickTime时间就会发送一个心跳，时间单位为毫秒。它用于心跳机制，并且设置最小的session超时时间为两倍心跳时间。(session的最小超时时间是2*tickTime)2）initLimit =10：LF初始通信时限集群中的Follower跟随者服务
2022-07-13 15:43:44
2770
原创 Hadoop数据压缩
1）压缩的好处和坏处压缩的优点：以减少磁盘IO、减少磁盘存储空间。压缩的缺点：增加CPU开销。2）压缩原则（1）运算密集型的Job，少用压缩（2）IO密集型的Job，多用压缩1）压缩算法对比介绍压缩格式Hadoop自带？算法文件扩展名是否可切片换成压缩格式后，原来的程序是否需要修改DEFLATE是，直接使用DEFLATE.deflate否和文本处理一样，不需要修改Gzip是，直接使用DEFLATE.gz否和文本处理一样，不需要修改bzip2是，直接使用bzip2.bz2是和文本处理一样，不需要修改LZO否，
2022-07-13 14:35:53
374
原创 HDFS常用命令
1.创建文件夹2.-moveFromLocal:从本地剪切到hdfs,会删除本地文件3.-copyFromLocal：从本地文件系统中拷贝文件到HDFS路径去,-put:等同于copyFromLocal，4.-appendToFile：追加一个文件到已经存在的文件末尾查看追加的内容......
2022-07-09 09:45:14
518
原创 HADOOP 简介
1)Hadoop是一个有Apache的分布式系统框架,主要解决海量的数据的存储，海量的数据的分析计算1) 高可靠性:HDFS会维护多个数据副本,所以某个计算元素或存储出现故障,也不会丢数据2)高扩展性:在集群间分配 任务数据,可方便的扩展数以千机的节点3)高效性:HADOOP 并行工作,加快任务处理速度4)高容错性:能够自动将失败的任务重新分配;Hadoop distributed FIle System,简称 HDFS,是一个分布式文件系统;1) Namenode(nn):2)DataNode(dn):3
2022-07-07 22:58:12
968
原创 HADOOP集群初始配置准备
完全分布式运行模式（开发重点）分析： 1）准备3台客户机（关闭防火墙、静态IP、主机名称） 2）安装JDK 3）配置环境变量 4）安装Hadoop 5）配置环境变量6）配置集群7）单点启动 8）配置ssh 9）群起并测试集群1.编写集群分发脚本xsync,1）scp（secure copy）安全拷贝 （1）scp定义scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2
2022-07-02 18:09:03
642
原创 ssh 免密登录
1.免密登录原理: (1) 生成公钥和私钥[zjx@hadoop102 .ssh]$ pwd/home/zjx/.sshssh-keygen -t rsa连敲三个回车 ,然后回生成 一个公钥和私钥zjx@hadoop102 .ssh]$ ll总用量 12-rw-------. 1 zjx zjx 1675 7月 2 17:47 id_rsa-rw-r--r--. 1 zjx zjx 395 7月 2 17:47 id_rsa.pub-rw-r--r--. 1 zjx zjx 55
2022-07-02 18:05:27
451
原创 hive 拉链表实现
1.dim层 ddl:CREATE EXTERNAL TABLE dim_user_zip( `id` STRING COMMENT '用户id', `login_name` STRING COMMENT '用户名称', `nick_name` STRING COMMENT '用户昵称', `name` STRING COMMENT '用户姓名', `phone_num` STRING COMMENT '手机
2022-04-20 20:58:43
1876
原创 HIVE struct 结构字段查询时候的小bug
创建了张hive表,有个字段是 struct 类型,然后用这个字段作为过滤条件,结果没生效2.用explain 分析结果没有 filter Operator;3.解决:set hive.cbo.enable=false;或者改过滤条件,用结构体中的一个key作为过滤条件;...
2022-01-18 23:22:02
1253
原创 hive常用几种优化策略
hive优化的几种方式;1.fetch抓取 意思是有的hql语句可以不使用mapreduce计算, 例如 select * from table1;这种情况下,hive直接读取table对应存储目录下的文件,然后输出; 如下配置可以开启,<property> <name>hive.fetch.task.conversion</name> <value>more</value> <descri...
2020-12-12 16:14:28
716
原创 mysql insert or update 语法
insert into table_namevalues(xx,xx,xx,xx,xxx)on duplicate keyupdate sum = sum +50;如果没有就insert,如果有就update
2020-11-02 15:01:15
2661
原创 shell中单引号和双引号的却别
脚本#!/bin/bashdo_date=$1echo '$do_date'echo "$do_date"echo "'$do_date'"echo '"$do_date"'echo `date`结果:$do_date2020-06-15'2020-06-15'"$do_date"2020年 10月 11日 星期日 14:08:11 CST总结：（1）单引号不取变量值（2）双引号取变量值（3）反引号`，执行引号中命令（4）双引号内部嵌套单引号，取出.
2020-10-11 14:09:58
168
1
原创 org.apache.hadoop.hive.ql.metadata.HiveException原因
当在一个session中启动spark后，又开启了一个session，会报上面的错误，因为spark默认的元数据存储在derby，derby是单session的。
2020-10-11 10:57:36
6414
2
原创 HIVE
<!-- 指定存储元数据要连接的地址 --><!-- <property> <name>hive.metastore.uris</name> <value>thrift://hadoop102:9083</value> </property>-->如果指定了hive.metastore.uris地址,并且同时指定jdbc直接连接, 则会优先走m...
2020-10-10 11:55:58
123
原创 用代码打印都等腰三角形(SCALA)
for( i <- 1 to 9; j <- 1 to i ){ print(s"$j * $i = ${i * j} \t") if( i == j ) println() } // * // *** // ***** for( i <- 1 to 9 ) println(" " * (9 - i) + "*" * (2 * i - 1) ) for{ i .
2020-09-13 16:49:16
1379
原创 如何查看hive表是列存储还是行存储；
行存储有两种,TextFile,SEQUENCEFILE;列存储有 ORC和PARQUET;desc formatted table_name;查看表属性,发现不能显示存储方式;最后想到用 "show create table table_name",这种方式,可以查看建表时候指定的那种方式
2020-08-21 17:11:12
2740
原创 linux 前台启动的方式导致需要打开多个shell窗口，可以使用nohup方式后台方式启动
nohup: 放在命令开头，表示不挂起,也就是关闭终端进程也继续保持运行状态2>&1 : 表示将错误重定向到标准输出上&: 放在命令结尾,表示后台运行一般会组合使用: nohup [xxx命令操作]> file 2>&1 & ， 表示将xxx命令运行的结果输出到file中，并保持命令启动的进程在后台运行。nohup xxx>log.txt 2>&1 &...
2020-08-17 18:55:15
539
原创 maven删除lastUpdate
很容易因为各种原因(网速慢、断网)导致jar包下载不下来，出现很多.lastUpdated文件。这些文件一个一个删除太麻烦。下载软件everything,搜索.lastupdated,然后全部删除,效率极高
2020-08-07 11:48:58
667
1
原创 1093 - You can‘t specify target table ‘person‘ for update in FROM clause问题解决
如图person表中,要删除重复邮箱的数据,出现问题的sql:DELETE FROM person WHERE id IN ( SELECT p1.id id FROM person p1, person p2 WHERE p1.id > p2.id AND p1.Email = p2.Email ) mysql中不支持对查询修改，即对查询结果进行修改解决方法;将查询结果进行临时表转化即可：DELETE FROM
2020-08-01 14:54:07
522
原创 同步,异步,阻塞,非阻塞的说明(搬运 韩顺平老师的笔记)
阻塞和非阻塞指的是执行一个操作是等操作结束再返回，还是马上返回。比如餐馆的服务员为用户点菜，当有用户点完菜后，服务员将菜单给后台厨师，此时有两种方式：第一种：就在出菜窗口等待，直到厨师炒完菜后将菜送到窗口，然后服务员再将菜送到用户手中； 第二种：等一会再到窗口来问厨师，某个菜好了没？如果没有先处理其他事情，等会再去问一次；第一种就是阻塞方式，第二种则是非阻塞的。 同步和异步又是另...
2019-12-23 14:39:43
183
原创 java,NIO,UDP协议网络通信DEMO
@Test public void send() throws IOException { DatagramChannel dc = DatagramChannel.open(); //设置非阻塞 dc.configureBlocking(false); Scanner scanner = new Scann...
2019-12-23 14:21:06
156
原创 java,NIO非阻塞式网络通信DEMO.
@Test public void client() throws IOException { SocketChannel sChannel = SocketChannel.open(new InetSocketAddress("127.0.0.1", 9898)); //切换非阻塞模式 sChannel.configureB...
2019-12-23 11:51:51
156
原创 NIO的网络通信demo
/** * 客户端接收服务端的反馈 */public class TestBlockingNio2 { /** * 客户端 */ @Test public void client() throws IOException { SocketChannel sChannel = SocketChannel.open(new In...
2019-12-21 11:21:16
207
原创 java8,LocalDateTime demo笔记
/** * 1.localdate * 2.localtime * 3.localdatetime; * 用法都一样 */ @Test public void test1(){ LocalDateTime ldt = LocalDateTime.now(); System.out.println(...
2019-12-11 09:31:39
108
原创 java8,stream笔记2
List<Employee> emps = Arrays.asList( new Employee(102, "李四", 79, 6666.66, Employee.Status.BUSY), new Employee(101, "张三", 18, 9999.99, Employee.Status.FREE), ...
2019-12-09 18:36:54
86
原创 java8,Stream的api常用操作
// 演示 流的终止操作 List<Employee> emps = Arrays.asList( new Employee(102, "李四", 79, 6666.66, Employee.Status.BUSY), new Employee(101, "张三", 18, 9999.99, Employee.Status.FR...
2019-12-09 10:19:50
113
原创 java8四大内置函数式接口;
/* * Java8 内置的四大核心函数式接口 * * Consumer<T> : 消费型接口 * void accept(T t); * * Supplier<T> : 供给型接口 * T get(); * * Function<T, R> : 函数型接口 * R apply(T t); * ...
2019-12-06 15:58:37
101
原创 希尔排序,逐步演示
// int[] arr = {8, 9, 1, 7, 2, 3, 5, 4, 6, 0}; //希尔排序的第一轮排序 //因为第一轮排序,对半分,分成五组 int temp = 0; for (int i = 5; i < arr.length; i++) { //因为五组, 从小到...
2019-12-05 14:53:44
221
原创 插入排序demo,并且测试效率
public static void main(String[] args) {// int[] arr = {101, 34, 119, 1};//////// insertSort(arr);//////// System.out.println(Arrays.toString(arr)); int[] arr = ...
2019-12-05 10:01:35
112
原创 冒泡排序代码 以及优化,并且测试冒泡排序的时间,笔记
public class BubbleSort { public static void main(String[] args) { int[] arr = new int[80000]; for (int i = 0; i < 80000; i++) { arr[i] = (int) (Math.random() * 8...
2019-12-03 11:26:27
411
原创 算法的时间复杂度(笔记)
1.度量一个程序(算法)执行时间的两种方法; 1.1 事后统计的方法 这种方法可行,但是有两个问题:一室要想对设计的算法的运行性能进行评测,需要实际运行该程序,二是所得时间的统计依赖于计算机的硬件,软件等环境因素,这种方式,要在同一台计算机的相同状态下运行,才能比较哪个算法更快;1.2 事前估算的方法 通过分析算法的时间复杂度来判断哪个更优;...
2019-12-03 10:15:36
305
原创 根据ASCII 判断一个字符是否是数字
// char c = expression.charAt(5); if (c < 48 || c > 57) { //数字对应的是48-57之间 return "这是一个非数字"; }
2019-10-25 18:16:36
3032
1
原创 java代码实现一个简单的逆波兰计算器,逆波兰表达式
public class PolandNotation { public static void main(String[] args) { //4*5-8+60+8/2 String suffixExpression = "4,5,*,8,-,60,+,8,2,/,+"; List<String> listString = ...
2019-10-22 16:14:03
303
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人