weixin_45751589的博客

转载 maven jar包依赖冲突解决

https://blog.youkuaiyun.com/chetui2456/article/details/100634126

转载 解决非controller使用@Autowired注解注入为null问题

https://blog.youkuaiyun.com/qiulingxin/article/details/78068314?utm_source=blogxgwz8

转载 Linux CentOS7使用FastDFS搭建文件管理系统（详细过程）

https://blog.youkuaiyun.com/hrlee520/article/details/102858222

原创 Hadoop与hbase 设置开机自启(伪分布式）

创建hadoop-service启动脚本：#!/bin/bash # chkconfig: 2345 90 90# description: hadoop service# It is used to serve HTML files and CGI. # processname: hadoop # Source function library. . /etc/profile# See how we were called. case "$1" in start) echo "S

原创 hive启动一系列报错问题解决

hive启动MetaStore报错解决方案：https://blog.youkuaiyun.com/lz6363/article/details/85019891FAILED: SemanticException org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeExcepti：https://blog.youkuaiyun.com/qq_35078688/article/details/86137440hive本地模式开启不成功：

原创 Hive设置连接用户名和密码

当hive客户端搭建起来之后，应用项目远程连接hive需要设置用户名和密码；由于hive默认的用户名和密码都是空的，所以需要我们设置用户名和密码；我们采用自定义方式来设置hive的用户名和密码，步骤如下：1.首先，需要先用java开发工具打包一个jar工具类，用于解析用户名和密码，可直接下载这个jar工具包或者可以自行通过编写代码进行打jar包，代码如下：package org.apache.hadoop.hive.contrib.auth; import javax.secu

原创 hbase创建表提示表已经存在而list显示无该表的处理

用hbase shell 创建表clickcount 提示表已经存在 但是list查不到.导致这种错误的操作： 在删除一个表之前，disable的时候 不小心断开或其他因素 导致disable没有成功，然后就直接drop掉了这张表，虽然表被删除掉了，但是zookeeper依然存在该表的信息，故而造成错误，list的时候也找不到。解决办法： 进入zooke...

原创 DataNode启动不成功——java.net.BindException: Port in use: localhost:0 Caused by: java.net.BindException: C

现象：主节点的namenode、secondarynamenode启动成功，但是slave节点datenode启动不成功。　查看slave的输出日志，显示如下：（我的这个日志在hadoop中的logs里，具体看自己的）2016-07-28 23:12:03,301 INFO org.apache.hadoop.http.HttpServer2: Added filter static_us...

原创 冒泡排序，二分查找，快排，归并

冒泡排序：原理：比较两个相邻的元素，将值大的元素交换到右边代码实现：public class BubbleSort { public static void bubbleSort(int[] data) { System.out.println("开始排序|"); int arrayLength = data.length; for (int i = 0; i <...

原创 ODS层加载数据脚本

导入数据：load data inpath '/origin_data/gmall/log/topic_event/2019-12-10' into table gmall.ods_event_log partition(dt='2019-12-10');hive中建表语句：创建输入数据是lzo输出是text，支持json解析的分区表drop table if exists ods...

原创 数仓分层概念

原创 项目经验之Kafka压力测试以及kafka机器数量计算

Kafka压测用Kafka官方自带的脚本，对Kafka进行压测。Kafka压测时，可以查看到哪个地方出现了瓶颈（CPU，内存，网络IO）。一般都是网络IO达到瓶颈。kafka-consumer-perf-test.shkafka-producer-perf-test.sh2）Kafka Producer压力测试（1）在/opt/module/kafka/bin目录下面有这两个文...

原创 Kafka Manager安装

Kafka Manager是yahoo的一个Kafka监控管理项目。1）下载地址https://github.com/yahoo/kafka-manager下载之后编译源码，编译完成后，拷贝出：kafka-manager-1.3.3.22.zip2）拷贝kafka-manager-1.3.3.22.zip到hadoop102的/opt/module目录[atguigu@had...

原创 Zookeeper的选举机制原理及常用命令

三个核心选举原则：（1）Zookeeper集群中只有超过半数以上的服务器启动，集群才能正常工作；（2）在集群正常工作之前，myid小的服务器给myid大的服务器投票，直到集群正常工作，选出Leader；（3）选出Leader之后，之前的服务器状态由Looking改变为Following，以后的服务器都是Follower。下面以一个简单的例子来说明整个选举的过程：假设有五台服务器...

原创 hadoop中使用lzo的压缩及安装

在hadoop中使用lzo的压缩算法可以减小数据的大小和数据的磁盘读写时间，不仅如此，lzo是基于block分块的，这样他就允许数据被分解成chunk，并行的被hadoop处理。这样的特点，就可以让lzo在hadoop上成为一种非常好用的压缩格式。lzo本身不是splitable的，所以当数据为text格式时，用lzo压缩出来的数据当做job的输入是一个文件作为一个map。但是sequence...

原创 SparkRDD中的宽依赖和窄依赖

宽依赖与窄依赖https://blog.youkuaiyun.com/weixin_39043567/article/details/89520896

原创 Spark算子区别

1、map和flatMap的区别map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象操作2：最后将所有对象合并为一个对象将原数据的每个元素传给函数func进行格式化，返回一个新的分布式数据集跟map(func)类似，但...

原创 大数据初步项目（统计点击ip次数）

一：1：首先把工程打成jar包点工程package打成jar包，把jar包放入linux中，Alt+p拖入.2在虚拟机中运行jar包，我是在hdp-3中运行的.命令：java –jar jar包名字运行结果如下图测试是否运行成功：hdp-3：8822二：...