- 博客(106)
- 收藏
- 关注
RSS订阅原创 Java中使用Lombok
简介Lombok是一种Java的实用工具,可以帮助开发人员消除Java的冗长,尤其是对于简单的Java对象(POJO),它通过注释实现这一目的;一个标准的Java bean 一般具有若干个属性,每个属性具有getter()和setter方法,Lombok中也用到了注解,但是它并没有用到反射,而是通过一些奇技能淫巧,在代码编译时期动态将注解替换成具体的代码,所以JVM实际运行的代码,和我们手动编写的包含了各种工具方法的类相同使用使用前提这里我是在idea中使用的,首先我们来安装插件File—>
2020-09-13 16:39:46
808
原创 IDEA中出现Maven的循环依赖 aAnnotation processing is not supported for module cycles
错误Error:java: Annotation processing is not supported for module cycles. Please ensure that all modules from cycle [entity,service] are excluded from annotation processing解决办法如果你的是多个模块点击后它会让你选择单个项目还是多个项目,根据自己的需求选择就好选择后如果检测出来了就会弹出报红的项目,如果没有的话则检测整个项目再试
2020-09-09 09:46:35
1939
原创 Kibana的数据可视化
实现先分别启动了es和Kibana的服务,然后通过logstash将数据表添加到了索引sql文件/* Navicat Premium Data Transfer Source Server : seckill Source Server Type : MySQL Source Server Version : 50528 Source Host : localhost:3306 Source Schema : seckill
2020-08-25 08:38:25
871
1
原创 Windows开发hadoop本地模式下 出现[(null) entry in command string: null chmod 0700]
错误解决办法我这边的原因是没有配置环境变量配置环境变量这两个文件的下载地址在:https://github.com/SweetInk/hadoop-common-bin配置好之后再弄就可以了如果还是不行可以将hadoop.dll和winutils.exe放入到C:\Windows\System32下再设置一下文件夹的权限创建C:\tmp\hive在$HADOOP_HOME/bin$执行winutils.exe chmod -R 777 C:\tmp\hive...
2020-08-25 08:36:39
651
原创 scala中的/:和:\的使用
package com.jbitimport scala.collection.mutableobject Test { def main(args: Array[String]): Unit = { val a = mutable.LinkedList(1,2,3,4) /** * 5-1的结果(4) * -2的结果(2) * -3的结果(-1) * -4的结果等于最终值(-5) */ val b = (5 /: a
2020-08-22 08:16:49
5429
原创 Spark-echarts数据可视化
简介教程:https://echarts.apache.org/zh/tutorial.html#5%20%E5%88%86%E9%92%9F%E4%B8%8A%E6%89%8B%20ECharts代码js的提取文件链接：https://pan.baidu.com/s/1JbmCR5KiU9PdOwJ6_E0bew提取码：ubpi前端<!DOCTYPE html><html> <head> <meta charset="utf-8">
2020-08-19 14:37:47
4494
1
原创 Spark SQL的基本操作
简介Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使用这些额外的信息来执行额外的优化。与Spark SQL交互的方法有多种，包括SQL和Dataset API。计算结果时，将使用相同的执行引擎，而与要用来表达计算的API /语言无关。这种统一意味着开发人员可以轻松地在不同的API之间来回切换，从而提供最自然的方式来表达给定的转换。Spark S
2020-08-16 15:39:49
816
原创 Spark之RDD常用方法
简介RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，这极大地提升了查询速度。RDD的属性（1）一组分片（Partition），即数据集的基本组成单位。对于RDD来说，每个分片都会被一个计算任务处理，并决定并行计算的粒度。用户可以在
2020-08-09 08:17:10
978
原创 Spark的初步入门(基本操作)
简介 Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架，Spark，拥有Hadoop MapReduce所具有的优点；但不同于MapReduce的是——Job中间输出结果可以保存在内存中，从而不再需要读写HDFS，因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。 &nb
2020-08-07 08:35:42
913
转载 客户端注册eureka服务失败registration failed Cannot execute request on any known server
错误情景SpringBoot 2.0.3.RELEASESpringCloud Finchley.RELEASE启动 eureka 客户端，报如下错误：2019-02-01 11:36:56.933 INFO 388404 --- [ main] com.netflix.discovery.DiscoveryClient : Application version is -1: true2019-02-01 11:36:56.933 INFO 388404 --- [
2020-07-27 12:30:09
1451
原创 IDEA中使用Scala的安装入门
简介Scala的安装包官网:https://www.scala-lang.org/download/个人链接：https://pan.baidu.com/s/1dCUvNnOUr9FxtUWnCI8M_w提取码：l8qz记得解压成文件使用前请安装JDK1.5版本以上先安装插件如果搜索不到的可以参考:https://blog.youkuaiyun.com/qq_43222167/article/details/107579920创建第一个项目我这里是新建了一个父模块,所有的scala都放到这个模
2020-07-25 17:25:47
634
原创 Hadoop的集群
简介环境个人这里是三台虚拟机,ip分别为192.168.1.100192.168.1.102192.168.1.103并且JDK都已经安装完毕,没有安装JDK的可以参考:https://blog.youkuaiyun.com/qq_43222167/article/details/107078378在这里我将192.168.1.100这台虚拟机当作管理者,也就是NameNode,事先已经装好了hadoop,还没有装hadoop的可以参考:https://blog.youkuaiyun.com/qq_4322216
2020-07-25 17:24:47
185
原创 Hadoop之HBase的安装使用
简介下载安装我这里个人的链接：https://pan.baidu.com/s/1t9N5jnqYqQ-eGDyHag6gkA提取码：98hj解压tar -zxvf hbase-1.2.0-cdh5.15.1.tar.gz
2020-07-23 14:44:35
804
1
原创 Hadoop之Hive的安装使用
简介hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制。hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行。Hive的优点是学习成本低，可以通过类似SQL语句实现快速MapReduce统计，使MapReduce变得更加简单，而不必开发专门的MapReduce应用程序。hive是十分适合数据仓库的统计分析和Windows注册表文件来自:
2020-07-22 08:56:14
654
转载 Hadoop Hive介绍
Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为MapReduce任务进行运行。 其优点是学习成本低，可以通过类SQL语句快速实现简单的MapReduce统计，不必开发专门的MapReduce应用，十分适合数据仓库的统计分析。相对于用java代码编写mapreduce来说，Hive的优势明显：快速开发，人员成本低，可扩展性（自由扩展集群规模），延展性（支持自定义函数）。Hive定义Hive是建立在 Hadoop 上
2020-07-20 15:45:32
1178
原创 Centos7下安装MySQL5.7
下载安装yum源wget http://dev.mysql.com/get/mysql57-community-release-el7-7.noarch.rpm安装yum库yum localinstall -y mysql57-community-release-el7-7.noarch.rpm安装MySQLyum install -y mysql-community-server启动MySQL服务systemctl start mysqld.service修改密码注意修改密码前需
2020-07-20 11:15:29
155
原创 Java实体对象为null时set方法空指针异常
解决办法将对象创建一个对象,也就是new一下即可原因因为对象是空的;你看着这个对象是有的,但是它在内存中系统没有给它分配对象;就比如你有一个杯子,然后你想往里面倒水;但是现在这个杯子都不存在;那你怎么倒水？,所以就为null了;这也是为什么要new一个对象的原因...
2020-07-20 11:03:55
3604
1
原创 CentOS ping www.baidu.com 报错 name or service not know
1.添加dns服务器编辑resolv.conf文件vim /etc/resolv.confnameserver 8.8.8.8nameserver 8.8.4.4保存退出然后重启服务器;service network restart再ping外网就可以了或者是你的网络配置文件配置有误vim /etc/sysconfig/network-scripts/ifcfg-ens33可能文件名有所不同,一般是第一个将ONBOOT改成yes即可保存退出然后重启服务器;service
2020-07-20 10:58:43
300
原创 Mapreduce的使用
生成所有的key依赖<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId> <artifactId>log4j-core</artifactId> <version>2.8.2</version> </depen
2020-07-20 10:48:48
228
原创 Hadoop之YARN的安装使用
简介YARN(Yet Another Resource Negotiator):通用的资源管理系统,提交任务到YARN进行统一的资源管理及调度master: resource management：ResourceManager (RM)job scheduling/monitoring：per-application ApplicationMaster (AM)slave: NodeManager (NM)RM：管理资源NM：执行运算的主体AM：运行的程序2 为什么用YARN集群资源
2020-07-20 10:42:33
1394
原创 Mybatis插入时获得它的自增主键id
<!--增加--> <insert id="insertStockStorage" useGeneratedKeys="true" keyProperty="id"> <!--返回增加后的id--> <selectKey resultType="java.lang.Long" order="AFTER" keyProperty="id"> select LAST_INSERT_ID()
2020-07-12 21:21:49
280
原创 在Java中操作HDFS
导入你Hadoop相应的jar包可以在这里查看:https://repository.cloudera.com/artifactory/cloudera-repos/根据你Hadoop的依赖一步一步寻找,例如我这里Hadoop就是org目录下的apache…,一步一步找到即可<dependencies> <dependency> <groupId>org.apache.logging.log4j</groupId>
2020-07-12 14:56:12
261
原创 Maven中dependencyManagement作用说明
原因当maven项目非常大,也就是模块非常多时,管理依赖关系是非常非常重要的,很多时候依赖包的冲突可以让你怀疑人生,并且难已解决,所以就用到了我们的dependencyManagement使用父项目<dependencyManagement> <dependencies> <dependency> <groupId>org.mybatis.spring.boot</group
2020-07-12 14:47:28
182
原创 Error starting ApplicationContext. To display the auto-configuration report re-run your application
2020-07-10 08:19:15.142 ERROR 14532 --- [cat-startStop-1] org.apache.catalina.core.ContainerBase : A child container failed during startjava.util.concurrent.ExecutionException: org.apache.catalina.LifecycleException: Failed to start component [Standard
2020-07-12 14:46:41
181
原创 Hadoop之HDFS常用命令
简介使用进入到hadoop的bin目录下面查看命令hadoop fs查看文件./hadoop fs -ls /创建目录./hadoop fs -mkdir -p /d1从本地剪切粘贴到HDFS./hadoop fs -moveFromLocal /t1.txt /d1拷贝到HDFS./hadoop fs -copyFromLocal ~/t1.txt /d1查看文件是否过来了./hadoop fs -ls /d1显示文件内容./hadoop fs -cat /d1/t1.t
2020-07-09 08:29:23
510
原创 Centos7中安装SSH免密登陆
原因对于某些服务启动的时候频繁的输入密码太过于繁琐安装步骤systemctl status sshd (查看是否有ssh)ssh-keygen -t rsa (生成私钥和公钥)一直回车即可先使用 cd ~ 命令到达用户目录下然后使用 cd .ssh 进入到生成了私钥和公钥的地方可以看到 ssh-keygen -t rsa 命令生成的私钥和公钥再使用 cat id_rsa.pub >> authorized_keys 命令复制文件到authorized_keys中
2020-07-07 19:30:02
485
原创 Centos7中Hadoop的安装
必需安装Hadoop必须得有JDK环境,配置JDK1.8可以在这里查看:https://editor.youkuaiyun.com/md/?articleId=107078378安装包JDK安装好以后就开始我们的Hadoop,这里是下载好了安装包然后通过filezilla工具移动过去,filezilla工具的提取链接：https://pan.baidu.com/s/1tml9-VQMklfLOhqbw0OztQ提取码：sqfn然后就是我们的Hadoop,Hadoop的下载地址:https://mirror.
2020-07-05 15:42:03
528
原创 Centos7上面安装JDK1.8
下载安装包1.可以选择去官网下载官网地址:https://www.oracle.com/java/technologies/javase/javase-jdk8-downloads.html下载好以后也要使用下面的第二点中,也就是使用yum命令来下载中的删除自带的jdk环境2.也可以使用yum命令来下载1.使用rpm -qa | grep java命令来检测是否有自带的jdk环境有则使用rpm -e --nodeps name命令来删除如果没有搜索出任何内容表示系统自带的jdk已经卸载完
2020-07-05 15:41:13
122
转载 消息队列之 RabbitMQ
关于消息队列，从前年开始断断续续看了些资料，想写很久了，但一直没腾出空，近来分别碰到几个朋友聊这块的技术选型，是时候把这块的知识整理记录一下了。市面上的消息队列产品有很多，比如老牌的 ActiveMQ、RabbitMQ ，目前我看最火的 Kafka ，还有 ZeroMQ ，去年底阿里巴巴捐赠给 Apache 的 RocketMQ ，连 redis 这样的 NoSQL 数据库也支持 MQ 功能。总之这块知名的产品就有十几种，就我自己的使用经验和兴趣只打算谈谈 RabbitMQ、Kafka 和 ActiveM
2020-07-01 21:50:15
153
原创 java.lang.IllegalStateException: Failed to register dubbo://192.168.31.1:208
java.lang.IllegalStateException 项目启动时出现非法声明异常,具体报错如下java.lang.IllegalStateException: Failed to registerdubbo://192.168.31.1:20880/com.jbit.service.HelloDubboService?anyhost=true&application=dubbo-provider&dubbo=2.6.0&generic=false&interfa
2020-06-30 21:25:02
4065
2
原创 SpringBoot使用Dubbo及Zookeeper的基础实例(超简单！！！)
简介Dubbo是一阿里巴巴公司开源的一个高性能优秀的服务框架,使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。更详细的可以去https://blog.youkuaiyun.com/qq_43222167/article/details/107048655创建项目这里是将服务接口,也就是我们常说的service层创建一个单独的项目方便调用dubbo-provider:服务的提供者dubbo-consumer:服务的消费者dubbo-service中只有一个很简单的
2020-06-30 20:10:51
854
2
转载 Cannot load configuration class: com.alibaba.boot.dubbo.autoconfigure.DubboAutoConfiguration
dubbo-spring-boot-starter，启动异常，报错如下： Springboot版本：2.1.6.RELEASE dubbo-spring-boot-starter版本： <dependency> <groupId>com.alibaba.boot</groupId> <artifactId>dubbo-spring-
2020-06-30 19:29:48
2333
转载 Dubbo的好处
Dubbo 是阿里巴巴公司开源的一个高性能优秀的服务框架，使得应用可通过高性能的 RPC 实现服务的输出和输入功能，可以和 Spring框架无缝集成。主要核心部件：• Remoting: 网络通信框架，实现了 sync-over-async 和 request-response 消息机制.• RPC: 一个远程过程调用的抽象，支持负载均衡、容灾和集群功能• Registry: 服务目录框架用于服务的注册和服务事件发布和订阅Dubbo 工作原理 Provider 
2020-06-30 19:18:02
941
原创 JVM之Class文件解析
这里使用的工具是notepad++,没有的可以参考之前的博客:https://blog.youkuaiyun.com/qq_43222167/article/details/106326330类加载过程:https://editor.youkuaiyun.com/md/?articleId=106287297通过16进制打开后的文件如下u:字节,一个格子代表一个字节u4:前四个字节,即一个字节代表什么呢,比如说ca是一个字节,fe也是一个字节。它们四个加一起叫魔术,作用是用来识别Class文件格式,值为:0xCAFE
2020-06-29 10:33:11
334
原创 JVM之垃圾收集器与内存分配策略
GC做了什么事情垃圾收集器(GC [grabage collection])1.哪些内存需要回收 1.java堆 2.方法区因为虚拟机栈,本地方法栈,程序计数器都是属于线程私有的,它们会随着线程的创建而分配内存,线程结束自动清除,所以我们不需要太多的关注2.什么时候回收 1.java堆 1.堆中存放的是Java创建的实例对象,因此在回收之前必须确定哪些对象是"存活"的,哪些对象是"
2020-06-28 21:05:24
154
原创 JVM之内存管理
1.内存模型1.在JAVA虚拟机中管理的内存分为五个大区域 1.堆区: 2.方法区 堆区和方法区同属于线程共享的 3.虚拟机栈 4.本地方法栈 5.程序计数器 虚拟机栈,本地方法栈,程序计数器是属于线程独有的可以用下图表示 作用
2020-06-28 21:00:23
534
原创 Java单例模式的不同写法（懒汉式、饿汉式、双检锁、静态内部类、枚举）
简介 在Java中单例(Singleton)模式是经常用到的一种设计模式;单例模式的主要作用是保证在Java程序中,类只有一个实例存在;它能保证以下几种好处 1.可以避免实例对象的重复创建,实例对象没有重复创建,间接的就对资源的开销减少,资源的开销减少就减少时间的开销,内存空间的节省,有利于Java垃圾的回收 2.可以保证一个类公有唯一的实例,可以避免多个实例导致的错误单例模式的特点 1.保证自己只有一个实例
2020-06-28 20:39:23
289
转载 java-线程中start和run的区别
start() :它的作用是启动一个新线程。通过start()方法来启动的新线程，处于就绪（可运行）状态，并没有运行，一旦得到cpu时间片，就开始执行相应线程的run()方法，这里方法run()称为线程体，它包含了要执行的这个线程的内容，run方法运行结束，此线程随即终止。start()不能被重复调用。用start方法来启动线程，真正实现了多线程运行，即无需等待某个线程的run方法体代码执行完毕就直接继续执行下面的代码。这里无需等待run方法执行完毕，即可继续执行下面的代码，即进行了线程切换。run(
2020-06-28 20:31:17
207
转载 Java多线程总结
前言Java语言一个重要的特点就是内置了对并发的支持，让Java大受企业和程序员的欢迎。在典型的Java面试中， 面试官会从线程的基本概念问起,如：为什么你需要使用线程， 如何创建线程，用什么方式创建线程比较好（比如：继承thread类还是调用Runnable接口），然后逐渐问到并发问题像在Java并发编程的过程中遇到了什么挑战，Java内存模型，JDK1.5引入了哪些更高阶的并发工具，并发编程常用的设计模式，经典多线程问题如生产者消费者，哲学家就餐，读写器或者简单的有界缓冲区问题。仅仅知道线程的
2020-06-28 20:28:38
253
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人