学海无涯

转载 安装docker版kafka

1、下载镜像这里使用了wurstmeister/kafka和wurstmeister/zookeeper这两个版本的镜像docker pull wurstmeister/zookeeperdocker pull wurstmeister/kafka在命令中运行docker images验证两个镜像已经安装完毕2、启动1、启动zookeeperdocker run -d --name zookeeper -p 2181 -t wurstmeister/zookeeper2、启动ka

原创 spark使用java lambada表达式的问题

正常运行运行报错报错信息java.io.NotSerializableException: java.io.PrintStream第一种是正常的lambada表达式，第二种是method reference反编译第二种方法SparkSession ss = SparkSession.builder().config("spark.sql.catalogImplementation", "hive").master("local[4]").getOrCreate();

原创 spark与MR读取HBase snapshot

import com.suning.recmmentation.content.video.online.habse.HbaseDaoImpl;import org.apache.hadoop.conf.Configuration;import org.apache.hadoop.fs.FileSystem;import org.apache.hadoop.fs.Path;import org.apache.hadoop.hbase.HBaseConfiguration;import org.a.

原创 线程池提交任务流程解析

原创 Flink本地idea运行添加flink web UI

<dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-runtime-web_2.11</artifactId> <version>${flink.version}</version> <scope>compile...

转载 spark on yarn日志过大问题

1.在standlone模式下，为了减少日志在磁盘占用的输出的量，可以设置一下几个参数。spark.executor.logs.rolling.maxRetainedFilesspark.executor.logs.rolling.enableCompressionspark.executor.logs.rolling.maxSizespark.executor.logs.roll...

原创 spark创建一个空的RDD

现有需求要创建一个空的RDD不含任何元素和分区首先想到的是:val emptyRDD = sc.makeRDD(Array())可是这么创建居然会报错!!!然后想着自己写个类继承RDD抽象类，可以实现。不过这两天发现居然spark其实已经为我们写好了EmptyRDD,源码如下package org.apache.spark.rddimport scala.reflect.ClassTagi...

原创 高效的reduceByKeyAndWindow算子

总的来说SparkStreaming提供这个方法主要是出于效率考虑。 比如说我要每10秒计算一下前15秒的内容，（每个batch 5秒）， 可以想象每十秒计算出来的结果和前一次计算的结果其实中间有5秒的时间值是重复的。 那么就是通过如下步骤 1. 存储上一个window的reduce值 2.计算出上一个window的begin 时间到 重复段的开始时间的reduce 值 =》 oldRDD 3.重...

原创 使用spark-streaming-kafka-0-10_2.11-2.0.0依赖包创建kafka输入流

object DirectStream { def main(args: Array[String]): Unit = { //创建SparkConf，如果将任务提交到集群中，那么要去掉.setMaster("local[2]") val conf = new SparkConf().setAppName("DirectStream").setMaster("...

原创 kafka发送自定义消息体（对象、数组）

在前面简单搭建了Windows上的kafka环境，并使用命令行测试可以运行之后（环境请参考：http://blog.youkuaiyun.com/u014104286/article/details/75040932）我们会考虑怎么使用kafka；先试着发送一个简单的消息，发送成功之后是否需要发送自定义的消息类尼？怎么发送自定义的消息类，如果我要发送一个集合呢？下面我们来一一解决我们的问题。准备工作：1.需要...

转载 spark性能优化

（一）减少批数据的执行时间在Spark中有几个优化可以减少批处理的时间。这些可以在优化指南中作了讨论。这节重点讨论几个重要的。数据接收的并行水平通过网络(如kafka，flume，socket等)接收数据需要这些数据反序列化并被保存到Spark中。如果数据接收成为系统的瓶颈，就要考虑并行地接收数据。注意，每个输入DStream创建一个receiver（运行在worker机器上） 接收单个数据流。创...

原创 Spark性能优化之道——解决Spark数据倾斜

本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，给倾斜Key加上随机前缀等。摘要本文结合实例详细阐明了Spark数据倾斜的几种场景以及对应的解决方案，包括避免数据源倾斜，调整并行度，使用自定义Partitioner，使用Map侧Join代替Reduce侧Join，...

原创 阿里大于短信接口开发

jar包下载地址:点击打开链接public static boolean sendSMS(String freesignname, String templatecode, String phone_num){ try {//ProUtil读取配置文件的类、StringUtils判断字符串是否为空的类 ProUtil proUtil = ProUtil.

原创 kafka常见的shell命令

Kafka支持的基本命令位于${KAFKA_HOME}/bin文件夹中，主要是kafka-topics.sh命令；Kafka命令参考页面: kafka-0.8.x-帮助文档  -1. 查看帮助信息bin/kafka-topics.sh --help -2. 创建Topicbin/kafka-topics.sh --create --topic test0 --z

原创 spingboot热部署，实现jsp页面时时刷新

SpringBoot默认不支持JSP的实时更新。目前有两种解决方案：解决方法1：在配置文件，手工开启实时编译JSP的功能。application.yml 配置如下：server:  jsp-servlet:    init-parameters:      development: true 解决方法2：使用热部署工具，自动开启实时编译JSP的功

原创 ElasticSearch 5.0及head插件安装

ElasticSearch 5.0及head插件安装本文主要介绍elasticsearch5.0安装及head插件安装。确保系统已经安装好jdk1.8.0_73以上，操作系统CentOS6以上。一、elasticsearch安装配置1.官网下载源码包https://artifacts.elastic.co/downloads/elasticsearch/elasticsearc

转载 Docker导入导出镜像

很喜欢玩docker，但最新遇到一个问题，公司给的新机器的dns有问题，导致pull不下来镜像。" style="border:0px; vertical-align:middle; outline:none; max-width:100%; color:rgb(69,69,69); font-family:"PingFang SC","Microsof

转载 Xshell5下利用sftp上传下载传输文件

sftp是Secure File TransferProtocol的缩写，安全文件传送协议。可以为传输文件提供一种安全的加密方法。sftp与 ftp有着几乎一样的语法和功能。SFTP为 SSH的一部分，是一种传输档案至Blogger伺服器的安全方式。其实在SSH软件包中，已经包含了一个叫作SFTP(Secure File Transfer Protocol)的安全文件传输子系统，SFTP本

原创 docker加载新的镜像后repository和tag名称都为none的解决方法

可以使用命令:docker tag [image id] [name]:[版本]例如:docker tag b03b74b01d97 docker-redis:0.0.1

转载 vmware虚拟机NAT模式下网络配置

一、配置虚拟机的”虚拟网络编辑器“注意1：虚拟机局域网IP段一定不要和真实使用的IP段冲突。二、查看本地电脑VMnet8网卡的IP段注意2、本地电脑VMnet8网卡IP段必须与虚拟机局域网Ip端相同三、更改虚拟机系统网卡的IP配置vim /et/sysconfig/network-scripts/ifcfg-etho修改为

原创 mac下安装mysql

1.首先官网下载mysql－>dmg安装包(绿色版的没研究)2.按照步骤一直下一步，最后安装成功后，mysql会弹出一个框，里面有临时登陆密码。3.再系统偏好设置中开启mysql服务。或者可以使用下面的命令启动MySQL服务sudo /usr/local/MySQL/support-files/mysql.server start停止MySQL服务sudo /usr/loc

转载 Mybatis通用Mapper

极其方便的使用Mybatis单表的增删改查项目地址:http://git.oschina.net/free/Mapper优点?不客气的说,使用这个通用Mapper甚至能改变你对Mybatis单表基础操作不方便的想法,使用它你能简单的使用单表的增删改查,包含动态的增删改查.程序使用拦截器实现具体的执行Sql,完全使用原生的Mybatis进行操作.你还在因为数据库表变动

原创 maven骨架位置

maven骨架位置：本地仓库位置\org\apache\maven\archetypes如果创建maven项目骨架出现问题时，可以试着将骨架删除，重新建立maven项目

转载 NoClassDefFoundError org/codehaus/plexus/compile/util/scan/mapping/SuffixMapping

maven编译项目时报错：NoClassDefFoundError org/codehaus/plexus/compile/util/scan/mapping/SuffixMapping原因是pom.xml中使用的maven插件版本过低。改成3.5.1就行了。org.apache.maven.pluginsmaven-compiler-plugin3.5.1

转载 springboot基础

什么是spring bootSpring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。用我的话来理解，就是spring boot其实不是什么新的框架，它默认配置了很多框架的使用方式，就像maven整合了所有的jar包，spring boot整合了所有的框

原创 SpringBoot整合shiro框架

1.pom文件导入依赖： org.apache.shiro shiro-core 1.4.0 org.apache.shiro shiro-spring 1.4.0 org.apache.shiro shiro-ehcache 1.4.0 2.编写shiro配置类：packa

原创 java后台实现发送邮件的功能

package test;import java.util.Date;import java.util.Properties;import javax.mail.Authenticator;import javax.mail.Message;import javax.mail.MessagingException;import javax.mail.PasswordAuthentic

原创 bootstrap table的实现

jsp前台代码： <table class="table table-hover" id="cusTable" data-pagination="true" data-show-refresh="true" data-show-toggle="true"