- 博客(140)
- 资源 (24)
- 收藏
- 关注
RSS订阅原创 kafka报错which is larger than the maximum request size you have configured with the max.request.......
一、kafka默认的发送一条消息的大小是1M，如果不配置，当发送的消息大于1M是，就会报错[2018-07-03 14:49:38,411] ERROR Error when sending message to topic testTopic with key: null, value: 2095476 bytes with error: (org.apache.kafka.clients.producer.internals.ErrorLoggingCallback)org.apache.kafka
2021-03-04 15:41:41
4773
5
原创 canal报错show master status‘ has an error!
记一次dbus-canal线上日志报错解决dbus表检查数据线，发现dbus数据线不通，数据线显示进程停止到canal去找日志，解压最后一个日志文件gzip -d 1.log.gz2021-01-10 23:58:32.964 [destination = evoicedc , address = /dbus-mysql:3306 , EventParser] ERROR com.alibaba.otter.canal.common.alarm.LogAlarmHandler - destinat
2021-01-16 23:25:50
3455
原创 crontab修改默认编辑器
crontab修改默认编辑器在使用华为云主机配置定时任务，第一次会蹦出这玩意，看意思应该是选择一个编辑器$ sudo select-editor选择3或者4然后再次打开crontab -e就会是vim的方式了。
2021-01-16 23:15:30
625
原创 Linux磁盘空间满排查以及解决定时清理几天前日志
crontab定期清日志#!/bin/shfind /opt/apache-storm-1.0.2/logs/workers-artifacts/ -name "*.log" -exec rm -rf {}\更新：#!/bin/shecho ". execute time ."echo $(date +%F%n%T)#定期清理三天前的日志find /opt/apache-storm-1.0.2/logs/workers-artifacts/ -mtime +3 -name "*.log"
2021-01-16 23:11:32
883
原创 解析含有多个对象的并使用mybatis存数据库
解析含有多个对象的并使用mybatis存数据库{ "status": 0, "message": "ok", "payload": { "heartBeatLeader": [ { "host": "dbus-n1", "pid": "8413\n", "state": "ok" }, {
2021-01-16 23:08:49
566
原创 如何用Java构建json对象
如何用Java构建json对象在使用java构建json之前,首先需要先明确json的概念:https://blog.youkuaiyun.com/qq_35885488/article/details/80310062啥是JSONObject,啥是JSONArray。下面是两个例子:json{ "RequestHead":{ "BusiType":"LIS-WX000-02", "SaleChnl":"WX", "DataType":"03"
2021-01-16 22:57:06
5999
1
原创 Java自增流水号生成
redis自增流水号生成需求如下:单号生成规则： “4位年份”+“1位渠道”+“6位流水号”+“1位校验”其中6位渠道的生成和本篇文章的内容主角:redis有关6位流水号——从“000001”开始，到“999999”结束；看下面这个数据结构(本地搭建redis，用redis客户端做实验)127.0.0.1:6379> set visitors 0OK127.0.0.1:6379> incr visitors(integer) 1127.0.0.1:6379> incr
2021-01-16 22:46:15
5118
2
原创 centos docker安装
建议在linux环境下安装Docker，window环境搭建比较复杂且容易出错，使用·来安装Docker环境很方便(这里不推荐使用centos6.x版本)。Docker 软件包已经包括在默认的 CentOS-Extras 软件源里。因此想要安装 docker，只需要运行下面的 yum 命令：yum install docker安装完成后，使用下面的命令来启动 docker 服务，并将其设置为开机启动：systemctl start docker.servicesystemctl enable d
2020-07-17 08:39:55
246
原创 Linux上安装flink
linux上安装flink很简单:首先先去http://mirrors.hust.edu.cn/apache/中找到想要的flink的版本1.下载wget http://mirrors.hust.edu.cn/apache/flink/flink-1.9.3/flink-1.9.3-bin-scala_2.11.tgz2.解压tar xvf flink-1.9.3-bin-scala_2.11.tgz ./flink-1.9.3 3.配置环境变量vi ~/.bash_profileexpor
2020-07-17 08:35:05
1818
原创 Flume+Kafka+SparkStreaming整合
SparkStream整合Flume&Kafka打造通用的流处理平台整个流程如图所示：使用下面这段简单的代码模拟日志产生：import org.apache.log4j.Logger;/** * Created by Zhaogw&Lss on 2019/11/27. */public class LoggerGenerator { private sta...
2019-11-27 13:50:05
542
1
原创 Kafka整合SparkStream两种方式
Kafka整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-kafka-0-8-integration.html方式1：基于receiver based的实现1.1 kafka zookeeper环境测试1.1.1.先启动kafka，需要先启动zkcd $ZK_HOME/bin./zkServer.sh s...
2019-11-26 17:42:28
396
原创 SparkStreaming整合Flume的两种方式
Flume整合SparkStream两种方式官网http://spark.apache.org/docs/latest/streaming-flume-integration.htmlApache Flume是一种分布式，可靠且可用的服务，用于有效地收集，聚合和移动大量日志数据。在这里，我们说明如何配置Flume和Spark Streaming以从Flume接收数据。有两种方法。方法一：基于...
2019-11-26 11:18:01
854
原创 SparkStream整合SparkSql统计wordCount
package com.zgw.spark.streamingimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.sql.SparkSessionimport org.apache.sp...
2019-11-22 17:00:53
312
原创 SparkStream实战之黑名单过滤
package com.zgw.sparkimport org.apache.log4j.{Level, Logger}import org.apache.spark.SparkConfimport org.apache.spark.rdd.RDDimport org.apache.spark.streaming.{Seconds, StreamingContext}import or...
2019-11-22 16:35:19
862
原创 在IDEA工具中设置Spark程序设置日志打印级别
引入logger4j和slf4j的依赖 <dependency> <groupId>log4j</groupId> <artifactId>log4j</artifactId> <version>1.2.17</version> </dependency>...
2019-11-22 15:30:42
2471
原创 sparkStream之Window Operations
Window Operations可以设置窗口的大小和滑动窗口的间隔来动态的获取当前Steaming的允许状态。基于窗口的操作会在一个比 StreamingContext 的批次间隔更长的时间范围内，通过整合多个批次的结果，计算出整个窗口的结果。注意：所有基于窗口的操作都需要两个参数，分别为窗口时长以及滑动步长，两者都必须是 StreamContext 的批次间隔的整数倍。窗口时长控制每次计...
2019-11-22 13:15:51
395
原创 SparkStream写入数据到mysql
SparkStream写入数据到mysql在https://blog.youkuaiyun.com/qq_35885488/article/details/103185724基础上进行修改建表语句create table wordcount(word varchar(50) default nullwordcount int (10) default null)；使用foreachRDD...
2019-11-22 11:27:48
903
原创 Spark无状态和有状态转化操作介绍
1. 无状态转化操作无状态转化操作就是把简单的RDD转化操作应用到每个批次上，也就是转化DStream中的每一个RDD。部分无状态转化操作列在了下表中。注意，针对键值对的DStream转化操作(比如 reduceByKey())要添加import StreamingContext._才能在Scala中使用。需要记住的是，尽管这些函数看起来像作用在整个流上一样，但事实上每个DStream在内部...
2019-11-21 16:49:51
2010
原创 com.fasterxml.jackson.module.scala.deser.BigDecimalDeserializer$.handledType()Ljava/lang/Class解决
在调试Spark程序时 报错信息如下：19/11/21 11:27:13 INFO handler.ContextHandler: Started o.s.j.s.ServletContextHandler@1c65121{/metrics/json,null,AVAILABLE,@Spark}Exception in thread "main" java.lang.NoSuchMethodE...
2019-11-21 11:36:35
1419
原创 修改Spark-shell日志打印级别并使用Spark-shell和Spark-submit提交Sparkstream程序
1. 修改Spark-shell日志打印级别如果觉得 shell 中输出的日志信息过多而使人分心，可以调整日志的级别来控制输出的信息量。你需要在 conf 目录下创建一个名为 log4j.properties 的文件来管理日志设置。Spark开发者们已经在 Spark 中加入了一个日志设置文件的模版，叫作 log4j.properties.template。要让日志看起来不那么啰嗦，可以先把这...
2019-11-20 17:37:47
1750
原创 Spark单机环境安装
1.下载 http://spark.apache.org/downloads.html2. 解压tar -zxvf spark-2.2.0-bin-2.6.0-cdh5.7.0.tgz -C ~/app/3. 配置环境变量 vi ~/.bash_profileexport SPARK_HOME=/home/hadoop/app/spark-2.2.0-bin-2.6.0-cdh5.7.0e...
2019-11-20 14:53:09
1922
1
原创 Linux下hadoop的安装(CDH版本)
1. 下载下载地址：http://archive.cloudera.com/cdh5/cdh/5/hadoop-2.6.0-cdh5.7.0.tar.gz注意：在安装hadoop之前确保JDK安装成功。2. 配置免密登录Hadoop 组件之间需要基于 SSH 进行通讯。2.1 配置映射配置 ip 地址和主机名映射：vim /etc/hosts192.168.43.174 hadoo...
2019-11-20 12:32:53
589
原创 Linux下JDK的安装
Linux下JDK的安装下载并解压在官网 下载所需版本的 JDK，这里我下载的版本为JDK 1.8 ,下载后进行解压：tar -zxvf jdk-8u144-linux-x64.tar.gz -C ~/app/设置环境变量vi ~/.bash_profileexport JAVA_HOME=/home/hadoop/app/jdk1.8.0_144export PATH=...
2019-11-20 10:37:39
226
原创 linux下maven的安装
本文将介绍下如何在linux环境中安装maven1. 下载:https://archive.apache.org/dist/maven/maven-3/3.3.9/binaries/apache-maven-3.3.9-bin.tar.gz2. 解压：tar -zxvf apache-maven-3.3.9-bin.tar.gz -C ~/app/3. 配置环境变量 vi ~/.bash_...
2019-11-20 10:17:30
200
原创 linux下Hbase安装(CDH)
hbase安装下载地址：http://archive.cloudera.com/cdh5/cdh/5/hbase-1.2.0-cdh5.7.0.tar.gz解压：tar -zxvf hbase-1.2.0-cdh5.7.0.tar.gz -C ~/app配置环境变量：vi ~/.bash_profileexport HBASE_HOME=/home/hadoop/app/h...
2019-11-19 14:29:28
700
原创 使用kafka消费flume的数据
本篇文章将在Apache Flume介绍和使用案例三这篇文章的基础上将logger sink修改为kafka sink(即整合flume到kafka完成实时数据的采集)大体流程如图所示：将配置文件：avro-memory-logger.confavro-memory-logger.sources = avro-sourceavro-memory-logger.sinks = logger...
2019-11-19 10:32:26
1218
1
原创 Kafka出现异常kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.解决
java客户端连接到kafka出现kafka.common.FailedToSendMessageException: Failed to send messages after 3 tries.下午自己在java客户端连接到kafka，然后就出现了这个错误。按照网上的说法，修改各种配置文件都未能解决。最后重启了Zookeeper和Kafka解决了思考与建议：因为这个是不能连接到Kafka的...
2019-11-18 16:29:17
2357
原创 Kafka容错性测试
1. 查看topic信息(“副本”是为该分区复制日志的节点列表，无论它们是引导者还是当前处于活动状态，“ isr”是“同步”副本的集合。这是副本列表的子集，当前仍处于活动状态并追随领导者。)[hadoop@hadoop000 tmp]$ kafka-topics.sh --describe --zookeeper hadoop000:2181 --topic my-replicated-topi...
2019-11-18 11:02:22
816
原创 Kafka单节点多broker的部署方式
Kafka单节点多broker的部署方式（部署之前保证单节点部署成功）参考官网复制配置文件cp server.properties server-1.propertiescp server.properties server-2.propertiescp server.properties server-3.properties修改配置文件#vi server-1.pr...
2019-11-18 10:25:41
466
原创 kafka的安装和基本使用
kafka概述详见：http://kafka.apache.org/introKafka架构：producer：生产者，就是生产馒头（老妈）cunsumer：消费者，吃馒头（你）broker：篮子topic：主题，给馒头带一个标签，topic a是给你吃的，topic b 是给你弟弟吃的Kafka部署以及使用本文主要讲Kafka单节点部署和使用参考http://kafka.apa...
2019-11-15 17:26:01
315
原创 Linux下Zookeeper安装(CDH)
下载zookeeper并解压tar -zvxf zookeeper-3.4.5-cdh5.7.0.tar.gz -C ~/app/环境变量配置vi ~/.bash_profileexport ZK_HOME=/home/hadoop/app/zookeeper-3.4.5-cdh5.7.0export PATH=$ZK_HOME/bin:$PATH配置好后：source ~...
2019-11-15 15:13:20
343
原创 Apache Flume介绍和使用
Apache Flume是什么Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统，通常用于海量数据的实施采集和传输，如:海量日志数据。目前主要使用Flume-NG版本。下面这张图是Flume的基础架构图：外部数据源以特定格式向 Flume 发送 events (事件)，当 source 接收到 events 时，它将其存储到一个或多个 channel，channe 会一直...
2019-11-15 11:17:03
1142
原创 Linux下Flume安装教程(CDH)
Flume安装1. 安装好JDK网上资源多，不赘述2. 安装flume2.1下载flumehttp://archive.cloudera.com/cdh5/cdh/5/flume-ng-1.6.0-cdh5.7.0.tar.gz2.2 解压并配置环境变量解压tar -zxvf flume-ng-1.6.0-cdh5.7.0.tar.gz vim ~/.bash_profile...
2019-11-14 17:35:38
482
原创 IDEA出现error moudle not specified
一图胜千言，直接看。IDEA程序上有个红叉，点击运行时，出现error moudle not specified解决办法：在弹框中指定moudle名即可解决
2019-11-13 10:37:10
1567
1
原创 Scala中的继承和特质
1.继承1.1 扩展类在Scala中，让子类继承父类，与Java一样，也是使用extends关键字class Employee extends Person{ var salary = 0.0}继承代表子类可以继承父类的field和method；然后子类可以在自己内部放入父类所没有，子类特有的field和method；使用继承可以有效复用代码。子类可以覆盖父类的field和meth...
2019-11-12 15:20:00
642
原创 Scala中的方法和函数
Scala中方法的定义scala> def m2(a:Int,b:Int):Int=a+bm2: (a: Int, b: Int)Intscala> m2(3,4)res1: Int = 7方法的返回值类型可以不写，编译器可以自动推断出来，但是对于递归函数，必须指定返回类型。如果不写等号，代表没有返回值。Scala中函数的定义scala> val f1 = (...
2019-11-11 14:15:03
453
原创 Scala类与对象
1 Scala中的简单类与无参方法Scala中类的与Java中有很多相似性来看一个简单的例子：object CounterApp extends App{// 1. 在 scala 中，类不需要用 public 声明,所有的类都具有公共的可见性 class Counter{ private var value = 14 //方法默认是公有的，不使用 return 关键字,默认...
2019-11-08 14:59:05
217
原创 Scala中映射和元组
1 Scala中映射的操作1.1构造映射下列代码构建了一个不可变的Map[String,Int],其值不能改变scala> val stores = Map("Alice" -> 10,"Bob" -> 3,"Cindy" -> 8)stores: scala.collection.immutable.Map[String,Int] = Map(Alice ->...
2019-11-06 16:42:41
243
原创 Scala控制结构和异常
1 条件表达式Scala中的 if else 语句和java中的一样，不过Scala中的if else有值，这个值就是跟在if else后面的值object ScalaActivi extends App{ val x = 10 val s = if (x > 0) 1 else -1 println(s)}上面语句的val s = if (x > 0) 1 el...
2019-11-06 15:31:31
172
原创 Scala中的数组介绍与使用
1 定长数组定义一个长度不变的数组，可以使用Scala中的Array//定义一个Int类型的数组，元素的初始值为0scala> var nums = new Array[Int](10)nums: Array[Int] = Array(0, 0, 0, 0, 0, 0, 0, 0, 0, 0)//定义一个String类型的数组，元素的初始值为nullscala> var ...
2019-11-06 11:17:44
1078
zookeeper+kafka.zip
2019-11-15
毕设项目Solo系统的设计与实现
2019-09-09
WinSCP.exe
2019-09-09
jd-gui.rar
2019-09-09
erlang_rabbitmq.rar
2019-09-09
tomcat-redis.rar
2019-06-28
kibana-4.6.3-windows-x86.rar
2019-06-21
用蛮力法实现选择排序,冒泡排序程序；用减治法实现插入排序；分治法应用-快排，合并排序，0-1背包问题；Prim算法求最小生成树。伪代码以及java代码实现
2018-05-31
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人