struggling_rong-优快云博客

原创记一次spark streaming内存泄漏分析

一个spark streaming应用executor所耗内存随着时间的增长一直在增加，直到executor内存不足导致应用异常终止，单从代码层面上还无法定位到内存泄漏的位置。因此可通过监控executor进程内存，获取内存变化情况。这里使用java自带的jmc(java mission control)工具来监控进程。一、使用JMC工具监控executor进程（一）executor和dri...

2020-02-28 11:30:37 1550

原创 org.apache.hadoop.hbase.PleaseHoldException: Master is initializing

问题：在hbase shell中执行语句报如下异常：ERROR: org.apache.hadoop.hbase.PleaseHoldException: Master is initializing at org.apache.hadoop.hbase.master.HMaster.checkInitialized(HMaster.java:2379) at org.apache.had...

2018-10-15 09:56:25 2574

转载通过count(*)统计hive表中数据数量为0

问题：select count() from t1;得到的数量为0，原因：该表创建时指定的存储格式为parquet，所以count()无法统计解决办法：count单独某个字段可以统计出数目...

2018-09-21 19:45:43 6967 3

转载 ERROR exec.DDLTask: java.lang.NoSuchMethodError: com.fasterxml.jackson.databind.xxx

问题:通过sqoop工具将mysql中的数据导入到hive中sqoop import --connect jdbc:mysql://master:3306/mf --username root --password xxxx --table t_activity_page --split-by id --delete-target-dir --hive-import -m 1报如下错误：...

2018-09-19 17:03:48 1745

转载 MetaException(message:Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0

环境： spark 2.2.0 hive 2.3.3 问题：用spark应用创建一张hive表后，在通过hive shell来操作hive时报如下错；MetaException(message:Hive Schema version 2.3.0 does not match metastore's schema version 1.2.0原因： spark应用创建表时，指定的sc...

2018-09-10 23:45:31 1735 1

原创 MetaException(message:file:/user/hive/warehouse/xxx is not a directory or unable to create one)

环境: hadoop 2.7.6 spark 2.2.0 hive 2.3.3 问题：编写spark应用保存数据到hive表，之前不存在该表，报如下错：Caused by: MetaException(message:file:/user/hive/warehouse/t_spark_ncdc is not a directory or unable to create one)...

2018-09-10 23:18:36 3465 1

原创启动kafka报错 /usr/local/kafka/kafka_2.11-1.1.0/bin/kafka-run-class.sh:行271

问题kafka-server-start.sh config/server.properties启动kafka时报如下错误：/usr/local/kafka/kafka_2.11-1.1.0/bin/kafka-run-class.sh:行271: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.151-5.b12.el7_4.x86_64//bin/j...

2018-09-02 12:46:01 10476 4

原创 Exception in thread "main" org.apache.spark.SparkException: Task not serializable

运行一个spark应用时报如下错误：Exception in thread &quot;main&quot; org.apache.spark.SparkException: Task not serializable at org.apache.spark.util.ClosureCleaner$.ensureSerializable(ClosureCleaner.scala:298) at o...

2018-09-02 12:45:43 5028

原创 Initial job has not accepted any resources; check your cluster UI to ensure that workers are registe

提交一个spark应用时报如下警告：18/07/29 11:42:37 WARN TaskSchedulerImpl: Initial job has not accepted any resources; check your cluster UI to ensure that workers are registered and have sufficient resources查看...

2018-09-02 12:45:23 9812

原创 TaskSetManager: Lost task 0.0 in stage 9.0 (TID 18, localhost, executor driver): java.lang.NoSuchMet

环境 window10 ，idea ，scala-2.11， spark-2.2.0 问题：本地运行spark sql代码报错//5. 从外部数据源获取数据 val fileDogDF = spark.read.json(s"data/sql/te.json") fileDogDF.show()提示的异常：TaskSetManager: Lost task 0...

2018-09-02 12:44:31 8230

原创将DataFrame数据保存为table后，查看该table中的数据为空

问题： //保存为表 personDF.write.saveAsTable(&quot;person&quot;) //查看有哪些表 spark.catalog.listTables().show() //读取表中数据 val personTable = spark.read.table(&quot;person&quot;) personTable.show() //为空原因...

2018-09-02 12:44:10 1719 1

原创 kill不掉 spark-submit

问题： spark-shell正在运行时，进行如合上笔记本盖子让计算机睡眠，挂起虚拟机等异常操作，再回来时，使用spark-shell异常。再去kill -9 spark-submitspark-submit进程变成僵尸进程，无法杀掉原因：进行了异常操作解决办法：目前想到的只有重启...

2018-09-02 12:43:20 3057

原创 regionserver.HRegionServer: error telling master we are up

问题：修改hbase的配置文件hbase-env.sh，hbase-site.xml后，启动hbase集群，slave2启动异常，查看日志时报如下错误： regionserver.HRegionServer: reportForDuty to master=master,16000,1535782912381 with port=16020, startcode=153578291440...

2018-09-02 12:42:21 2424

原创 org.apache.hadoop.hbase.DoNotRetryIOException: Field is not a long, it's 19 bytes wide

问题：使用java代码调用原子性递增方法时报如下错：Caused by: org.apache.hadoop.hbase.ipc.RemoteWithExtrasException(org.apache.hadoop.hbase.DoNotRetryIOException): org.apache.hadoop.hbase.DoNotRetryIOException: Field is n...

2018-09-02 12:41:08 6153

转载批量下载coursera课程

系统环境为: Win7 x64 原文出处: Coursera课程批量下载（保持资源原目录结构）一.安装python环境下载python（64位或32位，例如Windows X86-64 MSI Installer），双击安装： http://www.python.org/getit/releases/2.7.6添加python安装路径（找到python.exe），我的电脑-&gt;...

2018-07-06 14:59:18 3377

原创【SpringBoot探索五】SpringBoot项目集成Mybatis框架之使用Mybatis Plus插件

Mybatis Plus是一款非常优秀的Mybatis扩展插件，该开源项目是由国人发起的。使用该插件可以简化我们的开发，它有很多优良的特性，比如通用CRUD操作，支持ActiveRecord，内置分页插件等等。1.添加pom依赖 <!--<dependency>--&gt...

2018-04-02 14:55:31 3778

原创【SpringBoot探索五】SpringBoot项目集成Mybatis框架

Mybatis是一个非常流行的Java持久层框架，SpringBoot集成其也非常容易一.集成mybatis1.在pom文件中添加依赖 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter...

2018-03-19 11:34:22 1084

原创【SpringBoot探索四】SpringBoot项目集成Swagger2管理接口文档

1.使用swagger2的好处在日常开发中，避免不了的就是为接口编写文档。这需要占用我们一定的开发时间。同时还需要维护接口文档，当接口字段有变化，我们需要立即更新文档，而且还需要告知前端。进行修改。现在我们可以使用swagger2来帮助我们在线生成接口文档，接口文档自动更新等等，接口测试等等。swagger2使用很简单，其只会对现在的代码结构有微小的变化。这也是合理的！2.继承swag...

2018-02-26 13:50:25 1405

原创【SpringBoot探索三】添加配置文件

使用配置文件初探(一).最简单的配置文件类型支持两种，yml和properties，springboot使用配置文件很简单，只需在resources目录下创建application.properties文件，编码最好选择utf-8，统一编码格式，创建一个测试配置项test.value=test使用@vaule注解在程序中引用test.value的值@Value(

2018-02-05 10:36:05 1762

原创【SpringBoot探索二】SpringBoot项目集成日志记录功能

在之前项目的基础上添加日志1.让项目具有输出日志功能在pom文件中加入依赖dependency> groupId>org.springframework.bootgroupId> artifactId>spring-boot-starter-webartifactId> dependency>这样也包含了日志功能，在代码中就可以使

2018-01-29 13:46:10 2594 1

原创【SpringBoot探索一】SpringBoot快速搭建基础web项目

springboot的好处不必多言，仅靠免去编写大量的配置文件这一点就已经足以说明其在java web开发领域的优势，该系列博客是自己的工作和学习的一个记录，方便以后查阅，同时也希望能对看到此系列的博友带来一点帮助。由于是一个随笔并不是很规范完整，可能其中有些遗漏，错误。望不吝在博客下方留言指出。开发环境：jdk1.8，centos7，maven3.5.0，tomcat8.5，mysql5.7

2018-01-21 11:29:14 763

原创使用Maven构建多模块项目

欲创建的项目结构如下：其中webapp-parent为所有其它模块的父模块一.创建顶层模块webapp-parent（一）.进入工作目录(比如E:\workspace)，执行创建命令mvn archetype:generate -DgroupId=com.my.webapp -DartifactId=webapp-parent -DarchetypeArtifact

2018-01-11 17:21:29 316

原创【一】Python3与相关组件下载与安装

下载与安装python3.X版本这就不赘述了。参考下面教程直接ok 百度经验安装教程安装读取excel文件的插件xlrd和xlwt python下载插件的官网：官网插件网址 1）首先到官网下载插件 xlrd 2）选择，这里使用的是1.1.0版本。 3）解压下载的压缩包到自己指定的目录 4）cmd进入到该目录，运行python setup.py install安装插件 5）在代

2017-10-30 13:28:22 1280

原创用Eclipse搭建SSH框架

花了一天的时间来学习搭建SSH框架，遇到很多的bug，Eclipse环境的，项目配置文件信息不完整或错误，JDK版本，jar包缺失等等。走了很多弯路，最后做出来的成就感是满满的。写下此详细搭建的文章，方便以后查看，同时希望你也能少走一些弯路。只是少走... SSH框架是Spring+Struts2+Hibernate的统称。是中小型企业快速开发web项目的常用框架。其中Spring容器主要用于提供

2017-03-18 03:47:10 16465 11

原创 JavaWeb学习之SpringMVC：MAVEN搭建第一个WEB项目

慕课网中的学习java web的笔记。

2017-03-08 00:50:19 3616

转载 JS编程练习之选项卡的实现

在一家在线教育网站学习html时，摘抄一位网友的选项卡实现。@木风627。<!DOCTYPE html><html><head lang="en"> <meta charset="UTF-8"> <title>选项卡，参考大神</title> <style type="text/css"> /* CSS样式制作 */ *{margin:0;paddi

2016-12-17 20:11:10 497

原创帧缓冲设备编程

帧缓冲（framebuffer）是Linux为显示设备提供的一个接口，把显存抽象后的一种设备，他允许上层应用程序在图形模式下直接对显示缓冲区进行读写操作。这种操作是抽象的，统一的。用户不必关心物理显存的位置、换页机制等等具体细节。这些都是由Framebuffer设备驱动来完成的。帧缓冲驱动的应用广泛，在linux的桌面系统中，Xwindow服务器就是利用帧缓冲进行窗口的绘制。尤其是通过帧缓

2016-04-12 18:18:18 593

原创文件io操作

//文件写入SD卡操作 public class Main extends Activity { /* Called when the activity is first created. / @Override public void onCreate(Bundle savedInstanceState) { super.onCreate(save

2015-08-11 16:34:14 315

原创 MySqlite基本操作

Mysql数据库：掌握最基本的增、删、改、查的操作1）创建一个数据库：语法 create database student创建了一个名字为student的数据库。2）删除数据库语法：drop database student3）创建表语法：create table 数据表名字> (字段1定义,…字段n定义, primary key [主键名称] (字段1[,字段2 ,…]));

2015-08-11 14:15:42 1852

原创基于UDP的简易聊天室（客户端）

#include #include #include #include #include #include #include #include #include #define N 64#define TYPE_R 1 // register #define TYPE_B 2 // broadcast#define

2015-07-26 14:18:46 521

原创基于UDP的简易聊天室(服务器端)

#include #include #include #include #include #include #include #include #include #define N 64#define TYPE_R 1 // register #define TYPE_B 2 // broadcast#define

2015-07-26 14:16:54 783

转载管道破裂信号处理。

#include #include #include #include #include #define MAX 1024void func(int s){printf("-----SIGPIPE---%d---\n",s);}int main(){int fd[2];pid_t pid;pipe(fd);si

2015-07-21 19:32:55 1268

原创 UNIX高级编程之简易版shell

#include #include #include #include #include #include #include int main(){while(1){#define MAX 1024char buf[MAX];fgets(buf,MAX,stdin);int len =strlen(buf);buf[len - 1] =

2015-07-17 20:43:40 569

原创浏览一个目录

#include #include #include #include #include int main(){DIR *dp;struct dirent *entry;struct stat st;char *dirp = "/home/rong/caoqingrong";if((dp = opendir(dirp)) == NULL){per

2015-07-16 19:45:20 388

原创标准I/O文件复制，文件I/O文件复制

#include //#include //#include //#include #include #include //#include #define N 32/*int main(){int fd,fd1,n = 1,sum = 0;char buf[8];if((fd = open("test1.c",O_CREAT|O_R

2015-07-15 20:07:47 631

转载 Dijkstra(迪杰斯特拉)算法

//解决带权有向图中两顶点间最短路径问题。#include #define N 5#define M (1int main(){int i,j,s[N] = {0};int dist[];int array[N][N]={{0,2,4,M,M},{M,0,1,1,M},{M,M,0,M,2},{M,M,1,0,3},{M,M,M,M,0}

2015-07-14 20:07:05 506