cihongmo6452-优快云博客

转载反射工具类

package screendata.util;import com.alibaba.fastjson.JSON;import TransferInfo;import org.reflections.ReflectionUtils;import java.lang.re...

2019-08-15 10:53:00 434

转载 DateUtil

package com.sniper.common.util;import java.text.DateFormat;import java.text.ParseException;import java.text.SimpleDateFormat;import java....

2019-07-20 09:43:00 437

转载 java-集合做成逗号分隔的字符串-类似mkstring

org.apache.commons.lang.StringUtils.join(nextZoneCodes, ","); 自定义代码： public static String arrayToString(String[] strs) { if(strs.leng...

2018-11-16 15:35:00 773

转载 ExceptionUtil

package com.util;import org.slf4j.Logger;import org.slf4j.LoggerFactory;import java.io.ByteArrayOutputStream;import java.io.PrintStream...

2018-10-08 16:44:00 263

转载 Java开发必会的Linux命令

原文地址：http://www.hollischuang.com/archives/800 作为一个Java开发人员，有些常用的Linux命令必须掌握。即时平时开发过程中不使用Linux（Unix）或者mac系统，也需要熟练掌握Linux命令。因为很多服务器上都是Linux系统。所以...

2018-03-16 15:33:00 118

转载 Spark加载外部配置文件

--files path启动加载配置文件在spark-streaming程序中需要配置文件中的数据来完成某项统计时，需要把配置文件打到工程里，maven的配置如下： [html]view plaincopy <build> &lt...

2018-03-12 15:04:00 339

转载 spark加载properties配置文件方法

首先我先介绍一下错误的写法，这个加载配置文件方法是错误的： [java]view plaincopy valprops=newProperties(); valloader=getClass.getClassLoader; props.lo...

2018-03-12 15:02:00 976

转载 redis3.x连接报错

(error) DENIED Redis is running in protected mode because protected mode is enabled 解决： protected-mode no 参考：http://blog.youkuaiyun.com/alaska_bibi/...

2018-03-08 10:37:00 119

转载 HBase shell 中的十六进制数值表示

在使用Hbase shell 进行get 或scan操作时,时不时会看到一些数值被转成了16进制, 就像下面那样 value=W\x5C5\x80 那么这个值具体等于多少? 查阅资料后发现算法如下 W -> W的ASCII码16进制为 0x57 \x5C -> 就是1...

2018-02-01 09:11:00 1108

转载测试Hbase 表映射成 Hive表查询效率

一、准备工作： 1、编写程序将1000万条数据写到Hbase表中； 2、将对应的Hbase表映射成Hive表。在Hive 的shell中执行类似如下的命令 hive> CREATE EXTERNAL TABLE IF NOT EXISTS t_hbase_per...

2018-01-30 11:40:00 591

转载 sed -i命令详解

[root@www ~]# sed [-nefr] [动作]选项与参数：-n ：使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN 的数据一般都会被列出到终端上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。-e ：直接在...

2018-01-04 08:58:00 967

转载 HBase总结（4）--数据扫描与Scan对象

一、介绍 Put、Delete与Get对象都是Row的子类，从该继承关系中我们就可以了解到Get、Delete与Pu对象本身就只能进行单行的操作，HBase客户端还提供了一套能够进行全表扫描的API，方便用户能够快速对整张表进行扫描，以获取想要的结果---scan 二、流程介绍全表扫描...

2017-12-25 19:07:00 390

转载 httpclient工具类

package com.taotao.common.utils;import java.io.IOException;import java.net.URI;import java.util.ArrayList;import java.util.List;import java.u...

2017-12-12 10:09:00 113

转载 spark作业执行失败分析

spark作业执行失败，重新执行的时候，查看sparkui，发现存在大量失败的task，执行结束后，通过yarn-ui看到报错日志如下： User class threw exception: org.apache.spark.SparkException: Job aborted due ...

2017-11-16 09:30:00 2601

转载 Linux下如何查看哪些进程占用的CPU内存资源最多

2017-11-14 07:11:00 649

转载 IDEA阿里Java规范插件的安装

本文参考自阿飞博客：http://www.cnblogs.com/aflyun/p/7668306.html 　　官方使用教程：https://zhuanlan.zhihu.com/p/30191998?utm_source=qq&utm_medium=social 　　以下仅介绍...

2017-11-07 08:51:00 162

转载正确解读free -m

转自：http://www.cnblogs.com/zhaoyl/p/4325811.html 如下显示free是显示的当前内存的使用,-m的意思是M字节来显示内容.我们来一起看看. $ free -m total used free shared buffers cached Mem: ...

2017-11-03 08:57:00 316

转载 spark on yarn (Job history)的配置，主要是yarn处跳转到历史聚合页面

1.先开启服务　　yarn，hdfs，spark 　　 1.先开启服务　　yarn，hdfs，spark 　　 2.运行程序　　 3.在yarn上无法观察history 　　　　同时，http://linux-hadoop3.ibeifeng.com:1808...

2017-09-27 09:45:00 460

转载 Hbase源码分析：Hbase UI中Requests Per Second的具体含义

让运维加监控，被问到Requests Per Second（见下图）的具体含义是什么?我一时竟回答不上来，虽然大概知道它是指每秒Region Server的请求数，但是具体是怎么算的呢，不清楚。于是决定通过研究源码深入了解下。下面便记录了这个过程。 1，先在代码库中全局搜索Req...

2017-09-26 11:32:00 496

转载 hbase的cache与batch的理解

cache：在默认情况下，如果你需要从hbase中查询数据，在获取结果ResultScanner时，hbase会在你每次调用ResultScanner.next（）操作时对返回的每个Row执行一次RPC操作。即使你使用ResultScanner.next(int nbRows)时...

2017-09-22 09:35:00 137

转载 Linux shell中单引号，双引号及不加引号的简单区别

简要总结：单引号：　　可以说是所见即所得：即将单引号内的内容原样输出，或者描述为单引号里面看见的是什么就会输出什么。双引号：　　把双引号内的内容输出出来；如果内容中有命令，变量等，会先把变量，命令解析出结果，然后在输出最终内容来。　　双引号内命令或变量的写法为`命令或...

2017-09-18 11:32:00 134

转载 linux shell 中判断字符串为空的正确方法

转自：http://www.cnblogs.com/cute/archive/2011/08/26/2154137.html help命令可以查看帮助 help test 正确做法： #!/bin/sh STRING= if [ -z "$STRING" ]; then...

2017-09-18 11:27:00 150

转载 ssh 远程执行命令简介

转自：http://blog.youkuaiyun.com/shangzhiliang_2008/article/details/8602756 在写这篇博客之前，我google了一堆相关文章，大都是说修改/etc/sudoers，然后NOPASSWD:指定的cmd，但是真心不管用，没有远程虚拟终端这个...

2017-09-18 09:22:00 86

转载 Kafka Shell基本命令（包括topic的增删改查）

创建kafka topic 查看所有topic列表查看指定topic信息控制台向topic生产数据控制台消费topic的数据查看topic某分区偏移量最大（小）值增加topic分区数删除topic，慎用，只会删除zookeeper中的元数据，消息文...

2017-09-04 19:22:00 127

转载 hbase-shell批量命令执行脚本

#!/bin/bash source /etc/profileexec $HBASE_HOME/bin/hbase shell <<EOF truncate 'tracker_total_apk_fact_zyt'major_compact('t_abc')di...

2017-08-02 11:25:00 213

转载 HttpClient使用详解

Http协议的重要性相信不用我多说了，HttpClient相比传统JDK自带的URLConnection，增加了易用性和灵活性（具体区别，日后我们再讨论），它不仅是客户端发送Http请求变得容易，而且也方便了开发人员测试接口（基于Http协议的），即提高了开发的效率，也方便提高代码的健壮性。因...

2017-08-01 15:40:00 955

转载 Log4j的扩展-支持设置最大日志数量的DailyRollingFileAppender

Log4j现在已经被大家熟知了，所有细节都可以在网上查到，Log4j支持Appender，其中DailyRollingFileAppender是被经常用到的Appender之一。在讨论今天的主题之前，我们先看下另外一个Appender。最常用的Appender——RollingFileA...

2017-07-24 19:55:00 125

转载 dubbo服务调用超时问题解决方案

dubbo在调用服务不成功时，默认是会重试两次的。这样在服务端的处理时间超过了设定的超时时间时，就会有重复请求，比如在发邮件时，可能就会发出多份重复邮件，执行注册请求时，就会插入多条重复的注册数据，那么怎么解决超时问题呢？如下 1.对于核心的服务中心，去除dubbo超时重试机制，并重新评估设...

2017-07-24 18:32:00 589

转载避免regionServer宕机

因为regionserver 的管理信息主要记录在zookeeper，regionserver的宕机判断依据是session expired。ok 那么regionserver 和Zookeeper的session expired原因有哪些尼？ 1. 网络不好。 2. Java f...

2017-06-27 09:10:00 125

转载为什么在Spring的配置里，最好不要配置xsd文件的版本号

为什么dubbo启动没有问题？这篇blog源于一个疑问：我们公司使了阿里的dubbo，但是阿里的开源网站http://code.alibabatech.com，挂掉有好几个月了，为什么我们的应用启动没有问题？我们的应用的spring配置文件里有类似的配置： [html]...

2017-06-26 17:34:00 75

转载关于spring 获取不到网站上的xsd的处理记录

前两天做一个项目还好好的，今天突然报出这个错误　　cvc-complex-type.2.4.c: The matching wildcard is strict, but no declaration can be found for element 'mvc:annotation-dri...

2017-06-26 17:33:00 113

转载 GIT安装步骤

一、基础内容 1、Git是一个版本控制软件，与svn类似，特点是分布式管理，不需要中间总的服务器，可以增加很多分支。 2、windows下的git叫msysgit，下载地址https://git-for-windows.github.io/或者https://git-sc...

2017-06-20 17:18:00 88

转载 hbase shell命令扩展

也许你还不清楚我在说什么，看一下下面的截图你就明白了：好吧，如果您感兴趣，可以继续看下去了。 Hbase是以字节数组的形式存储数据的，当你直接用API或通过hbase自带的shell端去查询数据时，实际显示的是二进制数据的byteString的形式，就像这样：\x...

2017-06-10 10:38:00 200

转载 OpenTSDB 使用时推荐配置

OpenTSDB所有的配置都在link. 这里列出来的配置基本都有默认值，但是有些需要根据环境和性能做出改变，具体如下表：配置项默认值描述修改值 tsd.core.preload_uid_cache ...

2017-06-09 17:53:00 435

转载 org.apache.spark.streaming.dstream.MappedDStream@5a69b104 has not been initialized

现象执行Spark Streaming Application时报错 15/07/09 11:26:55 INFO scheduler.JobGenerator: Stopping JobGenerator immediately15/07/09 11:26:55 INFO util...

2017-06-08 11:16:00 2370

转载架构师养成记--22.客户端与服务器端保持连接的解决方案，netty的ReadTimeoutHandler...

概述保持客户端与服务器端连接的方案常用的有3种 1.长连接，也就是客户端与服务器端一直保持连接，适用于客户端比较少的情况。 2.定时段连接，比如在某一天的凌晨建立连接，适用于对实时性要求不高的情况。 3.设置连接超时，比如超过1分钟没有传输数据就断开连接，等下次需要的时候再建立连接，...

2017-06-06 14:43:00 602

转载 Hbase中checkAndPut操作

Hbase中Insert和Update操作没有明显的差别。如果误操作，是否可以恢复数据？方法：通过timeStamp找回数据。但是，如果我们可以在源头实现，是否更好呢？问题：客户端1： row1： family 1 ： qulifier1(1) qulifier2(2)...

2017-06-06 09:05:00 224

转载 HBase原子性保证

HBase提供基于单行数据操作的原子性保证即：对同一行的变更操作（包括针对一列/多列/多column family的操作），要么完全成功，要么完全失败，不会有其他状态示例： A客户端针对rowkey=10的行发起操作：dim1:a = 1 dim2:b=1 B客户端针对rowkey=1...

2017-06-06 08:57:00 155

转载 Hadoop 参数 mapred.map.child.java.opts

最近发现HadoopJob集群的load非常高，最后发现是mapred.child.Java.opts设置过大导致的，我们当初设置为-Xmx5120导致TaskTracker上内存资源耗尽，进而开始不断swap磁盘上数据，load升高在执行一个Task的时候，首先会根据JobConf中设定...

2017-06-03 12:20:00 138

转载 hadoop yarn jobhistoryserver 配置

hadoop1.x之前的版本中可以开启50030端口,查看历史作业的运行日志,包括mr日志和自定义日志,但是hadoop2.x 是用MRv2(yarn)作为作业运行服务,代替50030端口的是一个jobhistory服务.jobhistory记录下已运行完的MapReduce作业信息并存放在指...

2017-06-03 12:02:00 413

空空如也

空空如也