<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zyj8170的专栏]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zyj8170</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zyj8170]]></copyright><item><title><![CDATA[hive动态分区导致xceivercount超限，hdfs无法创建新连接]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/140458048</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/140458048</guid><author>zyj8170</author><pubDate>Tue, 16 Jul 2024 10:13:23 +0800</pubDate><description><![CDATA[使用动态分区虽然非常方便，但会带来很多小文件，像上面这个sql，动态分区是365天，reduce是1000个，如果计算比较复杂，就会同时创建365*1000个文件。有人会觉得我可以增大xceivercount的数目，来避免这个问题，但是这个首先要重启datanode，另外，这个方案始终还是会导致大量的连接数存在，对整个集群不是很友好，还是尽量减少小文件的生成为最佳。hdfs无法创建新的文件，xceivercount超过最大设置，平时每个datanode只有100个左右的连接，突然达到8000以上。]]></description><category></category></item><item><title><![CDATA[kylin与superset集成实现数据可视化]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/78356469</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/78356469</guid><author>zyj8170</author><pubDate>Thu, 26 Oct 2017 17:27:21 +0800</pubDate><description><![CDATA[Apache kylin是一个开源分布式引擎，提供Hadoop之上的SQL查询接口及多维分析(OLAP)能力以支持超大规模数据。而superset是airbnb开源的一款数据可视化工具。

kylin在超大数据规模下仍然可以提供秒级甚至毫秒级sql响应的OLAP多维分析查询服务。而且对服务器内存的要求也不像spark sql那么高，经过多方面的优化，数据膨胀率甚至可以控制在100%以内。它利用]]></description><category></category></item><item><title><![CDATA[redis漏洞]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/76448792</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/76448792</guid><author>zyj8170</author><pubDate>Mon, 31 Jul 2017 16:25:56 +0800</pubDate><description><![CDATA[听到朋友说接到阿里云的报障，提示黑客把他的服务器当肉鸡了，当时有点怕怕，继而官方的网络带宽也爆了进而系统处于瘫痪，当时我需要帮他处理这个问题

1 在没有查到杀手之前我是先把带宽&端口用iptables 做了限制这样能保证我能远程操作服务器才能查找原因

  




2 在各种netstat –ntlp  的查看下没有任何异常 在top 下查到了有异常进程还有些异常的这里就截图]]></description><category></category></item><item><title><![CDATA[Hive ROW_NUMBER,RANK(),DENSE_RANK()]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/71159176</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/71159176</guid><author>zyj8170</author><pubDate>Thu, 04 May 2017 10:59:37 +0800</pubDate><description><![CDATA[准备数据

浙江,杭州,300

浙江,宁波,150

浙江,温州,200

浙江,嘉兴,100

江苏,南京,270

江苏,苏州,299

江苏,某市,200

江苏,某某市,100

 

创建表

CREATE table pcp

(province string,city string,people int)

ROW FORMAT ]]></description><category></category></item><item><title><![CDATA[使用JDBC向MySQL数据库批次插入10W条数据测试效率]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/62236523</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/62236523</guid><author>zyj8170</author><pubDate>Wed, 15 Mar 2017 20:06:41 +0800</pubDate><description><![CDATA[使用JDBC连接MySQL数据库进行数据插入的时候，特别是大批量数据连续插入（100000），如何提高效率呢？
在JDBC编程接口中Statement 有两个方法特别值得注意：
通过使用addBatch（）和executeBatch（）这一对方法可以实现批量处理数据。
不过值得注意的是，首先需要在数据库链接中设置手动提交，connection.setAutoCommit(false)，然后在]]></description><category></category></item><item><title><![CDATA[Spark on YARN配置日志Web UI]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/58158966</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/58158966</guid><author>zyj8170</author><pubDate>Mon, 27 Feb 2017 17:42:26 +0800</pubDate><description><![CDATA[Spark部署在YARN之后，从Standalone模式下的Spark
 Web UI直接无法看到执行过的application日志，不利于性能分析。得益于实验室师弟的帮忙，本文记录如何配置history UI。


修改spark-defaults.conf
spark.eventLog.enabled=true
spark.eventLog.compress=true
spark.e]]></description><category></category></item><item><title><![CDATA[hive中join操作]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/53817738</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/53817738</guid><author>zyj8170</author><pubDate>Thu, 22 Dec 2016 17:51:12 +0800</pubDate><description><![CDATA[笼统的说，Hive中的Join可分为Common Join（Reduce阶段完成join）和Map Join（Map阶段完成join）。本文简单介绍一下两种join的原理和机制。


如果不指定MapJoin或者不符合MapJoin的条件，那么Hive解析器会将Join操作转换成Common Join,即：在Reduce阶段完成join.
整个过程包含Map、Shuffle、Reduce阶]]></description><category></category></item><item><title><![CDATA[其他技术人员播客地址整理]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/53634395</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/53634395</guid><author>zyj8170</author><pubDate>Wed, 14 Dec 2016 09:41:45 +0800</pubDate><description><![CDATA[1、乐视祝海林，主要是spark，kafka
http://www.jianshu.com/users/59d5607f1400/latest_articles]]></description><category></category></item><item><title><![CDATA[tez0.8在hadoop2.7.1上的应用]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/53161380</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/53161380</guid><author>zyj8170</author><pubDate>Mon, 14 Nov 2016 17:41:08 +0800</pubDate><description><![CDATA[一、配置
1、tez的编译在我的另外一篇文章中，在这里不再叙述
2、将生成的war包拷贝到hadoop的/apps/tez目录，这个目录自己定义
3、在hadoop的conf目录新建一个tez-site.xml 配置文件，内容如下：






  
    tez.lib.uris
    ${fs.defaultFS}/apps/tez/tez-0.8.4.tar.gz]]></description><category></category></item><item><title><![CDATA[flume1.7.0 常用配置]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/52946818</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/52946818</guid><author>zyj8170</author><pubDate>Thu, 27 Oct 2016 16:15:38 +0800</pubDate><description><![CDATA[一、source 为spooling dir


a1.sources = r1
a1.channels = c1
a1.sinks = k1

a1.sources.r1.type = spooldir
a1.sources.r1.spoolDir = /opt/nginx/test
a1.sources.r1.channels = c1
a1.sources.r1.fileSuffix]]></description><category></category></item><item><title><![CDATA[hue编译]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/52879988</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/52879988</guid><author>zyj8170</author><pubDate>Fri, 21 Oct 2016 09:43:10 +0800</pubDate><description><![CDATA[执行：make desktop 


期间如果报错则需要安装：
/opt/hue-3.6.0-cdh5.1.0/Makefile.vars:42: *** "Error: must have python development packages for 2.6 or 2.7. Could not find Python.h. Please install python2.6-devel]]></description><category></category></item><item><title><![CDATA[Linux按照CPU、内存、磁盘IO、网络性能监测]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/52223563</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/52223563</guid><author>zyj8170</author><pubDate>Tue, 16 Aug 2016 17:52:37 +0800</pubDate><description><![CDATA[系统优化是一项复杂、繁琐、长期的工作，优化前需要监测、采集、测试、评估，优化后也需要测试、采集、评估、监测，而且是一个长期和持续的过程，不 是说现在优化了，测试了，以后就可以一劳永逸了，也不是说书本上的优化就适合眼下正在运行的系统，不同的系统、不同的硬件、不同的应用优化的重点也不同、 优化的方法也不同、优化的参数也不同。性能监测是系统优化过程中重要的一环，如果没有监测、不清楚性能瓶颈在哪里，怎么优]]></description><category></category></item><item><title><![CDATA[kafka深度解析]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/51956175</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/51956175</guid><author>zyj8170</author><pubDate>Tue, 19 Jul 2016 15:22:29 +0800</pubDate><description><![CDATA[Kafka深度解析，众人推荐，精彩好文！

时间 2015-01-26 15:06:04  数盟
原文  http://dataunion.org/?p=9307
主题 Apache
 Kafka



作者： Jason
 Guo

背景介绍

Kafka简介

Kafka是一种分布式的，基于发布/订阅的消息系统。主要设计目标如下：

以时间复杂度为O(1)的]]></description><category></category></item><item><title><![CDATA[kafka技术内幕]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/51943991</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/51943991</guid><author>zyj8170</author><pubDate>Mon, 18 Jul 2016 17:42:34 +0800</pubDate><description><![CDATA[第二章 生产者

概述

消息系统通常都会由生产者，消费者，Broker三大部分组成，生产者会将消息写入到Broker，消费者会从Broker中读取出消息，不同的MQ实现的Broker实现会有所不同，不过Broker的本质都是要负责将消息落地到服务端的存储系统中。不管是生产者还是消费者对于Broker而言都是客户端，只不过一个是生产消息一个是消费消息。图2-1中生产者和消费者都是通过客户端]]></description><category></category></item><item><title><![CDATA[Java并发编程：深入剖析ThreadLocal]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/51822748</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/51822748</guid><author>zyj8170</author><pubDate>Mon, 04 Jul 2016 18:14:41 +0800</pubDate><description><![CDATA[Java并发编程：深入剖析ThreadLocal

　　想必很多朋友对ThreadLocal并不陌生，今天我们就来一起探讨下ThreadLocal的使用方法和实现原理。首先，本文先谈一下对ThreadLocal的理解，然后根据ThreadLocal类的源码分析了其实现原理和使用需要注意的地方，最后给出了两个应用场景。

　　以下是本文目录大纲：

　　一.对ThreadLocal的理解]]></description><category></category></item><item><title><![CDATA[JVM性能调优监控工具jps、jstack、jmap、jhat、jstat使用详解]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/51822540</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/51822540</guid><author>zyj8170</author><pubDate>Mon, 04 Jul 2016 17:44:40 +0800</pubDate><description><![CDATA[查阅 http://blog.youkuaiyun.com/wisgood/article/details/25343845]]></description><category></category></item><item><title><![CDATA[java io]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/51799775</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/51799775</guid><author>zyj8170</author><pubDate>Fri, 01 Jul 2016 11:14:27 +0800</pubDate><description><![CDATA[初学Java，一直搞不懂java里面的io关系，在网上找了很多大多都是给个结构图草草描述也看的不是很懂。而且没有结合到java7 的最新技术，所以自己来整理一下，有错的话请指正，也希望大家提出宝贵意见。

首先看个图：（如果你也是初学者，我相信你看了真个人都不好了，想想java设计者真是煞费苦心啊！）



 

这是java io 比较基本的一些处理流，除此之外我们还会提到一些比]]></description><category></category></item><item><title><![CDATA[nginx按小时切割日志]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/51596946</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/51596946</guid><author>zyj8170</author><pubDate>Mon, 06 Jun 2016 17:25:52 +0800</pubDate><description><![CDATA[有的日志比较大，一天的日志就有200g一台机器，如果按天切割日志，文件太大了，需要按小时切割日志。下面讲述一个按小时切割日志的方法，通过apache的cronolog来完成日志的切割。


1、首先安装日志切割   yum install httpd


2、配置nginx的日志落地文件名，比如/opt/log/accesslog。


3、再启动nginx之前，先用mkfifo]]></description><category></category></item><item><title><![CDATA[hadoop streaming 版本兼容问题]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/49884053</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/49884053</guid><author>zyj8170</author><pubDate>Tue, 17 Nov 2015 10:23:31 +0800</pubDate><description><![CDATA[转载一篇同事的文章：

使用hadoop streaming的脚本，在从hadoop 1.0迁移到2.7.1时遇到问题：


使用1.0时，map的outputkey是Text正确，迁移到2.7.1时报错，修改为LongWritable正常。

为保证代码统一，在1.0上map的outputkey也使用LongWritable，报错，要求修改为Text，修改后正常。

解决办法，]]></description><category></category></item><item><title><![CDATA[使用mutt及msmtp来发送邮件]]></title><link>https://blog.youkuaiyun.com/zyj8170/article/details/48970657</link><guid>https://blog.youkuaiyun.com/zyj8170/article/details/48970657</guid><author>zyj8170</author><pubDate>Thu, 08 Oct 2015 11:51:35 +0800</pubDate><description><![CDATA[默认的linux系统都是安装了mutt和sendmail的，但有的公司为了安全，默认的不用配置就发送邮件做了安全验证。
以下是mutt结合msmtp来发送邮件的做法，并做到安全认证
1、安装msmtp
yum install msmtp 或者自己编译下载安装


2、配置msmtp
在要发送的账号下/home/user目录新增一文件.msmtprc  并使改文件权限为600
内容如]]></description><category></category></item></channel></rss>