<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[The palest ink is better than the best memory]]></title><description><![CDATA[love life, love code!]]></description><link>https://blog.youkuaiyun.com/dylanzr</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; dylanzr]]></copyright><item><title><![CDATA[hive 基于日期(Date)进行分区的最佳实践]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/86187552</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/86187552</guid><author>dylanzr</author><pubDate>Wed, 09 Jan 2019 23:19:11 +0800</pubDate><description><![CDATA[一、概述
hive表进行分区操作对于读写等操作来说意义重大。最常见的分区类型即通过日期时间，例如年-月-日进行分区。根据日期时间字段进行分区有两种常见的方式:

1.一级分区
2.多级分区（分区嵌套）

所谓的一级分区，故名思义则是将年-月-日看作一个整体。比如说日期2018-12-25，分区字段为date,那么最终的partition则为’date=2018-12-25’。
而多级分区，则是将年...]]></description><category></category></item><item><title><![CDATA[Spark Structed Streaming 入门详解]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84555705</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84555705</guid><author>dylanzr</author><pubDate>Mon, 26 Nov 2018 20:18:33 +0800</pubDate><description><![CDATA[一、概述
Structed Streaming 是一个可扩展和容错能力构建与Spark Sql引擎上的流处理引擎。你可以像采用批次处理静态数据一样处理流式数据。随着流数据的不断流入，Sparksql引擎会增量的连续不断的处理并且更新结果。可以使用DataSet/DataFrame的API进行 streaming aggregations, event-time windows, stream-to...]]></description><category></category></item><item><title><![CDATA[大数据中常用的几种数据格式对比(avro、orc、parquet)]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84553434</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84553434</guid><author>dylanzr</author><pubDate>Mon, 26 Nov 2018 17:41:18 +0800</pubDate><description><![CDATA[不同数据格式特点
1).  AVRO:

主要为行存储
设计的主要目标是为了满足schema evolution
schema和数据保存在一起

2). ORC：
面向列的存储格式

由Hadoop中RC files 发展而来，比RC file更大的压缩比，和更快的查询速度
Schema 存储在footer中
不支持schema evolution
为hive而生，在许多non-hive MapR...]]></description><category></category></item><item><title><![CDATA[shell命令之--xargs]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84350784</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84350784</guid><author>dylanzr</author><pubDate>Thu, 22 Nov 2018 23:20:31 +0800</pubDate><description><![CDATA[功能简介：
1.将参数列表转换成小块分段传递给其他命令，避免参数列表过长
2.从管道或者stdin获取数据，过滤处理（捕获一个命令的输出，然后传递给另外一个命令）
3.能够对输入中的换行和空白进行处理
应用举例：


当你尝试用rm 删除太多的文件，你可能得到一个错误信息：/bin/rm Argument list too long. 用xargs 去避免这个问题
find ~ -name ‘*....]]></description><category></category></item><item><title><![CDATA[集群无法启动多个spark任务，资源无法分配问题]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84350106</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84350106</guid><author>dylanzr</author><pubDate>Thu, 22 Nov 2018 22:29:08 +0800</pubDate><description><![CDATA[问题描述：
在集群上同时提交多个任务，但是发现集群的资源还有很多，但是任务却无法起来,一直处于Accepted状态
解决方法：
这种情况一般是由于yarn可调度的资源不够而并非集群的资源不够，修改Hadoop/etc/hadoop/capacity-scheduler.xml，将value从0.1改为0.5，增加yarn可调度的资源数
&amp;lt;property&amp;gt;
    &amp;lt;name&amp;g...]]></description><category></category></item><item><title><![CDATA[集群主备切换后任务未能在新的主节点上自动重启]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84350084</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84350084</guid><author>dylanzr</author><pubDate>Thu, 22 Nov 2018 22:27:12 +0800</pubDate><description><![CDATA[问题描述：
在集群运行过程中发现一旦主备切换后，原来正常运行的任务在新的主节点上不能自动从启
解决方法：
在yarn-site.xml中增加以下配置项：

&amp;amp;lt;property&amp;amp;gt;
    &amp;amp;lt;description&amp;amp;gt;Enable RM to recover state after starting. If true, then yarn.resourcemanager.stor...]]></description><category></category></item><item><title><![CDATA[spark提交任务参数–executor-cores设置不起作用]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84348018</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84348018</guid><author>dylanzr</author><pubDate>Thu, 22 Nov 2018 20:13:25 +0800</pubDate><description><![CDATA[问题描述
1.虽然目前大多数平台内置Application在提交时，只配置了–num-executors和–executor-memory参数，但是其他APP的开发者可能会配置–executor-cores参数。
举个例子：
./spark-submit –master yarn-client –executor-cores 4 –num-executors 6  –executor-memory...]]></description><category></category></item><item><title><![CDATA[hive 事务表锁泄露（冲突）问题]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84347332</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84347332</guid><author>dylanzr</author><pubDate>Thu, 22 Nov 2018 19:29:20 +0800</pubDate><description><![CDATA[hive 锁泄露问题
问题描述： hive 表一个分区只能有一个程序/线程获得锁/写入，但发现有两个程序/线程获得了锁，最后在事务提交的时候检查到了冲突。（频率不高，一天一两次的样子）
问题分析： hive 客户端实现在本该原子操作的 获取事务ID、启动事务 拆成了需要跨网操作的两步，导致实际串行操作的两次操作，其 [事务启动ID, 事务提交ID] 值对是交叉的（交叉则判断为冲突）。
ps. 具体...]]></description><category></category></item><item><title><![CDATA[mysql多线程update发生死锁]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/84062559</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/84062559</guid><author>dylanzr</author><pubDate>Wed, 14 Nov 2018 10:47:06 +0800</pubDate><description><![CDATA[问题描述
mysql使用InnoDB引擎，在多线程并发的情况下，发现对数据库表中的数据进行更新操作时发生了死锁
基础知识
mysql 引擎
1、MyISAM：默认表类型，它是基于传统的ISAM类型，ISAM是Indexed Sequential Access Method (有索引的顺序访问方法) 的缩写，它是存储记录和文件的标准方法。不是事务安全的，而且不支持外键，如果执行大量的select，i...]]></description><category></category></item><item><title><![CDATA[FileChanel 快速移动文件删除原文件中的数据]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/79241220</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/79241220</guid><author>dylanzr</author><pubDate>Fri, 02 Feb 2018 17:06:28 +0800</pubDate><description><![CDATA[import java.io.IOException;
import java.io.RandomAccessFile;
import java.nio.channels.FileChannel;


public class MoveFile {
    public static void main(String[] args) {
        transferFileTo("e:\\fr]]></description><category></category></item><item><title><![CDATA[elasticsearch可视化kibana中索引字段不显示]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/78900114</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/78900114</guid><author>dylanzr</author><pubDate>Tue, 26 Dec 2017 11:06:37 +0800</pubDate><description><![CDATA[一 、问题描述索引结构如下图所示：其中ipcid对应的是数据采集设备的编号，我想要在kibana中统计各个设备下的数据量并通过饼图展示。于是，根据kibana操作流程： 
1.首先创建visualize,选择饼状图。如下图所示： 
2.选择需要操作的index 
3.选择索引后，界面会自动跳到如下界面： 
4.接下来就是选择需要统计的字段，就是前面所说的ipcid。点击Split slices->A]]></description><category></category></item><item><title><![CDATA[spark 批量读取HDFS（hive分区）parquet文件]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/78834537</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/78834537</guid><author>dylanzr</author><pubDate>Mon, 18 Dec 2017 16:38:19 +0800</pubDate><description><![CDATA[情况说明：数据以parquet文件形式保存在HDFS上，数据中的某一列包含了日期（例如：2017-12-12）属性，根据日期对数据分区存储，如下图所示： 
 
项目需求： 
在项目中想要读取某一个月的数据，肿么办？ 
解决方法： 
spark中读取本地文件的方法如下:sparkSession.read.parquet("hdfs://path")方法一： 
要读取多个文件，文件的路径中有一段公共路径]]></description><category></category></item><item><title><![CDATA[Apache Spark探秘：多进程模型还是多线程模型？]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/78612076</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/78612076</guid><author>dylanzr</author><pubDate>Thu, 23 Nov 2017 10:58:53 +0800</pubDate><description><![CDATA[Apache Spark探秘：多进程模型还是多线程模型？ 
原文链接]]></description><category></category></item><item><title><![CDATA[k-means聚类算法]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/71600993</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/71600993</guid><author>dylanzr</author><pubDate>Thu, 11 May 2017 10:03:27 +0800</pubDate><description><![CDATA[K-means算法是硬聚类算法，是典型的基于原型的目标函数聚类方法的代表，它是数据点到原型的某种距离作为优化的目标函数，利用函数求极值的方法得到迭代运算的调整规则。K-means算法是很典型的基于距离的聚类算法，采用距离作为相似性的评价指标，即认为两个对象的距离越近，其相似度就越大。K-means算法通常以欧式距离作为相似度测度。算法采用误差平方和准则函数作为聚类准则函数。
算法流程：1）从N个数据]]></description><category></category></item><item><title><![CDATA[kNN(k近邻算法)]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/71214088</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/71214088</guid><author>dylanzr</author><pubDate>Fri, 05 May 2017 16:11:34 +0800</pubDate><description><![CDATA[kNN是一种基本的分类与回归方法，其三要素是k值得选择、距离度量及分类决策规则。  
kNN算法流程：kNN思想理论： 
knn中最关键的理论就在于多数表决这种分类决策规则的理论过程： 
从原文可以看到，多数表决分类的理论基础就经验风险最小化，也就是分类的正确率最高。]]></description><category></category></item><item><title><![CDATA[控制反转]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/52289528</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/52289528</guid><author>dylanzr</author><pubDate>Tue, 23 Aug 2016 11:39:37 +0800</pubDate><description><![CDATA[控制反转（Inversion of Control，英文缩写为IoC）是一个重要的面向对象编程的法则来削减计算机程序的耦合问题，也是轻量级的Spring框架的核心。 控制反转一般分为两种类型，依赖注入（Dependency Injection，简称DI）和依赖查找（Dependency Lookup）。依赖注入应用比较广泛。应用控制反转，对象在被创建的时候，由一个调控系统内所有对象的外界实体将其所依]]></description><category></category></item><item><title><![CDATA[Nginx+tomcat实现负载均衡]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/52135196</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/52135196</guid><author>dylanzr</author><pubDate>Sat, 06 Aug 2016 11:20:25 +0800</pubDate><description><![CDATA[Nginx 反向代理初印象Nginx (“engine x”) 是一个高性能的HTTP和反向代理 服务器，也是一个IMAP/POP3/SMTP服务器。其特点是占有内存少，并发能力强，事实上nginx的并发能力确实在同类型的网页服务器中表现较好，中国大陆使用nginx网站用户有：京东、新浪、网易、腾讯、淘宝等。
反向代理（Reverse Proxy）方式是指以代理服务器来接受internet上的连接请]]></description><category></category></item><item><title><![CDATA[一台机器上同时开启多个Tomcat服务器]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/52101782</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/52101782</guid><author>dylanzr</author><pubDate>Wed, 03 Aug 2016 11:15:17 +0800</pubDate><description><![CDATA[最近在调试Nginx1.10.1+Tomcat7集群负载均衡，于是需要在同一台机器上开启多个Tomcat7服务器（效果如下图），废话不多说，立马开干。 
 
1.首先需要安装Tomcat7，这里不罗嗦。我这里安装后的路径为D:\Tomcat7。2.复制该文件夹，命名为Tomcat71，修改环境变量，添加CATALINA_HOME1和CATALINA_BASE1指向D:\Tomcat71   
3.修]]></description><category></category></item><item><title><![CDATA[Nginx入门简介]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/52092543</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/52092543</guid><author>dylanzr</author><pubDate>Tue, 02 Aug 2016 11:18:06 +0800</pubDate><description><![CDATA[nginx 是一个高性能的HTTP和反向代理服务器，也是一个IMAP/POP3/SMTP服务器。其特点是占用内存少，并发能力强。nginx进程模型 
nginx在启动后，在unix系统中会以daemon的方式在后台运行，后台进程包含一个master进程和多个worker进程。nginx是以多进程的方式来工作的，当然nginx也是支持多线程的方式的，只是主流的方式还是多进程的方式，也是nginx的默认]]></description><category></category></item><item><title><![CDATA[Python 采用Scrapy爬虫框架爬取豆瓣电影top250]]></title><link>https://blog.youkuaiyun.com/dylanzr/article/details/51764694</link><guid>https://blog.youkuaiyun.com/dylanzr/article/details/51764694</guid><author>dylanzr</author><pubDate>Sun, 26 Jun 2016 21:49:28 +0800</pubDate><description><![CDATA[scrapy 简介在此，默认已经安装好Scrapy，如果没有安装可以到scrapy 官网下载安装。
  注意： 在安装Scrapy之前首先需要安装一下python第三方库：（安装方法并不在本文讲解范围，请自行了解）
scrapy 爬取网页
  scrapy 不同于简单的单线程爬虫，采用scrapy 
  框架写python爬虫需要生成许多个文件，这一件类似于java里面的web框架，许多工作都可以通]]></description><category></category></item></channel></rss>