<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[硅谷纵横]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/mingming156</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; mingming156]]></copyright><item><title><![CDATA[spark调优]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/124661946</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/124661946</guid><author>mingming156</author><pubDate>Mon, 09 May 2022 11:07:21 +0800</pubDate><description><![CDATA[目录

1、资源调优

1.1、分配更多的资源

1.2、提高并行度

2、开发调优

2.1、RDD的重用和持久化

2.2、广播变量的使用

2.3、尽量避免使用shuffle类算子

2.4、 使用高性能的算子

2.5、使用Kryo优化序列化性能

2.6、使用fastutil优化数据格式

2.7、调节数据本地化等待时长

3、基于spark内存模型调优

3.1、spark中executor内存划分

3.2、 spark的内存模型

3.3、 任务提交脚本参考

4、shuffle相关参数..]]></description><category></category></item><item><title><![CDATA[记flume部署过程中遇到的问题以及解决方法]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/103100829</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/103100829</guid><author>mingming156</author><pubDate>Sat, 16 Nov 2019 17:23:41 +0800</pubDate><description><![CDATA[项目需求是将线上服务器生成的日志信息实时导入kafka，采用agent和collector分层传输，app的数据通过thrift传给agent，agent通过avro sink将数据发给collector，collector将数据汇集后，发送给kafka，拓扑结构如下：






现将调试过程中遇到的问题以及解决方法记录如下：

1、 [ERROR - org.apache.thrift.s...]]></description><category></category></item><item><title><![CDATA[Ambari2.7.1安装配置]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/100039866</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/100039866</guid><author>mingming156</author><pubDate>Fri, 23 Aug 2019 15:43:56 +0800</pubDate><description><![CDATA[一、配置说明
1. 硬件环境
节点类型 操作系统 ip地址 主机名 说明
主节点 Centos-7 192.168.162.41 node1.ambari.com 内存：8G+
从节点 Centos-7 192.168.162.42 node2.ambari.com 内存：8G+
从节点 Centos-7 192....]]></description><category></category></item><item><title><![CDATA[[Hive]JsonSerde使用指南]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/96476944</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/96476944</guid><author>mingming156</author><pubDate>Fri, 19 Jul 2019 11:13:35 +0800</pubDate><description><![CDATA[注意：



重要的是每行必须是一个完整的JSON，一个JSON不能跨越多行，也就是说，serde不会对多行的Json有效。 因为这是由Hadoop处理文件的工作方式决定，文件必须是可拆分的，例如，Hadoop将在行尾分割文本文件。






	// this will work
	
	
	{ "key" : 10 }
	
	
	
	// this will not work
	
	
	{...]]></description><category></category></item><item><title><![CDATA[jvm优化     JVM 内存大小设置]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/80776293</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/80776293</guid><author>mingming156</author><pubDate>Fri, 22 Jun 2018 17:11:27 +0800</pubDate><description><![CDATA[Tomcat本身不能直接在计算机上运行，需要依赖于硬件基础之上的操作系统和一个Java虚拟机。Tomcat的内存溢出本质就是JVM内存溢出，所以在本文开始时，应该先对Java JVM有关内存方面的知识进行详细介绍。一、Java JVM内存介绍JVM管理两种类型的内存，堆和非堆。按照官方的说法：“Java 虚拟机具有一个堆，堆是运行时数据区域，所有类实例和数组的内存均从此处分配。堆是在 Java 虚...]]></description><category></category></item><item><title><![CDATA[内存溢出问题-----Linux 下修改Tomcat使用的JVM内存大小]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/80775831</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/80775831</guid><author>mingming156</author><pubDate>Fri, 22 Jun 2018 17:10:14 +0800</pubDate><description><![CDATA[常见的内存溢出有以下两种:java.lang.OutOfMemoryError: PermGen spacejava.lang.OutOfMemoryError: Java heap space ---------------------------------------------------------这里以tomcat环境为例，其它WEB服务器如jboss,weblogic等是同一个道理。...]]></description><category></category></item><item><title><![CDATA[hue4.0安装遇及遇到的问题]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/80708459</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/80708459</guid><author>mingming156</author><pubDate>Fri, 15 Jun 2018 17:52:14 +0800</pubDate><description><![CDATA[Centos6.5环境下Hue4.0.1的安装配置
1.安装依赖
yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel ope...]]></description><category></category></item><item><title><![CDATA[hue4.0的安装和配置]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/80708260</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/80708260</guid><author>mingming156</author><pubDate>Fri, 15 Jun 2018 17:49:47 +0800</pubDate><description><![CDATA[依赖安装： sudo yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel python-dev...]]></description><category></category></item><item><title><![CDATA[Supervisor的安装与使用]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/80481706</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/80481706</guid><author>mingming156</author><pubDate>Mon, 28 May 2018 14:21:58 +0800</pubDate><description><![CDATA[Supervisor是一个进程监控程序。满足的需求是：我现在有一个进程需要每时每刻不断的跑，但是这个进程又有可能由于各种原因有可能中断。当进程中断的时候我希望能自动重新启动它，此时，我就需要使用到了Supervisor.先弄懂两个命令:supervisord : supervisor的服务器端部分，启动supervisor就是运行这个命令supervisorctl：启动supervisor的命令行...]]></description><category></category></item><item><title><![CDATA[Spark开发性能调优]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79914971</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79914971</guid><author>mingming156</author><pubDate>Thu, 12 Apr 2018 15:47:01 +0800</pubDate><description><![CDATA[Spark开发性能调优标签（空格分隔）： Spark–Write By Vin1. 分配资源调优Spark性能调优的王道就是分配资源,即增加和分配更多的资源对性能速度的提升是显而易见的,基本上,在一定范围之内,增加资源与性能的提升是成正比的,当公司资源有限,能分配的资源达到顶峰之后,那么才去考虑做其他的调优如何分配及分配哪些资源在生产环境中,提交spark作业时,使用spark-submit sh...]]></description><category></category></item><item><title><![CDATA[Hadoop1.0与Hadoop2.0的区别]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79783477</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79783477</guid><author>mingming156</author><pubDate>Sun, 01 Apr 2018 23:38:56 +0800</pubDate><description><![CDATA[一、从Hadoop整体框架来说        Hadoop1.0即第一代Hadoop，由分布式存储系统HDFS和分布式计算框架MapReduce组成，其中HDFS由一个NameNode和多个DateNode组成，MapReduce由一个JobTracker和多个TaskTracker组成。        Hadoop2.0即第二代Hadoop为克服Hadoop1.0中的不足：针对Hadoop1.0...]]></description><category></category></item><item><title><![CDATA[Hadoop1.0和Hadoop2.0的区别]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79783434</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79783434</guid><author>mingming156</author><pubDate>Sun, 01 Apr 2018 23:33:41 +0800</pubDate><description><![CDATA[什么是Hadoop1.0？Hadoop1.0即第一代Hadoop，指的是版本为Apache Hadoop 0.20.x、1.x或者CDH3系列的Hadoop，内核主要由HDFS和MapReduce两个系统组成，其中MapReduce是一个离线处理框架，由编程模型（新旧API）、运行时环境（JobTracker和TaskTracker）和数据处理引擎（MapTask和ReduceTask）三部分组成...]]></description><category></category></item><item><title><![CDATA[HDFS集群启动过程详解]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79783418</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79783418</guid><author>mingming156</author><pubDate>Sun, 01 Apr 2018 23:30:33 +0800</pubDate><description><![CDATA[HDFS的启动过程和关闭过程都经过脚本进行了封装，只需要执行start-all.sh和stop-all.sh就可以。操作较简单。下面针对启动阶段的原理和详细过程进行说明，对关闭过程目前还没有调研，所以暂缺。HDFS的启动分三步骤：l  第一步，启动namenode；l  第二步，启动datanode；l  第三步，启动Secondary namenode。下面一一描述。第一步，启动namenode...]]></description><category></category></item><item><title><![CDATA[保存]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79742853</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79742853</guid><author>mingming156</author><pubDate>Thu, 29 Mar 2018 14:59:52 +0800</pubDate><description><![CDATA[欢迎大家，加入我的微信公众号：大数据躺过的坑     免费给分享   同时，大家可以关注我的个人博客：   http://www.cnblogs.com/zlslch/   和  http://www.cnblogs.com/lchzls/  　　人生苦短，我愿分享。本公众号将秉持活到老学到老学习无休止的交流分享开源精神，汇聚于互联网和个人学习工作的精华干货知识，一切来于互联网，反馈回互联网。　　...]]></description><category></category></item><item><title><![CDATA[Spark的算子的分类]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79742827</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79742827</guid><author>mingming156</author><pubDate>Thu, 29 Mar 2018 14:59:18 +0800</pubDate><description><![CDATA[从大方向来说，Spark 算子大致可以分为以下两类:     1）Transformation 变换/转换算子：这种变换并不触发提交作业，完成作业中间过程处理。　　　　　Transformation 操作是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。     2）Action 行动算子：这类算子会触发 Sp...]]></description><category></category></item><item><title><![CDATA[SQL语句]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79573666</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79573666</guid><author>mingming156</author><pubDate>Thu, 15 Mar 2018 20:38:29 +0800</pubDate><description><![CDATA[基础创建数据库CREATE DATABASE database-name 
12删除数据库drop database dbname
12备份sql server创建 备份数据的 device USE master
EXEC sp_addumpdevice 'disk', 'testBack', 'c:\mssql7backup\MyNwind_1.dat'
123开始 备份BACKUP DATAB...]]></description><category></category></item><item><title><![CDATA[机器学习入门介绍]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79531113</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79531113</guid><author>mingming156</author><pubDate>Mon, 12 Mar 2018 18:56:45 +0800</pubDate><description><![CDATA[让我们从机器学习谈起导读：在本篇文章中，将对机器学习做个概要的介绍。本文的目的是能让即便完全不了解机器学习的人也能了解机器学习，并且上手相关的实践。当然，本文也面对一般读者，不会对阅读有相关的前提要求。 在进入正题前，我想读者心中可能会有一个疑惑：机器学习有什么重要性，以至于要阅读完这篇非常长的文章呢？ 我并不直接回答这个问题前。相反，我想请大家看两张图，下图是图一：图1 机器学习界的执牛耳者与互...]]></description><category></category></item><item><title><![CDATA[解决eclipse/myeclipse导入项目时出现红色叹号的方法]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79397906</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79397906</guid><author>mingming156</author><pubDate>Wed, 28 Feb 2018 11:12:45 +0800</pubDate><description><![CDATA[如图所示在导入项目时出现红色叹号，解决方法主要分为如下几个步骤。1.右击出现红色叹号的项目，然后选择build path----&amp;gt;configure build path,会弹出如下窗口，选择Libraies,将里面出现红色错误标记的路径删除。  没有错误的无须删除。2.删除带有错误的路径之后，在点击ADD External JARs.......选项，将项目里面的jar包路径重新加载进去，...]]></description><category></category></item><item><title><![CDATA[Hadoop-源码分析--FileSystem的创建过程]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79003484</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79003484</guid><author>mingming156</author><pubDate>Mon, 08 Jan 2018 15:30:09 +0800</pubDate><description><![CDATA[HDFS，即Hadoop Distributed File System，为Hadoop的分布式文件系统。其实除了HDFS外，hadoop还支持其它类型的文件系统，比如FTP、本地文件系统等，而这些文件系统都扩展自抽象基础类FileSystem，该抽象类类提供了丰富的方法用于对文件系统进行操作，比如创建目录、删除文件、重命名等。无论使用的是HDFS还是本地文件系统，或者其它所支持的文件系统，推荐在]]></description><category></category></item><item><title><![CDATA[Hadoop-源码分析--HDFS读取文件]]></title><link>https://blog.youkuaiyun.com/mingming156/article/details/79003430</link><guid>https://blog.youkuaiyun.com/mingming156/article/details/79003430</guid><author>mingming156</author><pubDate>Mon, 08 Jan 2018 15:28:06 +0800</pubDate><description><![CDATA[在上一篇文章《Hadoop-源码分析--FileSystem的创建过程》中我们分析了HDFS的DistributedFileSystem对象的创建过程，之后就可以按照HDFS的API对HDFS中的文件和目录进行操作了，如列出某个目录中的文件和子目录、读取文件、写入文件等。与使用Java
 IO读取本地文件类似，读取HDFS文件其实就是创建一个文件输入流，在Hadoop中使用FileSystem.]]></description><category></category></item></channel></rss>