- 博客(10)
- 收藏
- 关注
RSS订阅原创 Kafka的三种消费模式
自动提交offset 以下实例代码展示了如何自动提交topic的offset：public void autoOffsetCommit() { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.i...
2017-06-01 15:44:19
3712
原创 配置MapReduce内存
1. Container内存使用的监控 NodeManager作为Yarn运行中的一个守护进程，其中一个职责是监控运行在节点上的container，通常包含每个容器的内存使用。 为监控容器的内存使用情况，在Yarn的配置文件yarn-site.xml中配置yarn.nodemanager.container-monitor.interval-ms属性遍历当前正在...
2016-12-29 16:55:21
1041
原创 Ubuntu下idea如何中文输入
最近在ubuntu16.04上使用idea，可是无法输入中文，经测试，在idea的bin目录下idea.sh文件中添加如下两行可以解决中文无法输入的问题：export XMODIFIERS=@im=fcitxexport QT_IM_MODULE=fcitx...
2016-07-15 18:56:37
523
原创 spark资源分配优化
资源参数调优 了解完了Spark作业运行的基本原理之后，对资源相关的参数就容易理解了。所谓的Spark资源参数调优，其实主要就是对Spark运行过程中各个使用资源的地方，通过调节各种参数，来优化资源使用的效率，从而提升Spark作业的执行性能。以下参数就是Spark中主要的资源参数，每个参数都对应着作业运行原理中的某个部分，我们同时也给出了一个调优的参考值。num-executors...
2016-05-23 09:10:02
660
原创 spark shuffle的部分优化参数说明
以下是Shffule过程中的一些主要参数，这里详细讲解了各个参数的功能、默认值以及基于实践经验给出的调优建议。spark.shuffle.file.buffer 1、默认值：32k 参数说明：该参数用于设置shuffle write task的BufferedOutputStream的buffer缓冲大小。将数据写到磁盘文件之前，会先写入buffer缓冲中，待缓冲写满之后，才会溢写到...
2016-05-20 11:37:17
236
原创 spark的部分配置参数
spark.executor.num=3spark.executor.cores=4spark.executor.memory=2gspark.shuffle.compress=truespark.storage.memoryFraction=0.3spark.yarn.executor.memoryOverhead=768spark.shuffle.memoryFrac...
2016-05-17 09:49:46
160
原创 hdfs ha的操作步骤
hadoop的ha操作流程，本操作是利用ambari完成，如果不是使用ambari，可以参考，要保证其中命令的执行顺序。如果是手动安装hadoop的ha时，可以参考以下执行的命令，但是要保证命令执行的顺序。 hadoop2.0以后的版本支持HA，如图安装HDFS的HA，保证节点在三个以上。 1. 安装流程从下图开始： 2....
2016-05-09 16:07:20
295
原创 hadoop namenode safe mode
如果在使用hadoop集群中出现namenode处于safemode错误提示时，使用以下命令解除namenode的safemode模式：$HADOOP_HOME/bin/hadoop dfsadmin -safemode leave
2016-05-09 15:12:27
165
原创 Hive优化的五种方式
hive执行优化：1. 使用tez[code language=”SQL”]set hive.execution.engine=tez;[/code]设置以上属性后，每次hive查询都会利用tez执行任务。2. 使用ORCFile存储数据Hive支持ORCFile， [code language=”SQL”] CREATE TABLE A_ORC (...
2016-03-14 16:14:20
628
原创 hadoop ha出现namenode全部为standby状态
1. 停止主备节点上的namenode2. 删除namenode和datanode上的data目录3. 在主节点上重新格式化namenode4. 启动journalnode节点：hadoop-daemon.sh start journalnode5. 启动备份节点的namenode：hadoop-daemon.sh start namenode5. 格式化ZKFC：sh bin...
2015-04-14 12:35:17
732
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人