- 博客(10)
- 资源 (215)
- 收藏
- 关注
原创 hadoop 参数优先级
MR程序中,hadoop的运行参数一般通过configuration从core-site.xml等xml文件中读取,也可以通过在hadoop jar -D{name}={value}的方式提供,而后者有着更高的优先级,在两者指定的参数重复时,后者可以覆盖前者。依据:Hadoop技术内幕 深入解析HADOOP COMMON 和 HDFS 架构设计实现原理 第33页...
2019-01-02 17:51:54
474
原创 hadoop jar 部分通用参数
1. mapreduce.job.queuename=root.monitorMapReduce执行任务队列名称,不指定时使用默认队列2. mapreduce.map.memory.mb 和mapreduce.reduce.memory.mbScope<property> <name>mapreduce.map.memory.mb</name&am
2018-12-25 16:00:51
6056
原创 hadoop 输出的 *-m-0000文件和*-r-0000文件
临时记录,仅供参考在MR项目中,当Reduce函数中有落盘操作,且指定CombinerClass为Reduce函数,则输出结果文件为多个包含“-m-”的文件,如果不指定CombinerClass,则生成文件为包含“-r-”的单个文件。总结:MR程序在不同阶段落盘,生成的文件名和数量存在差异。...
2018-12-25 16:00:41
1362
原创 Ubuntu16.04 GCC4.6.1安装
因为安装CMAQ需要用GCC4.6版本。 安装脚本如下#install gcc 4.6MPFR=mpfr-2.4.2 GMP=gmp-4.3.2 MPC=mpc-0.8.1 rm -rf gcc-4.6.1 rm -rf gcc-build mkdir gcc-buildwget https://ftp.gnu.org/gnu/gcc/gcc-4.6.1/gcc...
2018-04-23 01:15:59
2000
1
原创 pyhton matlibplot 绘制三维柱状图
# -*- coding: utf-8 -*-"""Created on 11th Feb 24 10:58:13 2018@author: biggermax"""from matplotlib import pyplot as pltimport numpy as npfrom mpl_toolkits.mplot3d import Axes3Dfrom
2018-01-12 15:46:34
2382
原创 python 将0到1之间的浮点数简单映射成RGB颜色
#用于将将0到1之间的浮点数简单映射成RGB颜色def float2color(zero2one): x = zero2one * 256 * 256 * 256 r = x % 256 g = ((x - r)/256 % 256) b = ((x - r - g * 256)/(256*256) % 256) r = round(flo
2018-01-12 10:08:05
7919
原创 腾讯抛玻璃球问题
题目:腾讯大厦有39层,你手里有两颗一模一样的玻璃珠。当你拿着玻璃珠在某一层往下扔的时候,一定会有两个结果,玻璃珠碎了或者没碎。大厦有个临界楼层。低于它的楼层,往下扔玻璃珠,玻璃珠不会碎,等于或高于它的楼层,扔下玻璃珠,玻璃珠一定会碎。玻璃珠碎了就不能再扔。现在让你设计一种方式,使得在该方式下,最坏的情况扔的次数比其他任何方式最坏的次数都少。也就是设计一种最有效的方式。 个人思路: ...
2017-08-30 08:17:41
1416
转载 windows下 1067错误
我遇到的错误,端口被占用,我的mysql与tomcat使用了4049端口,既然是端口被占用就去查找占用者:netstat -aon|findstr 4049 然后去查找占用该端口的进程,tasklist |findstr 4049最后根据进程号杀掉正在运行的程序(视情况而定,不能杀就换端口)taskkill /pid 4049 /F再次重启,OK
2015-09-15 11:08:42
1081
pdfbox-2.0.18.jar
2021-09-12
pdfbox-2.0.17.jar
2021-09-12
pdfbox-3.0.0-RC1.jar
2021-09-12
pdfbox-2.0.20.jar
2021-09-12
pdfbox-2.0.16.jar
2021-09-12
pdfbox-2.0.14.jar
2021-09-12
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人