- 博客(15)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 Hadoop集群优化-关闭THP
操作系统重启导致Transparent Hugepages（THP，页面内存透明化）开启 为提升hadoop性能，hadoop环境上要求关闭Transparent Hugepages（THP，页面内存透明化）， 但是操作系统重启后会自动开启Transparent Hugepages（THP，页面内存透明化）。 在Suse系统，解决方法： /etc/init.d 下的几个档案
2015-09-07 23:46:39
2756
原创 Hadoop压缩类型
压缩类型 工具 算法 文件名后缀 可分割 DEFLAT 无 DEFLAT .deflat 不 gzip gzip DEFLAT .gz 不 bzip2 bzip2 bzip2 .bz2
2015-09-07 23:37:40
767
原创 Hadoop2.2.0 HA高可用分布式集群搭建(hbase,hive,sqoop,spark)
1 需要软件 Hadoop-2.2.0 Hbase-0.96.2（这里就用这个版本，跟Hadoop-2.2.0是配套的，不用覆盖jar包什么的） Hive-0.13.1 Zookeepr-3.4.6（建议使用Zookeepr-3.4.5，这样就不用替换storm和hive里面的zookeepr-3.4.5.jar了） Sqoop1.4.5 Scala-2.10.4 Spark-1.0
2015-09-07 23:07:15
4970
原创 storm解除twitter4jar包依赖的方法
在进行storm构建时，经常性遇到twitter4j-core和twitter4j-stream组件报错，并且下载的时候根本不动，主要原因twitter这些关键字被和谐过滤了。 找到网上说更改version的方法，更改完也一直不成功，然后就干脆自己直接下载jar包，自己安装了。 安装方法如下： 1.下载twitter4j.zip，地址为： http://pan.baidu.com/s/1
2014-12-11 20:28:56
751
转载 storm和spark的比较
对Spark、Storm以及Spark Streaming引擎的简明扼要、深入浅出的比较，原文发表于踏得网。 Spark基于这样的理念，当数据庞大时，把计算过程传递给数据要比把数据传递给计算过程要更富效率。每个节点存储（或缓存）它的数据集，然后任务被提交给节点。 所以这是把过程传递给数据。这和Hadoop map/reduce非常相似，除了积极使用内存来避免I/O操作，以使
2014-11-26 12:55:06
1442
原创 好用的linux命令
1. 查看cpu more/proc/cpuinfo | grep name | cut -f2 -d: | uniq -c 2. 查看
2014-10-28 19:14:49
843
原创 用scp后台传输文件，用rsync进行断点续传
用nohup命令 $nohup scpfile_to_copy user@server:/path/to/copy/the/file > nohup.out 2>&1 这时候还不是在后台运行，你需要输入密码， 接着按ctr+z去暂停命令， 然后用bg命令 Shell代码 bg 这个时候， 即使你关闭PUTTY， SCP还是在后台运行， 直到
2014-10-21 09:31:26
2774
转载 栈和堆的区别
栈是有编程器在程序运行时分配的空间，有操作系统维护。堆是由函数分配的内存块（如c中的malloc（）），内存的管理有程序员手动控制。 区别： 1.管理方式不同： 程序员在运行时栈由操作系统自动管理，无须程序员手工控制；而堆空间的申请、释放工作由程序员控制，容易产生内存泄露。 2.空间大小不同 栈是向低地址扩展，是一快连续的内存区域。即栈顶的地址和栈的最大容量是系统预先规定好的，当申请的空
2013-10-25 11:18:55
748
转载 栈和堆的区别
栈是有编程器在程序运行时分配的空间，有操作系统维护。堆是由函数分配的内存块（如c中的malloc（）），内存的管理有程序员手动控制。 区别： 1.管理方式不同： 程序员在运行时栈由操作系统自动管理，无须程序员手工控制；而堆空间的申请、释放工作由程序员控制，容易产生内存泄露。 2.空间大小不同 栈是向低地址扩展，是一快连续的内存区域。即栈顶的地址和栈的最大容量是系统预先规定好的，当申请的空
2013-10-25 11:17:40
761
原创 最佳路由选择原则
1.有效的下一跳IP地址：路由进程收到更新和其他信息后，路由器首先检查路由的下一跳IP地址是否有效 2.度量值：如果下一跳有效，路由协议将按度量值最小的原则来选择到给定目的地的最佳路径。然后，路由协议将选择的路径加入到路由表中 3.管理距离：接下来需要考虑的是管理距离。如果从不同路由获悉了多条前往同一个网络的路由（前缀相同），路由器将根据路由来源的管理距离来决定哪条路由加入到路由表中。管理距离
2013-10-24 00:34:12
7158
原创 忘记root密码，修改的方法
1. 假若忘记用户密码，可以通过在root上passwd改变密码 2. 如果忘记了root密码，系统都进步了要怎么办呢？ a) 此时只能进入当用户模式进入系统，因为在进入单用户模式时，是不用密码的，且不启动任何服务。 b) 进入单用户模式：在启动系统，进入倒数的界面时，按上下键进入引导界面。 按“e”课进入编辑界面 进入ker
2013-10-22 01:50:55
1000
原创 删除找不到指定文件夹的方法
1、用文件编辑器，键入以下列命令： DEL /F /A /Q \\?\%1 RD /S /Q \\?\%1 并保存为. xxx.bat的批处理文件. 2 再把要删除的文件或者目录直接拖放到这个bat文件图标上就可以删除了.
2013-10-15 13:40:18
944
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人