Thinking

文章来源：http://www.cnblogs.com/mchina/archive/2013/01/04/2842275.htmlCentOS yum 源的配置与使用一、yum 简介　　yum，是Yellow dog Updater, Modified 的简称，是杜克大学为了提高RPM 软件包安装性而开发的一种软件包管理器。起初是由yellow dog 这一发

文章来源：http://blog.jobbole.com/47023/互联网创业中大部分人都是草根创业，这个时候没有强劲的服务器，也没有钱去买很昂贵的海量数据库。在这样严峻的条件下，一批又一批的创业者从创业中获得成功，这个和当前的开源技术、海量数据架构有着必不可分的关系。比如我们使用mysql、nginx等开源软件，通过架构和低成本服务器也可以搭建千万级用户访问量的系统

文章来源：http://www.360sdn.com/tomcat/2014/0424/3115.htmlLinux下设置export JAVA_OPTS选项进行tomcat JVM内存设置常见的内存溢出有以下两种:java.lang.OutOfMemoryError: PermGen spacejava.lang.OutOfMemoryError: Java

文章来源：http://www.jb51.net/LINUXjishu/183047.html这篇文章主要介绍了linux mail命令用法浅析,分别讲解了邮件发送方法、发送附件的方法、查看邮件的方法等,需要的朋友可以参考下在这里整理一下Linux中mail命令的使用。mail也是一个常用的命令，我们在很多地方都要用到它，比如定时把系统状况或日志

文章来源：http://blog.youkuaiyun.com/doc_sgl/article/details/41653641自己写了个脚本，让crond来周期性执行脚本进行备份，但是在crontab -e里面加入了执行脚本之后，发现没有执行，后来分析了一下，crond不执行的原因主要有以下几个方面：1、crond服务没启动service crond start

文章来源：http://www.jb51.net/LINUXjishu/82069.htmlLinux系统下使用mail发送Internet邮件，在介绍mail之前先来看一下先来看一下sendmail服务用惯了windows系统的用户可能一开始对linux系统掌握不好，很多功能可能用起来不是很习惯。本文就介绍了linux系统的一个小应用：在Linux系统

文章来源：实战：http://www.im286.com/thread-5000085-1-1.html使用crond 在linux中定时执行任务 定期运行程序或者脚本是管理员要面临一个很普遍的问题 一、 使用crond监控程序运行程序 1. 使用cron来定期执行任务 使用crond (cron监控程序)来定期运行一些任务，比如备份

文章来源：http://blog.youkuaiyun.com/allenlinrui/article/details/7490206使用crontab你可以在指定的时间执行一个shell脚本或者一系列Linux命令。例如系统管理员安排一个备份任务使其每天都运行入门# crontab –e这样可以已编辑模式打开个人的crontab配置文件，然后加入一下这行：

文章来源：http://blog.youkuaiyun.com/zilong00007/article/details/668109014.2  读取用户输入14.2.1  变量上一章我们谈到如何定义或取消变量，变量可被设置为当前shell的局部变量，或是环境变量。如果您的shell脚本不需要调用其他脚本，其中的变量通常设置为脚本内的局部变量(参见第13.10节“变量”)。

文章来源：http://my.oschina.net/zengjie/blog/197960摘要 最近公司计划要上线SolrCloud，在这方面研究了一下下，碰到了不少问题，后来看了一遍Wiki才发现好多问题都有说明，是可以避免的，看来要改一下这种不看文档的毛病了，所以这里把新版SolrCloud wiki翻译并且记录一下，加以巩固 原文地址 https://cwiki.a

文章来源：http://blog.youkuaiyun.com/cuilanbo/article/details/8469938我们最近遇到一个问题，hdfs硬盘空间不足。各位有没有遇到类似的问题呢？仔细分析了一下，发现hdfs下有这样一类文件，留之无大用，弃之可惜。比如说最原始的日志文件........本来留下他是用来做保险的，但是不一定能用的上，并且占据很大空间

文章来源：http://blog.sina.com.cn/s/blog_4a1f59bf01010yhp.html前言保证HDFS高可用是Hadoop被推广以来很多技术人员一直关心的问题，通过搜索引擎搜索也可以得到很多的方案。恰逢HDFS Federation出炉，本文将一些涉及到有关NameNode、SecondaryNameNode、BackupNode的含义与区别，以及HDFS

Lambda架构与推荐在电商网站实践2015-11-24 16:36| 发布者: 炼数成金_小数| 查看: 14636| 评论: 0|原作者: 王富平|来自: 高可用架构摘要: 高可用架构分享及传播在架构领域具有典型意义的文章，本文根据王富平分享记录。转载请注明高可用架构公众号ArchNotes。王富平现为1号店搜索与精准化部门架构师，之前在百度从事数据挖掘相关工作

文章来源：http://blog.youkuaiyun.com/beiyeqingteng/article/details/7010411引子：我们平时总会有一个电话本记录所有朋友的电话，但是，如果有朋友经常联系，那些朋友的电话号码不用翻电话本我们也能记住，但是，如果长时间没有联系了，要再次联系那位朋友的时候，我们又不得不求助电话本，但是，通过电话本查找还是很费时间的。但是，我们大脑能够记

文章来源：http://anyoneking.com/archives/594Hadoop集群中引入新DataNode节点2013-04-10 19:34   | By: 懒散狂徒  | Hadoop  | 13,717 views  | 抢沙发   | 例如新增的节点ip为192.168.1.xxx在所有nn和dn节点上增加192.168.1.xxx

文章来源：http://anyoneking.com/archives/594hadoop数据节点通信异常2013-04-21 16:37   | By: 懒散狂徒  | Hadoop  | 13,898 views  | 抢沙发   | 在前几天，我们的hadoop集群很不稳定。经常会有1个数据节点挂掉。使用jps查看，tasktracker和datanode均正

ip设置，网关设置，主机名设置，ip和主机名映射关系设置，域名服务器设置①   /etc/sysconfig/network-scripts/ifcfg-eth0                                   修改IPADDR、NETMASK、GATEWAY、DHCP[static或者dynamic]②   /etc/sysconfig/network/    ...

文章来源：http://blog.youkuaiyun.com/yangbutao/article/details/8445630 hadoop一般用在离线的分析计算中，而storm区别于hadoop，用在实时的流式计算中，被广泛用来进行实时日志处理、实时统计、实时风控等场景，当然也可以用在对数据进行实时初步的加工，存储到分布式数据库中如HBase，便于后续的查询。    面对的大

文章来源：http://blog.youkuaiyun.com/vickyrocker1/article/details/47299391[root@namenode hadoop-2.6.0]# bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount hdfsInput hdf

文章来源：http://blog.youkuaiyun.com/vickyrocker1/article/details/47341183之前在mac上调试hadoop程序（mac之前配置过hadoop环境）一直都是正常的。因为工作需要，需要在windows上先调试该程序，然后再转到linux下。程序运行的过程中，报 Failed to locate the winutils binary

文章来源：http://blog.youkuaiyun.com/hittata/article/details/7042779linux  shell 按行循环读入文件常用代码如下：[html] view plaincopy#/bin/bash    printf "****************************

文章来源：http://blog.chinaunix.net/uid-23733005-id-76686.html【多篇文章将shell基础，可以去观看】读完这个，＆＆和｜｜仍然没有花心思去看，所以还木有理解。先说说后面的正则表达式吧！觉得挺好玩的！之前先看看()和{}的区别：（注意：前括后的后面和后括号的前面是有空格的）当你希望执行读多个命令的时候，会用到上面的两个括号。

文章来源：http://www.360doc.com/content/14/0228/23/6496277_356595204.shtml在Linux下实现批量删除文件的方法很多，而正如标题中所提到的一样。想要对某一时间段内的文件进行删除，可以通过find实现，find中有几个关于指定时间的参数。而且find还可以指定删除比某个文件的时间早或比别一个文件时间晚的所有文件进行删除

文章来源：http://jiajun.iteye.com/blog/387265  记录这个事情是上次完成之后，今天要新加一个文件夹，一时之间忘记以前怎么做了，因为有几种方法，起码我知道三种方法，这里记录一笔以前的做法，觉得最简单：操作系统：CentOS-5.2目      标：开机自动挂载局域网中windows的共享目录 一、roo

文章来源：http://blog.youkuaiyun.com/cuilanbo/article/details/8482295hadoop集群跑了很多的任务后在hadoop.log.dir目录下会产生大量的日志文件。可以通过配置core-site.xml文件让集群自动清除日志文件：[html] view plaincopyprint?

文章来源：首先建议datanode和tasktracker分开写独立的exclude文件，因为一个节点即可以同时是datanode和tasktracker，也可以单独是datanode或tasktracker。 1、删除datanode修改namenode上的hdfs-site.xml[plain] view plaincopypri

1：添加节点A：新节点中添加账户，设置无密码登陆B：Name节点中设置到新节点的无密码登陆C：在Name节点slaves文件中添加新节点D：在所有节点/etc/hosts文件中增加新节点（所有节点保持一致）E：在新节点中执行./bin/hadoop-daemon.sh start datanode./bin/hadoop-daemon.sh start tas

文章来源：http://www.cnblogs.com/huligong1234/p/4137133.html一.hadoop集群环境配置 参考我的前一篇文章（ubuntu + hadoop2.5.2分布式环境配置 http://www.cnblogs.com/huligong1234/p/4136331.html） 但本人配置时还修改了如下内容(由于你的环境和

文章来源：http://blog.youkuaiyun.com/poisonchry/article/details/27535333hadoop的eclipse插件hadoop-eclipse-plugin-1.2.1.jar 下载地址【0积分下载】：http://download.youkuaiyun.com/detail/poisonchry/7412615配置hadoop-

http://www.tuicool.com/articles/iieIz2

文章来源：http://www.111cn.net/sys/linux/63027.htm下面来看一段linxu中删除指定时间之前的文件shell脚本，有需要了解的朋友可参考一下，方法非常的简单实用我自己也使用的这段代码公司要求删除一个月之前的备份文件,免得把硬盘给整爆了,上服务器看了下,居然都有3个月的备份没有清理了,还好是sql备份,不然硬盘空间早就满了.下

文章来源：http://blog.youkuaiyun.com/wojiaopanpan/article/details/7286430关键字: linux 查进程、杀进程、起进程1.查进程    ps命令查找与进程相关的PID号：    ps a 显示现行终端机下的所有程序，包括其他用户的程序。    ps -A 显示所有程序。    ps c 列出程序时，显示每个程序真正的

文章来源：http://blog.chinaunix.net/uid-26446098-id-3261790.html今天弄了一天的虚拟机linux连接外网的问题.终于弄成功了。把问题都整理出来，以防以后忘记我安装的是redhat linux 5.4（64位）.在安装的界面的时候，就配置了ip，子网掩码，网关，（没有配置DNS）.虚拟机使用的是bridged.

#!/bin/bash#[测试]#ls /aa &>>aa.txt|| echo $?#吧输出结果输入到日志中【测试】#! [ `ls /home &>> aa.txt||echo $?` -gt 0 ] && echo 'chengggong' || echo 'shibai' #第一个命令执行成功，则输出成功，失败则输出失败，运行结果和错误都输出到一个文件中ls /ro

文章来源：http://www.cnblogs.com/lr-ting/archive/2013/02/28/2936792.htmlshell脚本中echo显示内容带颜色显示,echo显示带颜色，需要使用参数-e 格式如下： echo -e "\033[字背景颜色；文字颜色m字符串\033[0m" 例如： echo -e "\033[41;36m so

一直使用vmware workstation的NAT方式联网，但是从没有用虚拟机访问外网过，今天突然需要使用了，可是就是无法连接。现在记录下来NAT方式连接外网的过程首先把关于vmware workstation安装程序在host创建出来的vm8虚拟网卡功能进行说明很多人都会以为该虚拟网卡，就是为workstation中NAT方式连接外网所使用的网卡，其实不然，这个虚拟

文章来源：http://blog.chinaunix.net/uid-7754265-id-2561605.html题目：获取昨天的时间 在备份的时候，通常需要备份前天的文件，这些文件是以日期命名的。 date命令可以显示当前时间，如果知道这个，你肯定会想到用脚本来实现，下面的脚本 确实可以获取昨天的日期，而且准确： ################ SHE

总结中。。。

Linux自带了ntp服务 -- /etc/init.d/ntpd，这个服务不仅可以设置让本机和某台/某些机器做时间同步，他本身还可以扮演一个time server的角色，让其他机器和他同步时间。配置文件就是/etc/ntp.conf。 为了测试，在公司设置让sales -- 192.168.0.3和router -- 192.168.0.1做时间同步。router做time se

文章：http://emb.sunplusedu.com/answer/2013/0613/1676.html