Jin__nan的博客

在我们平常的时候运行程序的时候会产生很多的信息，这些信息有时候有用，有时候没用，不过这些数据都会在该程序的log中保存，所以把这些信息放在前台就不是很好。 我们可以将脚本放在后台运行，不要将这些信息显示出来。 将shell放入后台运行 比如：脚本名称：storm.sh 后台运行： storm.sh & 这样就会放入后台运行不占用前台的使用，他会返回给你一个进程号 查看进程的时候...

前言 在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： Flume的一些简介 Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。 Flume可以采集文件，socket数据包等各种形式源数据，...

构造一个外部表 外部表的好处是删除external表，数据表的元数据不会被删除 > create external table t_sz_ext(id int,name string) > row format delimited > fields terminated by '\t' > stored as textfield > location '/h...

hive读取文件 教会hive怎么读文本数据 这样直接读数据就是将文本文件上传到该数据表所在的hdfs的文件夹中 hadoop fs -put studen.dat /user/hive/数据库名/表名 hive> create table student(id int,name string) //创建表和属性 > row formate delimited //教...

1、命令行界面中查看ip用 ip addr 2、虽然centos默认安装了ssh但是也要重新安装ssh-server 在hadoop用户下安装 sudo yun install openssh-server 3、命令行界面查看ssh就不是用service status sshd这样了 systemctl status sshd.ser...

图方便就直接在sudo vi /etc/sudoers中添加hadoop用户的root权限。 添加：用户名 ALL=(ALL) ALL 结果就导致了接下来用sudo的时候提示如下错误: sudo: /etc/sudoers 可被任何人写 sudo: 没有找到有效的 sudoers 资源，退出 sudo: 无法初始化策略插件 sudoers的权限被改了，改回来就好了...

文件系统树 根目录 / linux中所有文件目录的最高级目录 bin 用于存放命令文件 sbin 用于存放系统级命令 boot 用于存放系统的引导文件和系统的内核文件 dev 用于存放硬件设备文件 etc 用于存放配置文件 home 家目录，用于存放普通用户的个人文件，类似于windows中的我的文档 root root用户的家目录 lib 运行库文件 lib64 系统运行...

Linux的常见指令 发表于 2017-07-05 | 分类于 LinuxLINUX之前学校从外面请了一个Linux的培训师给我们上了几天课，也就是教了一些简单Linux命令.我就把这些东西整理了一下。培训教师:于天泽 网上一些好的网站:linux公社Linux中国51ctoLinux最大的特点 1.开源 2.稳定性 3.安全性 4.高可用性文件系统树根目录 / linux中所有文件目录的最高级目

crontab定时器 linux下的定时任务 1、编辑使用crontab -e 一共6列，分别是：分、时、日、月、周、命令 2、查看使用crontab -l 3、删除任务crontab -r 4、查看crontab执行日志 tail -f /var/log/cron 必须打开rsyslog服务cron文件中才会有执行日志（service rsyslog statu...