Jin__nan的博客

在我们平常的时候运行程序的时候会产生很多的信息，这些信息有时候有用，有时候没用，不过这些数据都会在该程序的log中保存，所以把这些信息放在前台就不是很好。我们可以将脚本放在后台运行，不要将这些信息显示出来。将shell放入后台运行比如：脚本名称：storm.sh后台运行： storm.sh &这样就会放入后台运行不占用前台的使用，他会返回给你一个进程号查看进程的时候...

前言在一个完整的大数据处理系统中，除了hdfs+mapreduce+hive组成分析系统的核心之外，还需要数据采集、结果数据导出、任务调度等不可或缺的辅助系统，而这些辅助工具在hadoop生态体系中都有便捷的开源框架，如图所示： Flume的一些简介Flume是一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统。Flume可以采集文件，socket数据包等各种形式源数据，...

构造一个外部表外部表的好处是删除external表，数据表的元数据不会被删除> create external table t_sz_ext(id int,name string)> row format delimited > fields terminated by '\t'> stored as textfield> location '/h...

hive读取文件教会hive怎么读文本数据这样直接读数据就是将文本文件上传到该数据表所在的hdfs的文件夹中hadoop fs -put studen.dat /user/hive/数据库名/表名hive> create table student(id int,name string)//创建表和属性> row formate delimited//教...

1、命令行界面中查看ip用 ip addr2、虽然centos默认安装了ssh但是也要重新安装ssh-server 在hadoop用户下安装 sudo yun install openssh-server3、命令行界面查看ssh就不是用service status sshd这样了 systemctl status sshd.ser...

图方便就直接在sudo vi /etc/sudoers中添加hadoop用户的root权限。 添加：用户名 ALL=(ALL) ALL结果就导致了接下来用sudo的时候提示如下错误:sudo: /etc/sudoers 可被任何人写sudo: 没有找到有效的 sudoers 资源，退出sudo: 无法初始化策略插件sudoers的权限被改了，改回来就好了...

文件系统树根目录 / linux中所有文件目录的最高级目录bin 用于存放命令文件sbin 用于存放系统级命令boot 用于存放系统的引导文件和系统的内核文件dev 用于存放硬件设备文件etc 用于存放配置文件home 家目录，用于存放普通用户的个人文件，类似于windows中的我的文档root root用户的家目录lib 运行库文件lib64 系统运行...

Linux的常见指令 发表于 2017-07-05 | 分类于 LinuxLINUX之前学校从外面请了一个Linux的培训师给我们上了几天课，也就是教了一些简单Linux命令.我就把这些东西整理了一下。培训教师:于天泽网上一些好的网站:linux公社Linux中国51ctoLinux最大的特点 1.开源 2.稳定性 3.安全性 4.高可用性文件系统树根目录 / linux中所有文件目录的最高级目

crontab定时器linux下的定时任务1、编辑使用crontab -e 一共6列，分别是：分、时、日、月、周、命令2、查看使用crontab -l3、删除任务crontab -r4、查看crontab执行日志 tail -f /var/log/cron 必须打开rsyslog服务cron文件中才会有执行日志（service rsyslog statu...