- 博客(27)
- 收藏
- 关注
RSS订阅原创 JAVA初级篇之环境部署
第一步单击“计算机-属性-高级系统设置”，单击“环境变量”。在“系统变量”栏下单击“新建”，创建新的系统环境变量。(1)新建->变量名"JAVA_HOME"，变量值"C:\Java\jdk1.8.0_05"（即JDK的安装路径）(2)编辑->变量名"Path"，在原变量值的最后面加上“;%JAVA_HOME%\bin;%JAVA_HOME%\jre\bin”(3)新建-&...
2019-02-19 19:22:12
177
原创 HDFS写流程
1.写流程hdfs dfs -ls / hdfs文件系统的根目录 而不是Linuxhdfs dfs -ls hdfs://hadoop002:9000/ hdfs://hadoop002:9000 来自core-site.xmlhdfs dfs -ls 读取当前命令操作的用户的路径 /...
2018-12-05 16:33:11
360
原创 Sqoop部署
Sqoop安装1.下载官网地址：http://archive.cloudera.com/cdh5/cdh/5/版本：Sqoop 1.4.6-cdh5.7.02.解压解压地址：/home/hadoop/app/3.配置SQOOP_HOME配置内容：export SQOOP_HOME=/home/hadoop/app/sqoop-1.4.6-cdh5.7.0 export PA...
2018-12-05 16:24:01
159
原创 HDFS组件（NN/DN/SNN）
NN: （NameNode）文件系统的命名空间a.文件名称b.文件目录结构c.文件属性(创建时间 权限 副本数)d.文件对应哪些数据块—》数据块对应分布到哪些datanode节点上blockmap,namenode节点不会持久化存储这种映射关系，集群在启动时和运行时，datanode定期发送blockreport 给namenode，以此namenode在内存中动态维护这种映射关系...
2018-11-01 17:28:59
841
原创 早课10.31
1.hadoop广义狭义广义：hadoop生态圈狭义：hadoop软件，由hdfs ,mapreduce,yarn组成2.hdfs哪三个进程NM,DN,SNN3.yarn哪两个进程RM,NM4.hdfs yarn默认web界面端口号50070 80885.假如让你们改web界面端口号，请问怎么修改，去哪里找官网文档，默认配置文件，一般就是那些xml文件官网最下面找yarn-s...
2018-11-01 11:43:59
148
原创 早课10.29
1.查看当前目录命令pwd2.创建级联目录mkdir -p3.切换目录命令cd4.切换上一层目录和上一次cd … cd -5.切换到家目录cd ~6.ls -l等价于什么ll7.隐藏文件或文件夹什么标识开始，怎样查看以.开始，ll -a8.查看文件夹大小哪两个命令du -sh9.查看文件大小ll -h10.说说你认为创建文件的哪些命令可以做到vi tou...
2018-10-29 09:47:34
109
原创 早课10.24
1.MySQL部署过程 你觉得哪几步下载， 解压 ，创建用户以及用户组， 修改配置文件, 启动MySQL服务检查是否安装mysql,如果没有安装，检查是否安装java,安装java之后可以使用yum方式安装，如果使用二进制安装，下载解压查看安全组，添加用户，修改权限，修改/etc/my.cnf 配置binlog 缓冲区等 安装db 设置db位置 设置密码 设置自启动2.MySQL如何重新...
2018-10-24 19:26:42
133
原创 Hive部署
Linux MySQL Hadoop1）Hadoop是什么海量数据分布式的存储和计算框架数据存储：HDFS： Hadoop Distributed File System数据计算：YARN/MapReduceIDE2）Hadoop的访问方式shell cli:文件夹、文件的创建以及删除移动、改名下载、复制查看Java API:Web UI: 50070 HUE3）使...
2018-10-19 18:01:00
106
原创 早课10.17
1.MySQL哪些字段类型int,float,double,timestamp varchar char date等2.建表一般我们会设置第一个字段为ID，自增长的主键，那么主键是非空和唯一约束的组合体，那么可不可以根据业务，单独设置其他字段为 非空约束或唯一约束?可以，一张表只能有一个主键，代表了一行数据的唯一性。主键要么不设置，要设置只能有一个，其他的如非空和唯一约束可以设置多个或不设置...
2018-10-17 12:21:58
124
原创 早课10.16
1.历史命令是什么?执行第66行history !662.敲错了命令，干了坏事，我们应该怎么办清空.bash_history里面的内容3.删除文件夹 命令参数rm -rf4.创建及联文件夹mkdir -p5.创建文件1.touch xxx 2.vi xxx；按insert键进入编辑模式；编辑完按Esc键，进入尾行模式；shift+： wq 保存退出 3.ech...
2018-10-17 12:21:13
173
原创 早课10.15
1.谈谈如何理解shuffle可以理解为洗牌，就是将各个节点上的数据进行重新分配的过程2.简述 mr提交到yarn的工作流程1阶段：client向RM提交作业，2阶段：RM处理用户请求，分配资源3.yarn哪两个进程ResourceManager 和 NodeManager4.yarn的资源调优参数，是否会配置?包括hadoop-env.sh ,yarn-env.sh等5.谈谈你对...
2018-10-17 12:20:26
123
原创 大数据入门一（HDFS部署）
Hadoop:广义: 以hadoop软件为主的生态圈狭义: hadoop软件hadoop.apache.orghive.apache.orgspark.apache.orgflink.apache.orghadoop软件:1.x2.x 生产 2.63.xhadoop2.x组件:hdfs: 存储 分布式文件系统 底层 生产hive/hbasemapreduce: 分...
2018-10-16 20:48:15
389
原创 HDFS三个进程启动以hadoop001启动
NN: core-site.xml fs.defaultFS参数DN: slavesSNN:1.没配置完成之前secondary namenodes 是以[0.0.0.0]启动2.进入到正确的目录，找到hdfs-site.xml 文件，接下来进行配置文件 dfs.namenode.secondary.http-address hadoop002:50090 dfs.n...
2018-10-16 18:12:26
225
原创 大数据入门二（YARN部署）
1.入门HDFS 存储MapReduce 计算Spark FlinkYarn 资源作业调度伪分布式部署要求 环境配置文件 参数文件 ssh无密码 启动jps命令[hadoop@hadoop002 ~]$ jps28288 NameNode NN27120 Jps28410 DataNode DN28575 SecondaryNameNode SNN1.MapRe...
2018-10-16 18:02:06
174
原创 早课9.21
1.pwd是什么意思当前光标所在目录2.cd切换到上一层和上一次命令cd …/ cd -3.which cat，显示出来的路径，是从哪个环境变量参数的$PATH4.当前文件夹搜含有abc的文件和文件夹名称find ./ -name ‘abc’5.tar解压和压缩参数是什么 解压要注意什么解压 tar -xzvf压缩 tar -czvf要注意解压后用户用户组的改变6....
2018-09-22 12:22:52
203
原创 早课9.19
1.which命令是读取哪个环境变量参数$PATH2.环境文件分为全局和个人的，什么区别全局是所有用户 个人是个人用户3.拓展题: 输入一个命令，提示command not found，你们觉得该怎么办命令敲错了 或者path没有配置 可以用which查看一下4.拓展题: 比如你的领导让你去打开A电脑上的服务xxx的web界面，那么请问浏览器需要输入网址，一般是IP和端口号，请问...
2018-09-22 12:21:27
131
原创 MySQL二进制部署
MySQL/mysqlrpm包 yum install mysql-serveryum install mysql-client部署简单但是目录固化二进制部署 部署麻烦但是目录定制化2.如何安装1.Download and Check MD5[root@sht-sgmhadoopnn-01 ~]# cd /usr/local[root@sht-sgmhadoopnn-01...
2018-09-22 10:51:21
598
原创 第四天（命令03）
1.查看ip window ipconfig : 192.168.1.104 linux ifconfig : 192.168.137.190 ping hadoop000[root@hadoop000 ~]# hostname -i192.168.137.190[root@hadoop000 ~]# 提前在这个文件中配置 ：/etc/hosts文件 192.1...
2018-09-16 16:11:45
129
原创 早课 9.14
1.pwd表示什么 当前所在目录 2.隐藏目录什么标识开始，怎么看 以.开始 ll -a 3.查看文件的大小哪两组命令? ll -h du -sh xxx,log 4查看文件夹的大小命令是什么? du -sh xxx 5.怎样测试端口通不通 telnet ip 端口号 6.查看进程和端口号命令分别是什么 ps -ef netstat -nlp 7.安装...
2018-09-14 15:46:12
134
原创 早课9.13
1.如何判断一个Linux上的xxx服务是否存活? 查看进程 ps -ef 查看端口 netstat -nlp 2.端口号哪个命令去看看通不通? telnet 3.那么Linux和window系统想想，都会安装telnet吗? yum install telnel Linux 添加服务 Windows 4.查看Linux的ip哪些途径? ifconfig ...
2018-09-14 15:27:06
137
原创 早课9。12
1.切换用户和临时获取root用户最大权限的命令分别是什么 su - :切换用户， sudo ：临时获取root权限 2.想要用sudo命令，我们需要配置无密码的临时root最大权限，修改哪个文件，添加一行什么语句? vi /etc/sudoers xxx ALL=(ALL) NOPASSWD;ALL sudo时无需输入密码 3.su - user1，这个短横杠代表什么 ...
2018-09-14 15:19:26
124
原创 早课9.11
1.临时获取root权限是修改哪个配置文件?添加一行什么? 命令是什么? vi /etc/sudoers xcg ALL=(ALL) ALL 这个在切换时，是需要输入密码的，密码是当前普通用户的密码 xcg ALL=(ALL) NOPASSWD:ALL 这个在切换时 ，不需要输入密码 2.sudo和su能不能一起使用? 能 3.安装RPM包命令什么 rpm -iv...
2018-09-14 15:14:38
123
原创 早课9.10
1.查看当前目录是什么命令 pwd 2.切换目录的命令是什么? cd 3.切换到家目录有哪些命令? cd或cd~ 4.切换到 上一次 和 上一层的命令分别是什么 cd - 切换到上一次目录 cd ../ 切换到上一层目录 5.绝对路径和相对路径 区别是什么 绝对路径是从根目录开始 相对路径是从所在当前目录开始 6.查看当前文件夹下有哪些文件和文件夹的命令是什么?...
2018-09-14 15:11:47
158
原创 第三天（命令02）
1.管道符 | & grep 命令1 | 命令2 cat ws.log | grep（过滤） 22 cat ws.log | wc -l 快速看出有多少行2.passwd 1、登录不上 2、家目录变更 3、-bash-4.1$ 不影响使用 4、cp /etc/skel/.* 新的家目录 权限修改 3.权限 读 r 4 cat ...
2018-09-14 10:08:09
118
原创 第二天（命令01）
复习1.clear 清屏 2. vi(vi xxx.log 回车 insert 进行编辑 esc 退出编辑模式 进入命令行模式 shift+:进入尾行模式 wq 回车 完成） 3. cat 查看 cat xxx.log新知识1.pwd 查看当前光标所在的path 2.家目录 /boot swap / 根目录 起始位置 家目录：用户所...
2018-09-12 11:43:46
263
原创 第一天（环境搭建 自己搭建Linux）
1.安装VM虚拟机软件：VMware10/12 下载CentOS6.5镜像 2.安装完打开VM虚拟机，左上方找到“选项卡”打开，找到“转到主页选项卡”打开，就会出现一个主页，点击“创建新的虚拟机”，选择“自定义高级”，单击“下一步”，硬件兼容性选项中选择“Workstation10.0”,单击“下一步”，选择“稍后安装操作系统”，单击“下一步”，客户及操作系统选项选择“Linux”,版本选项选...
2018-09-08 23:46:16
320
原创 第一天(CentOS6.5修改主机名)
1.编辑/etc/sysconfig/network [root@localhost~]# vi/etc/sysconfig/network NETWORKING=yes HOSTNAME=hadoop-012.hostname 直接命名 [root@localhost~]#hostname hadoop-013.编辑/etc/hosts [root@localhost~]#...
2018-09-07 10:58:30
608
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人