大数据期末考试复习知识点001

大数据期末考试复习知识点

Hadoop编程基础

#启动Hadoop
ssh master
bash /scripts/hadoop/start-hadoop.sh

#命令使用格式
hadoop fs -[命令]
hadoop fs -ls /
hadoop fs -mkdir /newDir
hadoop fs -rm -r /newDir #删除newDir

#hadoop fs -put 本地文件路径 HDFS文件路径
echo "hello" > hello.txt
hadoop fs -mkdir /newDir
hadoop fs -put hello.txt /newDir
hadoop fs -cat /newDir/hello.txt

#hadoop fs -get HDFS文件路径 本地文件路径
 hadoop fs -get /newDir/hello.txt hello_get.txt

#hadoop fs -du 参数 目录或文件（查看文件大小）
hadoop fs -du /newDir

#hadoop fs -cp 文件名 复制后的文件名
 hadoop fs -cp /newDir/hello.txt /newDir/hello_cp.txt

#hadoop fs -mv 目录或文件 目录
hadoop fs -mv /newDir/hello.txt /newDir/hello_mv.txt

#hadoop fs -chmod 权限选项 目录或者文件
hadoop fs -chmod 777 /newDir/hello_mv.txt

#hadoop fs -rm 文件路径
hadoop fs -rm /newDir/hello_mv.txt

HBase Shell

ssh master
bash /scripts/hadoop/start-hadoop.sh
hbase shell

# 创建学生表（student）为例，假设该表包含姓名（name），性别(sex)，年龄(age)，系(dept)，课程(course)
create 'student','name','sex','age','dept','course'
# 使用list命令可以查看当前创建的表：
list

# describe命令可以查看表的具体属性信息
describle 'student'

# 插入数据
put 'student','1606001','name','WangWei'      # 为行键为1606001的行的name列添加数据 
put 'student','1606001','sex','male'         # 为行键为1606001的行的sex列添加数据 
put 'student','1606001','age','20'          # 为行键为1606001的行的age列添加数据 
put 'student','1606001','dept','CS'         # 为行键为1606001的行的dept列添加数据
put 'student','1606001','course:math','80'  # 为行键为1606001的行的course:math列添加数据

# 查看数据
# get命令：查看表的某一个单元格的数据。
# scan命令：查看某个表的全部数据。

get 'student','1606001'
get 'student','1606001','sex'
scan 'student'

# 删除数据
delete 'student','1606001','age'      # 删除1606001这个学生的age单元格数据 
deleteall 'student','1606002'         # 删除1606002这个学生的整行数据
disable 'student'         # 停用student表 
drop 'student'         # 删除student表 

# 查询行键为1606001学生姓名字段的最近5个版本，
get 'student','1606001',{COLUMN=>'name',VERSIONS=>5}

# 权限管理
#分配权限
#权限用五个字母表示： RWXCA.(READ('R'), WRITE('W'), EXEC('X'), CREATE('C'), ADMIN('A'))
grant 'bd1_cg','RW','t1' # 给用户bd1_cg分配对表t1有读写的权限
# 查看权限
user_permission 't1' # 查看表t1的权限列表
# 收回权限
revoke 'bd1_cg','t1'  # 例如，收回bd1_cg用户在表t1上的权限