superLearner的博客

1、结论：hive后期版本已经不建议直接使用hive命令，而是推荐使用beeline，其中一个原因是beeline命令参数更灵活，表达更丰富 2、以shell中读取hive数据写入文本为例说明： 方式一：hive -e 1）该方式生成的文件头部有时候会输出一些日志信息，而这些明显不是我们想要的，此为弊端1； 2）hive命令可携带的参数太少了，如不能使用beeline的 --showHeader="false" --outputformat="dsv"等 hive -e "${hql1...

一、shell实现 1）importtsv生成hfile #写法1 hbase org.apache.hadoop.hbase.mapreduce.ImportTsv -Dimporttsv.separator=, -Dimporttsv.columns='HBASE_ROW_KEY,mc:custgroupid,mc:user_no' -Dimporttsv.bulk.output=${hfilepath}/bulkload_data ${1} ${hdfspath} #写法2 hadoop...

操作 命令 备注 绑定远程仓库 git remote add origingit@github.com/repo1.git 查看本地分支 git branch 查看远程分支 git branch -r 拉取指定分支代码 git clone -b branchName git@github.com/repo1.git ...

1、对linux的认识【linux系统的特点】 1）统一路径，磁盘不区分盘符 linux默认生成一些路径，想要了解linux默认目录结构，参看点击打开链接 2）权限控制：用户分组、文件权限三级控制 （1）用户分组的理解： a） linux中用户不可能脱离组而存在，可以理解为先有组，然后有用户。因为在创建用户的时候如不指定基 本组，则系统会默认以该用户名为名称创建一个基本组。 b） 一个用户...

操作 命令 备注 创建主题 ./kafka-topics.sh --create --zookeeper ip1:port1,ip2:port3,ip3:port3 --replication-factor 3 --partitions 3 --topic topicName replication-factor：副本数量，由于副本位于不同的broke上，因此该值不能超过broker的数量；r...

操作 命令 namespace相关 1）创建namespace： create_namespcae 'name' 2）删除namespace ：drop_namespace 'name' 3）查看namespace： describe_namespace 'name' 4）列出所有namespace list_namespace 扩展：https://blog.youkuaiyun.com/opensure/arti...