weixin_43718211的博客

https://my.oschina.net/u/3295928/blog/1811804

sqoop job如果想使用去重功能可以设置check-column xx-id一般表里的id是自增的，可以设置id。第一次执行这个sqoop job ，可以在hdfs文件中找对应位置，看到数据，也能load到hive表中。那么load之后。再执行这个sqoop job，hdfs文件中就看不到数据了。更不可能load到hive中。这就能表现它的去重性！！！第二次执行sqoop job其实...

from sklearn.feature_extraction import DictVectorizerfrom sklearn.feature_extraction.text import CountVectorizer, TfidfVectorizerfrom sklearn.preprocessing import MinMaxScaler,StandardScalerimport ...

DataFrame=DataSet[Row]在Spark1.6的时候就出了SparkSession，但是当时没有推广起来在Spark2.0的时候完善把SparkContent和SparkSqlContent进行整合DataSet强类型支持SQLkafka分区和消费者的关系kafka分区继承了一个接口实现的是PartitionAssignor，这个接口下面有两个类，RoundRobi...

如果想要改变刻度，试试这个

将字符串转换成时间

怎么解析jison

首先先确认你的机器是否有自带的mysqlrpm -qa | grep mysql如果发现有，那么将其卸载rpm -e --nodeps 指定上一部出来的结果下面开始安装下载mysql的repo源在这里插入代码片wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm安装mysql-community-re...

我们先来看一个列子：没有取别名的：hive> select user_id,type,cnt,content, > row_number() over(partition by user_id,type order by cnt desc) as rn, > SUBSTR(FROM_UNIXTIME(UNIX_TIMESTAMP()),1,10) ,dt fr...

1、创建仓库sudo yum install -y mongodb-org2、把下面的内容复制进来，保存并退出[mongodb-org-3.4]name=MongoDB Repositorybaseurl=https://repo.mongodb.org/yum/redhat/$releasever/mongodb-org/3.4/x86_64/gpgcheck=0enabled=...

这里笔者分享自己的一次经历:有一天发现自己的集群启动不起来，jps看了一下，发现是磁盘空间不足。Insufficient space for shared memory file:共享内存文件空间不足下面是我的解决方法：命令：find / -type f -size +500M查看/目录下大于500兆的文件可以看到查询的结果大部分都是/usr/local/kafka/logs/下的...

1、创建新存储库在右上角，在您的头像或identicon旁边，单击 然后选择New repository。命名您的存储库hello-world。写一个简短的描述。选择使用自述文件初始化此存储库。简单的存储库就建好了...

[hadoop@mini01 job]$ zip -r command.zip ./command.job adding: command.job (deflated 59%)[hadoop@mini01 job]$ lscommand.job command.zip

1、在右上角创建一个project2、填写你的project的信息3、点击Upload4、选择你的zip压缩包，点击Upload5、6、点击执行

[hadoop@mini01 hive]$ bin/hiveLogging initialized using configuration in jar:file:/home/hadoop/install/hive/lib/hive-common-0.13.1-cdh5.3.6.jar!/hive-log4j.propertiesException in thread "main" java...

很多初学编程的人在学习的过程中，都有一次不好理解的专业名词。这里笔者给大家分享几个：依赖：比如我们在linux上装mysql，总会提示我们需要装依赖。有没有人好奇这个依赖到底是什么呢？其实也很简答，大家都知道，要想盖三层的楼房，必须先要盖底层和第二层，然后才能盖第三层。依赖就好像是底层和第二层的楼房，没有底层和第二层不可能凭空盖第三层。容器...

对于初学者来说，map集合可能会有点难理解。这里笔者给大家总结一下：key 和value是1 1 对应的在map集合中key一定是不同的，不同的key可以对应相同的value比如 zhangsan -->20lisi -->20因为key是不可重复的。...

https://www.cnblogs.com/zjp719325616/p/6530705.html

Linux三剑客：grep使用正则表达式查询aaa里面的数据cut：默认分隔符是制表符tabgrep -v取反printf条件里面的\n,\t要加上双引号，不然会报错反斜杠不是行的最后一个字符BEGIN的作用：END的作用并没有数据本身在第二行后面加数据，数据本身没有变化在第二行前插入一行数据，数据本身没变替换第二行，数据本身没变字符串替换，数据本身没变改变第三行的数据...

HBase中有三种东西：RowKey，TimeStamp（时间戳），列族一个RowKey代表一行数据，TimeStamp（时间戳）根据时间的先后可以看作是数据的版本号，而列族下面可以装很多的列。下面我们来看一张表，看完你认为它是几行？没错，答案是一行，可能有人纳闷了，为什么是一行？因为数据都在一个RowKey里，在HBase中，一个RowKey代表一行不理解可以看下面的图，"RK0...

创建一个列族的表：create ‘student’,‘info’创建多个列族的表（一般不超过3个）：create ‘t1’, {NAME => ‘f1’}, {NAME => ‘f2’}, {NAME => ‘f3’}增：hbase(main) > put ‘student’,‘1001’,‘info:name’,‘Thomas’hbase(main) > ...

今天启动hadoop集群的时候发现有两台机器起不起来，用jps命令报如下的错大致说的是内存不够的意思，然后查了以下，用find / -type f -size +500M命令查看跟目录/下大于500兆的所有文件，结果如下：看到都是kafka里面的的东西，直接cd /usr/local/kafka_2.11-0.8.2.2/logs然后使用du -h命令：可以看到两台机器都用了不少资...

转载：http://orchome.com/454创建主题（4个分区，2个副本）bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 2 --partitions 4 --topic test查询查询集群描述bin/kafka-topics.sh --describe --zookeepe...

MapReduce 优化方法主要从六个方面考虑：数据输入、Map 阶段、Reduce 阶段、IO 传输、数据倾斜问题和常用的调优参数。6.2.1数据输入（1）合并小文件：在执行 mr 任务前将小文件进行合并，大量的小文件会产生大量的map 任务，增大 map 任务装载次数，而任务的装载比较耗时，从而导致 mr 运行较慢。（2）采用 CombineTextInputFormat 来作为输入，...

呗

创建一个消费者，开启消费：（消费的是test02的数据，可更改自行创建）开启水管flume，（监听temData.tsv）这里有一个flume的配置文件（job是我创建在flume目录下的文件夹，job下有flume-kafka.conf的文件）向temData.tsv中写入数据（这里写了个jar包，不停向temData.tsv写入数据）在这里插入代码片a1.sources = ...

https://blog.youkuaiyun.com/zhifeiyu2008/article/details/47021445

上传：(码云已经有该项目)先add添加到仓库，然后commit最后push一下!想下载的时候（如果IDEA已经有了这个项目）：直接pull就好了

IntelliJ Idea 常用快捷键列表Ctrl+Alt+t 选择代码块 try catchAlt+回车 导入包,自动修正Ctrl+N 查找类Ctrl+Shift+N 查找文件Ctrl+Alt+L 格式化代码Ctrl+Alt+O 优化导入的类和包Alt+Insert 生成代码(如get,set方法,构造函数等) mac系统 fn+alt+回车Ctrl+E或者Alt+Shif...

length（）：求字符串的长度indexOf（）：求某个字符在字符串中的位置charAt（）：求一个字符串中某个位置的值equals（）：比较两个字符串是否相同replace（）：将字符串中的某些字符用别的字符替换掉。形如replace（“abc”,”ddd”）;字符串中的abc将会被ddd替换掉。split（）:根据给定正则表达式的匹配拆分此字符串。形如 String s = “Th...

如果启动Hbase集群出现下面的情况：Habase集群启动后，过一会jps就看不见HMater，但是有 HRegionServer。如下图：浏览器访问http://hadoop01:16010被拒绝。。。想关闭Hbase集群时：如果你集群也这样，那么我们是一样的错误：hbase配置的端口号和hadoop配置的端口号不同导致的也就是Hadoop的conf文件core-site.xml和...