- 博客(14)
- 收藏
- 关注
RSS订阅原创 (Hive)org.apache.hadoop.hbase.client.Put.setDurability(Lorg/apache/hadoophbase/client/Durability;)V
报错信息：Error:java.lang.RuntimeException:java.lang.NoSuchMethodError:org.apache.hadoop.hbase.client.Put.setDurability(Lorg/apache/hadoophbase/client/Durability;)V这个错很坑！！1、原因是Hive 和hbase的版本...
2019-08-02 16:20:22
1343
原创 HBase javaAPI 操作 ---- 工具类（2.2.0）
pom.xml<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://maven.apache.org/xs...
2019-07-27 18:39:58
918
原创 Hadoop分布式集群出错（启动后数据节点缺失）
在hadoop启动后，使用jps发现各个节点启动正常，如图： 三个节点都正常启动了，可是用浏览器访问50070端口出现：明明有两个数据节点，显示的只有一个。如果你不断点刷新页面，数据节点的IP地址是会变的，这是什么情况？这是因为你克隆虚拟机时，复制了两个一模一样的hadoop，这就导致了datanode的VERSION里面有2个id是一模一样不能共存，所以只能显示一个数据...
2019-07-26 15:47:31
2731
4
原创 HBase完全分布式搭建
1 预先配置hadoop2.7.5完全分布式搭建完成 zookeeper3.5.5 完全分布式搭建完成 JDK 1.8 需要安装的HBase版本为hbase 2.0.5 附官网链接：http://mirror.bit.edu.cn/apache/hbase/2.0.5/hbase-2.0.5-bin.tar.gz注意 HBase有严格的版本控制HBase与Hadoop版本...
2019-07-25 19:04:38
188
转载 (Hadoop)Permission denied: user=XXXX, access=WRITE, inode="/XXX":root:supergroup:drwxr-xr-x
org.apache.hadoop.security.AccessControlException: Permission denied: user=XXXX, access=WRITE, inode="/XXX":root:supergroup:drwxr-xr-x at org.apache.hadoop.hdfs.server.namenode.FSPermissionChecker.c...
2019-06-22 10:42:03
1203
原创 (Hadoop错误)org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z
Hadoop在使用MapReduce时遇到报错：Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.io.nativeio.NativeIO$Windows.access0(Ljava/lang/String;I)Z at org.apache.hadoop.io.nativeio.Nat...
2019-06-22 10:21:56
852
原创 机器学习---决策树--理论（个人理解）
决策树是一种基于树结构来进行决策的，这跟人类在面临一些决策问题时的自然反应机制很类似。决策树包含一个根节点、若干个内部节点、若干个叶子节点。 一般的，根节点和内部节点只用于划分数据集，而叶子节点对应决策的结果ID3算法---基于信息增益1、信息增益信息增益是ID3算法划分数据集的一种方法。而在划分数据集前后信息发生的变化就是信息增益。那么我们如何计算信息增益呢？要计算信息增益首先要...
2019-05-05 20:25:51
285
转载 理解误差和残差
误差: 所有不同样本集的均值的均值,与真实总体均值的偏离.由于真实总体均值通常无法获取或观测到,因此通常是假设总体为某一分布类型,则有N个估算的均值; 表征的是观测/测量的精确度;误差大,由异常值引起.表明数据可能有严重的测量错误;或者所选模型不合适,;残差: 某样本的均值与所有样本集均值的均值, 的偏离; 表征取样的合理性,即该样本是否具代表意义;残差大,表明样本不具代表性,也有可能...
2019-04-24 20:51:26
3126
原创 Numpy中的var() 和Excel中的var() 用来计算方差两个值不一样的问题
主要是因为方差的计算公式不同在numpy.var()中官方计算公式为var = mean（abs（x-x.mean（））** 2） 有图有真相这是numpy原码注释而在excel中var的计算公式为:sum(( x_i - ave)^2) / ( n-1 )观察这两个公式可知 numpy中是除以 n ，而excel中是除以（n-1）。其实这两个计算公式都是正确的。...
2019-04-20 10:11:25
2019
原创 mongoDB去重
db.wuming.aggregate([ { $group: { _id: {nickName: '$nickName',content: '$content'},count: {$sum: 1},dups: {$addToSet: '$_id'}} }, { $match: {count: {$gt: 1}} }]).forE...
2018-12-23 14:26:42
357
转载 user-agent收集
PC端浏览器#Opera Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/39.0.2171.95 Safari/537.36 OPR/26.0.1656.60 Opera/8.0 (Windows NT 5.1; U; en) Mozilla/5.0 (Windows...
2018-12-21 20:52:00
449
原创 理解python装饰器
了解装饰器的作用装饰器是用来给某一程序加上一些功能，可做到不修改被装饰函数源代码，也不改变其调用方式。python装饰器就是用于拓展原来函数功能的一种函数，这个函数的特殊之处在于它的返回值也是一个函数上代码我们首先假设要执行一段代码输出 “并不是为了改变世界”#主功能函数def say(): print("并不是为了改变世界")现在客户需要改需求了，需要在每一次...
2018-10-21 20:16:15
202
转载 jupyter notebook实现远程访问
1、生成配置文件(windows在cmd下|linux在终端)，输入jupyter notebook --generate-config回车，会生成一个jupyter_notebook_config.py的配置文件，这个文件在用户目录下~/.jupyter/jupyter_notebook_config.py2、生成密码打开ipython(win系统下如果配置过环境变量的，可直接在cm...
2018-10-20 17:00:27
193
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人