zlpzlr的博客

原创 大数据实训平台

第一章 平台介绍1.1 架构介绍大数据竞赛平台采用私有云系统建设，基于私有云环境架构建设大数据竞赛系统，结合当今大数据形势、主流竞赛设备、技术在数据挖掘与分析等方向为学校提供全面的竞赛环境。通过动手实际操作，强化学生对大数据技术知识的理解，提高集群部署与数据分析操作能力。整个平台的运行依托于云计算系统，将云计算系统的计算资源与各种教学资源整合在一起，向用户提供各种服务。具体说明如下：底...

原创 大数据实训平台方案

平台介绍 架构介绍 大数据竞赛平台采用私有云系统建设，基于私有云环境架构建设大数据竞赛系统，结合当今大数据形势、主流竞赛设备、技术在数据挖掘与分析等方向为学校提供全面的竞赛环境。通过动手实际操作，强化学生对大数据技术知识的理解，提高集群部署与数据分析操作能力。整个平台的运行依托于云计算系统，将云计算系统的计算资源与各种教学资源整合在一起，向用户提供各种服务。具体说明如下：...

原创 大数据实验室建设方案

大数据实验室建设方案 北京红亚华宇科技有限公司 二零二零年...

原创 大数据挖掘与分析平台整体解决方案  

大数据挖掘与分析平台 整体解决方案 ...

原创 数据湖

原创 MobaXterm使用方法

针对大家反馈xshell过期问题，平台中提供另一种使用工具，具体操作流程如下图：

原创 安装jupyter notebook

首先我使用的是公司的openstack平台开启的虚拟机，找到了一个已经安装python3.6的镜像，然后就直接使用啦啦啦啦。（简单粗暴的安装，其他介绍看下一篇了）因为这个镜像不是我的，我在环境变量配置里找到python的目录根据这个路径找到python的位置，打开进入Scripts目录然后打开cmd执行下面的命令cd ..\..cd C:\Users\Administrator\AppData...

原创 Unhandled exception: Unable to determine ZooKeeper ensemble

zookeeper、hbase开启并正常但是运行报错17/04/24 20:13:23 ERROR master.HMaster: Region server icosa4,60020,1493045002304 reported a fatal error:ABORTING region server icosa4,60020,1493045002304: Unhandled exce

原创 /lib/ld-linux.so.2:bad ELF interpreter:No such file or directory

解决办法：将下列压缩包解压之后上传到native目录下

原创 Access denied for user 'root'@'localhost'(using password:YES)

解决办法： use mysqlupdate user set password=password('123456') where user='root';flush privileges;

原创 Caused by:java.lang.RuntimeException:The root scratch dir:/tmp/hive on HDFS should be writable.

解决办法：hadoop fs -rm -r /tmp/hive;  rm -rf /tmp/hiveOnly temporary files are kept in this location. No problem even if we delete this, will be created when required with proper permissions

原创 hive URI ${systemjava.io.tmpdir%7D$%7Bsystemuser.name%7D

解决办法：hive-site.xml hive.exec.local.scratchdir /opt/soft/apache-hive-1.2.1-bin/iotmp Local scratch space for Hive jobs   hive.downloaded.resources.dir /opt/soft/apache-h

原创 hive MetaException(messageCould not connect to meta store using any of the URIs provi

解决办法：问题已经解决了 将hive-site.xml下的hive.metastore.uris设置为空就行了， 至于原因，也不知道为什么。

转载 device eth0 does not seem to be

一.故障现象：[root@c1node01 ~]# service network restartShutting down loopback insterface:                                                       [   OK  ]Bringing up loopback insterface:               

原创 Another MySQL daemon already running with the same unix socket

解决方法：mv /var/lib/mysql/mysql.sock /var/lib/mysql/mysql.sock.bak

原创 Access denied for user 'root'@'localhost' (using password YES)

解决办法：[root@node9 ~]#  /etc/init.d/mysqld stopStopping mysqld:                                           [  OK  ][root@node9 ~]# mysqld_safe --user=mysql --skip-grant-tables --skip-networking &

转载 MySQL用户权限(Host,User,Password)管理(mysql.user)

1：新增用户：注：mysql数据库下user表中，Host和User为两个主键列（primary key），已经各版本下非空未设置默认字段。登录后，切换db：mysql> use mysql;  Reading table information for completion of table and column names  You can turn o

转载 大数据算法 十大经典算法

一、C4.5C4.5，是机器学习算法中的一个分类决策树算法，它是决策树(决策树也就是做决策的节点间的组织方式像一棵树，其实是一个倒树)核心算法ID3的改进算法，所以基本上了解了一半决策树构造方法就能构造它。决策树构造方法其实就是每次选择一个好的特征以及分裂点作为当前节点的分类条件。C4.5相比于ID3改进的地方有：1、用信息增益率来选择属性。