vanni01-优快云博客

原创数据分析（1）描述分析

一、基本统计分析1、样本均值：2、样本中位数：3、样本分位数4、样本众数5、样本极差6、样本方差：SUM((样本值-样本均值)^2 )/n-17、样本标准差：POWER（样本方差，2）8、频数：样本值出现次数9、峰度：大于0比标准正太陡，小于0比正太分布平缓10、偏度：大于0峰值靠右侧，小于0峰值靠左侧11、Z分位：样本值与样本均值相差多少个标准差（标准差倍数）12、T分位：Z分位的线性变换（为了数据更好看一些）二、探索分析1、正态性检验：样本是否符合正太分布2、卡方检验：交叉

2020-09-09 22:55:06 685

原创大数据项目实践--手机日志分析

一、准备win10开发环境1、下载jdk-8u45-windows-x64.exe 安装于D:\Java82、修改JAVA_HOME为D:\Java8\jdk1.8.0_453、修改HADOOP_HOME为D:\hadoop2724、复制hadoop 2.7.x 的 winutils等文件到D:\hadoop272\bin，否则eclipse无法进行调试5、复制hadoop-eclipse-plugin-2.7.2至D:\eclipsehadoop272\plugins二、搭建cent

2020-08-17 14:18:22 1465

原创 Spark Core&Sql Scala&Java实验

1、Eclipse安装Scala插件help->install new software addscala-idehttp://download.scala-ide.org/sdk/lithium/e44/scala211/stable/site选择安装scala ide for eclipse重启eclipse2、

2020-08-01 22:07:59 313

原创 scala spark kafka 集群部署及简单实验

1、上传scala-2.10.4.tgz 至 /usr 并解压tar -zvxf scala-2.10.4.tgz2、编辑/etc/profileexport SCALA_HOME=/usr/scala-2.10.4export PATH=$PATH:${SCALA_HOME}/bin更新系统设置source /etc/profile3、测试[root@lining05 usr]# scalaWelcome to Scala version 2.10.4 (Java HotSpot(

2020-07-25 20:56:11 356

原创 flume实验

1、上传flume-ng-1.5.0-cdh5.3.6.tar.gz 至/opt/modules/cdh/ 并解压2、编辑 /conf/flume-env.shexport JAVA_HOME=/usr/java/jdk1.7.0_793、编辑/etc/profileexport FLUME_HOME=/opt/modules/cdh/apache-flume-1.5.0-cdh5.3.6-binexport PATH=$PATH:$FLUME_HOME/bin4、flume业务情景fl

2020-07-24 16:05:47 869

原创 Hbase JAVA 项目实验

1、本项目使用MAVEN部署因此先部署本地MAVEN仓库，下载apache-maven-3.6.3 至D:\apache-maven-3.6.3，配置环境变量 MAVEN_HOME=D:\apache-maven-3.6.3 PATH=%MAVEN_HOME%\bin2、修改D:\apache-maven-3.6.3\conf\settings.xml修改本地仓库地址 <localRepository>D:/apache-maven-3.6.3/repository

2020-07-22 21:23:29 244 1

原创 Sqoop 实验

1、使用windows客户端登录mysql建表修改虚拟机mysql的远程登录权限mysql -uroot -proot;use mysql;show tables;update user set host='%' where host = 'localhost';flush pricilges;给本地ip 192.168.198.1及lining05授权GRANT ALL PRIVILEGES ON *.* TO 'root'@'192.168.198.1' IDENTIFIED BY

2020-07-15 19:40:33 450

原创 CDH5.3.6在centos6.5上集群安装（2）

29、将zookeeper-3.4.5-cdh5.3.6.tar.gz 上传至/opt/modules/cdh cd /opt/modules/cdh tar -zxvf zookeeper-3.4.5-cdh5.3.6.tar.gz cd /opt/modules/cdh/zookeeper-3.4.5-cdh5.3.6 mkdir data cd /opt/modules/cdh/zookeeper-3.4.5-cdh5.3

2020-07-14 16:39:39 156

原创 CDH5.3.6在centos6.5上集群安装（1）

1、/etc/selinux/config -> SELINUX=disabled/etc/hosts -> 192.168.198.131 lining05/etc/sysconfig -> HOSTNAME=lining05/etc/sysconfig/network-scripts/ifcfg-eth0 -> DEVICE="eth0" BOOTPROTO="static" NM_CONTROLLED="yes" ONBOOT="yes" TYPE

2020-07-05 13:33:57 185

原创 hive 操作笔记

1、CDH HIVE 5.3.6 配置1.1 下载 CDH 组件环境http://archive.cloudera.com/cdh5/cdh/5/jdk-7u79-linux-x64.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hadoop-2.5.0-cdh5.3.6.tar.gzhttp://archive.cloudera.com/cdh5/cdh/5/hive-0.13.1-cdh5.3.6.tar.gzhttp://archive.cloud

2020-07-04 21:21:54 195

原创 Hdfs 初学实验笔记

Hdfs 实验Hdfs 实验1、windows 单机安装hadoop2722、linux虚拟机三台安装 hadoop 2.7.23、JAVA操作WINDOWS上的HDFS4、JAVA操作Linux上的HDFS5、MapReduce WordCount 项目6、MapReduce PhoneFlow 项目Hdfs 实验本篇文章为Hdfs基础实验整体流程，中间如有不详处，或因环境所致踩坑，请自行baidu解决1、windows 单机安装hadoop272（hadoop3.2暂时没有windows环

2020-05-22 10:36:17 465

原创 MySql数据库更新表的物理排序

表中数据原本是按插入顺序排列的，如想按照特定列重排表中数据，使用alter table ‘tablename’ order by `field1` , `field2`;

2020-05-15 11:20:36 714

vanni01的博客