youyigebug的博客

原创 机器学习

当前热词解释 机器学习基本术语 数据集： 样例： 特征： 特征值属性值：（某特征的具体值） 缺失数据：补全或删除 标签： 总的数据量有100W。 训练数据 取出90w 作为训练数据 80w是训练集，用于真正的模型计算（学习）。è得到结论（判断逻辑/模型） 10w是验证集，用于验证计算出的模型。è验证结论（模型）--》yes/no 测试数据 剩余的10W是测试集，用于...

原创 hbase

public class a extends Mapper<LongWritable , Text,NullWritable,Text>{ @Override protected void map(LongWritable key, Text value, Context context) throws IOException, InterruptedExcepti...

原创 hbaseAPI1714145080

HBase的java代码开发 熟练掌握通过使用java代码实现HBase数据库当中的数据增删改查的操作，特别是各种查询，熟练运用 第一步：创建maven工程，导入jar包 <repositories> <repository> <id>cloudera</id> <url>https://re...

原创 hbase

hbase 的安装部署 1、软件包上传解压 2、 配置hbase.env.sh 配置java_home 使用外部zookeeper(自己独立安装的zookeeper) 3、配置 hbase-site.xml 见讲义 hbase.zookeeper.property.dataDir必须是zookeeper存储数据的路径 4、修改regionservers 5、创建backup-ma...

原创 hbase 的安装部署

1、软件包上传解压 2、 配置hbase.env.sh 配置java_home 使用外部zookeeper(自己独立安装的zookeeper) 3、配置 hbase-site.xml 见讲义 hbase.zookeeper.property.dataDir必须是zookeeper存储数据的路径 4、修改regionservers 5、创建backup-masters 6、拷贝co...

原创 Flume安装部署

前提是已有hadoop环境 上传安装包到数据源所在节点上 上传安装文件并解压 1.解压 tar -zxvf flume-ng-1.6.0-cdh5.14.0.tar.gz -C /export/servers/ 2.进入flume的conf目录 cd /export/servers/apache-flume-1.6.0-cdh5.14.0-bin/conf 3.复制一个flume-...

原创 hive

Hive基本概念 是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么 背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。 意义（目的）：降低程序员使用hadoop的难度。降低学习成本。 Hive可以对数据进行存储与计算 存储使用HDFS存储 计算使用MapReduce进行计算。 Hive的特性 1、扩展性 ： Hiv...

原创 hive基本概念

1.1 Hive简介 什么是Hive 是一个基于hadoop的数据仓库工具，可以将结构化数据映射成一张数据表，并提供类SQL的查询功能。 Hive的意义是什么 背景：hadoop是个好东西，但是学习难度大，成本高，坡度陡。 意义（目的）：降低程序员使用hadoop的难度。降低学习成本。 Hive可以对数据进行存储与计算 存储使用HDFS存储 计算使用MapReduce进行计算。 Hive的特...

原创 hive添加数据时出错

Ended Job = job_1545829388777_0070 with errors Error during job, obtaining debugging information... FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask MapRedu...

原创 MapReduce计算任务的步骤

MapReduce计算任务的步骤 第1步：InputFormat InputFormat 到hdfs上读取数据 将数据传给Split 第2步：Split //设置读取数据的路径 TextInputFormat.addInputPath(job,new Path("C:\\bbb.txt")); //3、设置Map job.setMapperClass(WordCou...

原创 HDFS

知识回顾 传统服务器系统安装 系统硬盘（100%完全独立，不要存储业务数据） 物理磁盘做raid1（两个硬盘物理备份） /boot 200M /SWAP 内存的1-2被（大数据集群中要关闭） / 所有的空间 数据硬盘 多块小的硬盘 做一个大的硬盘（逻辑卷） 大数据服务器系统安装 系统硬盘 （100%完全独立，不要存...

原创 hadoop等集群扩容

集群扩容（添加节点） A : 准备新节点

原创 传统服务器 系统安装 和大数据服务器系统安装的区别

传统服务器系统安装 系统硬盘（100%完全独立，不要存储业务数据） 物理磁盘做raid1（两个硬盘物理备份） /boot 200M /SWAP 内存的1-2被（大数据集群中要关闭） / 所有的空间 数据硬盘 多块小的硬盘 做一个大的硬盘（逻辑卷） 大数据服务器系统安装 系统硬盘（100%完全独立，不要存储业务数据） 物理磁盘做raid1（两个硬盘物理备份） /boot 200M /SWAP ...

原创 HDFS

HDFS 特性 1、海量数据存储： HDFS可横向扩展，其存储的文件可以支持PB级别数据。 2、高容错性：节点丢失，系统依然可用，数据保存多个副本，副本丢失后自动恢复。 可构建在廉价（与小型机大型机比）的机器上，实现线性扩展(随着节点数量的增加，集群的存储能力，计算能力随 之增加)。 3.'大文件存储：DFS采用数据块的方式存储数据，将一个大文件切分成多个小文件，分布存储。 ...

原创 hdfs 文件写入 读出

原创 大数据技术为什么快(必看,不看后悔)

为什么大数据快,快肯定是对比出来,我们今天就和传统对比一下 我们可以从4个方面进行对比 1.扩展性 2.分布式 3.可以性 4.模型 ----------------------------------------------------------------------------------------------------- ...

原创 大数据是什么意思?

什么是大数据？ ​ 字面意思理解：大量的数据，海量的数据 ​ 数据集的大小已经远远超过了现有普通数据库软件和工具的处理能力的数据 大数据有什么特点？ ​ 海量化 ​ 数据量大（多） ​ 多样化 ​ 结构化数据，半结构化数据，和非结构化数据 ​ 快速化 ​ 数据的增长速度快 ​ 高价值 ​ 海量数据价值高 大数据能做什么？ ​ 1、海量数据快速查询 ​ 2、海量数据的存储（数据量大，单个大文...

原创 linux集群的部署(标准,进来和我一起努力吧)

linux集群的部署 1.在虚拟机中实例三个虚拟机主机,三个虚拟主机需要配置ip, 且两两之间可以ping通. 2.关闭防火墙(需要在所有主机中进行设置) /etc/init.d/iptables stop chkconfig iptables off 3.关闭selinux(需要在所有主机中进行设置) 编辑文件 vi /etc/selinux/config 将SELINUX-...

原创 linux系统 新硬挂载到linux 系统（开机自动挂载）

目标：将一个新硬盘能够挂载到linux 系统上（开机自动挂载） 第一步：查看当前系统磁盘挂载 ​ 查看系统硬盘挂载情况： lsblk -f （老师不离开） sda ├─sda1 ext4 7cc94e03-8b1a-4845-97fb-49a2c39afd8c /boot ├─sda2 ext4 fe1d0...

原创 linux系统 排序 显示

1.cut cut根据条件 从命令结果中 提取 对应内容 head -2 1.txt | cut -c 5 2. sort 排序 3. unique 去重 (只能排序后使用) 4. -n 升序 5. -n -r 倒序 6. -c 去重并且统计出现的次数 2.wc 命令 作用 :显示指定文件 字节数, 单词数, 行数 信息. 3.tee 通过 tee 可以将命令...

原创 linux系统 知识积累

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Ma...