<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[quietlyw的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/quietlyw</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; quietlyw]]></copyright><item><title><![CDATA[虚拟机创建脚本]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/116156858</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/116156858</guid><author>quietlyw</author><pubDate>Mon, 26 Apr 2021 15:19:39 +0800</pubDate><description><![CDATA[1.新建一个.sh文件，touch test.sh

2.编辑test.sh文件，vi test.sh
然后键入i，输入内容，
#!/bin/sh必须放在第一行
然后键入esc
键入:wq保存退出
3.给test.sh赋予可执行权限，chmod +x test.sh

4.执行脚本./test.sh,即可执行脚本

5.也可以通过sh test.sh 执行脚本

扩展资料：
Linux是一套免费使用和自由传播的类Unix操作系统，是一个基于POSIX和UNIX的多用户、多任务、支持多线程和多CPU的操作系统]]></description><category></category></item><item><title><![CDATA[Hbase操作]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/115483681</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/115483681</guid><author>quietlyw</author><pubDate>Wed, 07 Apr 2021 15:46:36 +0800</pubDate><description><![CDATA[&gt; （1）启动hadoop  ：start-all.sh
&gt; （2）启动zookeeper：zkServer.sh start
&gt; （3）启动hbase：start-hbase.sh
&gt; （4）进入hbase的xshell：hbase shell
相当于对库的操作
创建：create_namespace “库名”	（创建库）
添加或修改属性：
alter_namespace ‘库名’, {METHOD =&gt; ‘set’, ‘PROPERTY_NAME’ =&gt; ‘PROPE]]></description><category></category></item><item><title><![CDATA[spark]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/115120479</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/115120479</guid><author>quietlyw</author><pubDate>Tue, 23 Mar 2021 16:07:04 +0800</pubDate><description><![CDATA[以上图中有四个机器节点，Driver和worker是启动在节点上的进程，运行在JvM中的进程。
. Driver与集群节点之间有频繁的通信。
.Driver负责任务( tasks)的分发和结果的回收即任务的调度。如果task的计算结果非常大就不要回收了。  	    会造成oom。
worker是standalone资源调度框架里面资源管理的从节点。也是jvM进程。
Master是standalone资源调度框架里面资源管理的主节点。也是jvM进程。
4.3.Spark代码流程
1.创建sparkconf.]]></description><category></category></item><item><title><![CDATA[Hadoop MapReduce]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/114486047</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/114486047</guid><author>quietlyw</author><pubDate>Mon, 08 Mar 2021 08:41:37 +0800</pubDate><description><![CDATA[Map 的流程


原始数据File
·1T数据被切分成块存放在HDFS上，每一个块有128M大小
							.数据块Block

. hdfs上数据存储的一个单元,同一个文件中块的大小都是相同的
·因为数据存储到HDFS上不可变，所以有可能块的数量和集群的计算能力不匹配
·我们需要一个动态调整本次参与计算节点数量的一个单位
·我们可以动态的改变这个单位–》参与的节点
							切片split

·切片是一个逻辑概念
·在不改变现在数据存储的情况下，可以控制参与计算的节点数目
·通......]]></description><category></category></item><item><title><![CDATA[hdfs写入数据和读取数据]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/114436680</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/114436680</guid><author>quietlyw</author><pubDate>Sat, 06 Mar 2021 12:08:49 +0800</pubDate><description><![CDATA[1.客户端通过shell命令的方式传输文件到HDFS上(申请上传)
2.namenode检查文件夹是否存在,检查文件是否存在,如果文件夹不存在是肯定不能上传的,如果文件存在就要看有没有覆盖写入了
3.返回允许上传通知
4.判断文件的大小,然后切割文件,默认按照128m去切割(hadoop2.x)按照64m去切割(hadoop1.x）
5.通知namenode上传第一个block块
6.namenode通过副本机制得到block块应该放在哪些datanode节点上的地址列表
7.返回这些地址给client端
]]></description><category></category></item><item><title><![CDATA[HDFS命令练习]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/114178299</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/114178299</guid><author>quietlyw</author><pubDate>Sat, 27 Feb 2021 16:11:16 +0800</pubDate><description><![CDATA[]]></description><category></category></item><item><title><![CDATA[hive命令]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/114110062</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/114110062</guid><author>quietlyw</author><pubDate>Fri, 26 Feb 2021 07:21:26 +0800</pubDate><description><![CDATA[hive命令
查看数据库 : show databases ;
创建数据 : create database (要创建的数据库名字) ;
创建了一张表 :
create table psn_1
(
id int,
name string
) ;
插入一条数据 : insert into psn_1 (id,name) values (1,‘aa’);
除数据库 : drop databases (要删除的数据库名字) ;
在mysql中可以,在hive中不可以 : show databases like ‘]]></description><category></category></item><item><title><![CDATA[Java链接数据库]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/109581198</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/109581198</guid><author>quietlyw</author><pubDate>Thu, 12 Nov 2020 09:13:45 +0800</pubDate><description><![CDATA[查询自己的 ip地址
ipconfig

]]></description><category></category></item><item><title><![CDATA[jdbc一]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/109619672</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/109619672</guid><author>quietlyw</author><pubDate>Wed, 11 Nov 2020 16:15:18 +0800</pubDate><description><![CDATA[今日内容
1. JDBC基本概念
2. 快速入门
3. 对JDBC中各个接口和类详解

JDBC：
1. 概念：Java DataBase Connectivity  Java 数据库连接， Java语言操作数据库
	* JDBC本质：其实是官方（sun公司）定义的一套操作所有关系型数据库的规则，即接口。各个数据库厂商去实现这套接口，提供数据库驱动jar包。我们可以使用这套接口（JDBC）编程，真正执行的代码是驱动jar包中的实现类。

2. 快速入门：
	* 步骤：
		1. 导入驱动jar包 mysql]]></description><category></category></item><item><title><![CDATA[MYSQL基本语句]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/109258276</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/109258276</guid><author>quietlyw</author><pubDate>Mon, 09 Nov 2020 14:13:55 +0800</pubDate><description><![CDATA[DDL 的数据库操作
1.show databases;                  //查看数据库
2.use 数据库名称；                                  //查看数据库
3.create database 数据库名称；                     //创见数据库
4.ALTER DATABASE 数据库名称
CHARACTER SET utf8;                                 //修改数据库的编码为utf8
5.dr]]></description><category></category></item><item><title><![CDATA[thread]]></title><link>https://blog.youkuaiyun.com/quietlyw/article/details/109343980</link><guid>https://blog.youkuaiyun.com/quietlyw/article/details/109343980</guid><author>quietlyw</author><pubDate>Wed, 28 Oct 2020 21:05:45 +0800</pubDate><description><![CDATA[创建多线程  （Runnable接口）

创建多线程程序的第二种方法：实现runnable接口
包：java.lang.Runnable
Runnable接口应该有那些打算通过某一线程执行其实例类的类来实现 类必须定义一个成为run的无参数方法
java.lang.Thread类的构造方法
Thread（Runnable target）分配新的Thread 对象
Thread （Runnable target,String name）...]]></description><category></category></item></channel></rss>