<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[shike1998的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/shike1998</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; shike1998]]></copyright><item><title><![CDATA[Spark优化]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/122387914</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/122387914</guid><author>shike1998</author><pubDate>Wed, 12 Jan 2022 15:12:21 +0800</pubDate><description><![CDATA[一、代码调优
主
对多次使用的RDD进行持久化
对多次使用的rdd进行缓存   缓存级别一般使用 MEMORY_AND_DISK_SER
如何选择一种最合适的持久化策略
如果纯内存的级别都无法使用，那么建议使用MEMORY_AND_DISK_SER策略，而不是 MEMORY_AND_DISK策略。因为既然到了这一步，就说明RDD的数据量很大，内存无 法完全放下。序列化后的数据比较少，可以节省内存和磁盘的空间开销。同时该策略会优 先尽量尝试将数据缓存在内存中，内存缓存不下才会写入磁盘。

通常不建议使用DIS]]></description><category></category></item><item><title><![CDATA[spark-sql 写代码方式]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/122310857</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/122310857</guid><author>shike1998</author><pubDate>Tue, 04 Jan 2022 20:30:58 +0800</pubDate><description><![CDATA[1、idea里面将代码编写好打包上传到集群中运行，上线使用
	spark-submit提交

2、spark shell  (repl) 里面使用sqlContext     测试使用，简单任务使用
	spark-shell --master yarn-client
	不能使用yarn-cluster Driver必须再本地启动	

3、spark-sql    spark-sql --master yarn-client   不能使用yarn-cluster
	可以整合hive  使用hive的元数据
	]]></description><category></category></item><item><title><![CDATA[2、Pandas核心用法常用数据分析库 (下)]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121963061</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121963061</guid><author>shike1998</author><pubDate>Wed, 15 Dec 2021 22:08:31 +0800</pubDate><description><![CDATA[2、预备知识-python核心用法常用数据分析库（下）
文章目录2、预备知识-python核心用法常用数据分析库（下）概述实验环境任务二：Pandas数据分析实战-1【任务目标】【任务步骤】**分析数据问题**任务三：Pandas数据分析实战-2【任务目标】【任务步骤】**处理问题一****处理问题二****处理问题三四**
概述
Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器]]></description><category></category></item><item><title><![CDATA[1、Pandas核心用法常用数据分析库(上)]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121963045</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121963045</guid><author>shike1998</author><pubDate>Wed, 15 Dec 2021 22:08:15 +0800</pubDate><description><![CDATA[1、预备知识-python核心用法常用数据分析库（上）
文章目录1、预备知识-python核心用法常用数据分析库（上）**概述****实验环境****任务一：环境安装与配置****【实验目标】****【实验步骤】****任务二：Pandas数据分析实战****【任务目标】****【任务步骤】**
概述
Python 是当今世界最热门的编程语言，而它最大的应用领域之一就是数据分析。在python众多数据分析工具中，pandas是python中非常常用的数据分析库，在数据分析，机器学习，深度学习等领域经常被使用]]></description><category></category></item><item><title><![CDATA[FlinkX的安装与简单使用]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121799036</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121799036</guid><author>shike1998</author><pubDate>Wed, 08 Dec 2021 19:27:06 +0800</pubDate><description><![CDATA[FlinkX的安装与简单使用
文章目录FlinkX的安装与简单使用FlinkX的安装FlinkX的简单使用MySQLToHDFSMySQLToHiveMySQLToHBaseMySQLToMySQL
FlinkX的安装

安装unzip：yum install unzip

1、上传并解压
unzip flinkx-1.10.zip -d /usr/local/soft/

2、配置环境变量
3、给bin/flinkx这个文件加上执行权限
chmod a+x flinkx

4、修改配置文件，设置运行端口
]]></description><category></category></item><item><title><![CDATA[DataX的安装及使用]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121780379</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121780379</guid><author>shike1998</author><pubDate>Tue, 07 Dec 2021 22:29:46 +0800</pubDate><description><![CDATA[DataX的安装及使用
文章目录DataX的安装及使用DataX的安装DataX的使用stream2stream编写配置文件stream2stream.json执行同步任务执行结果mysql2mysql编写配置文件mysql2mysql.json执行同步任务mysql2hdfs编写配置文件mysql2hdfs.jsonhbase2mysqlmysql2hbasemysql2Phoenix在Phoenix中创建STUDENT表编写配置文件MySQLToPhoenix.jsonHDFSToHBase
DataX]]></description><category></category></item><item><title><![CDATA[SQOOP安装及使用]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121753973</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121753973</guid><author>shike1998</author><pubDate>Mon, 06 Dec 2021 19:25:42 +0800</pubDate><description><![CDATA[SQOOP安装及使用
文章目录SQOOP安装及使用SQOOP安装1、上传并解压2、修改文件夹名字3、修改配置文件4、修改环境变量5、添加MySQL连接驱动6、测试准备MySQL数据登录MySQL数据库创建student数据库切换数据库并导入数据另外一种导入数据的方式使用Navicat运行SQL文件导出MySQL数据库importMySQLToHDFS编写脚本，保存为MySQLToHDFS.conf执行脚本注意事项：MySQLToHive编写脚本，并保存为MySQLToHIVE.conf文件在Hive中创建t]]></description><category></category></item><item><title><![CDATA[HBase优化]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121721869</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121721869</guid><author>shike1998</author><pubDate>Sun, 05 Dec 2021 17:08:38 +0800</pubDate><description><![CDATA[主从节点切换
在某节点上运行
./hbase-daemon.sh start master

高可用
在HBase中HMaster负责监控HRegionServer的生命周期，均衡RegionServer的负载，如果HMaster挂掉了，那么整个HBase集群将陷入不健康的状态，并且此时的工作状态并不会维持太久。所以HBase支持对HMaster的高可用配置。
1．关闭HBase集群（如果没有开启则跳过此步）
  [atguigu@hadoop102 hbase]$ bin/stop-hbase.sh  
]]></description><category></category></item><item><title><![CDATA[Hbase 之Phoenix]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121708863</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121708863</guid><author>shike1998</author><pubDate>Fri, 03 Dec 2021 23:10:55 +0800</pubDate><description><![CDATA[Hbase适合存储大量的对关系运算要求低的NOSQL数据，受Hbase 设计上的限制不能直接使用原生的API执行在关系数据库中普遍使用的条件判断和聚合等操作。Hbase很优秀，一些团队寻求在Hbase之上提供一种更面向普通开发人员的操作方式，Apache Phoenix即是。
Phoenix 基于Hbase给面向业务的开发人员提供了以标准SQL的方式对Hbase进行查询操作，并支持标准SQL中大部分特性:条件运算,分组，分页，等高级查询语法。
Phoenix使用
1 、sqlline.py master,n]]></description><category></category></item><item><title><![CDATA[Hbase API]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121641016</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121641016</guid><author>shike1998</author><pubDate>Tue, 30 Nov 2021 23:14:57 +0800</pubDate><description><![CDATA[创建API表
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.HColumnDescriptor;
import org.apache.hadoop.hbase.HTableDescriptor;
import org.apache.hadoop.hbase.TableName;
import org.a]]></description><category></category></item><item><title><![CDATA[day20 JavaSe之File类]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/120865513</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/120865513</guid><author>shike1998</author><pubDate>Mon, 29 Nov 2021 21:50:45 +0800</pubDate><description><![CDATA[File类一、File是什么？二、File类的构造方法：1.public File(String pathname)2.public File(String parent,String child)3.public File(File parent,String child)三、File类的创建功能1. public boolean createNewFile()2.  public boolean mkdir()3. public boolean mkdirs()四、删除功能1. public boole]]></description><category></category></item><item><title><![CDATA[hbase笔记01]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121618392</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121618392</guid><author>shike1998</author><pubDate>Mon, 29 Nov 2021 21:48:40 +0800</pubDate><description><![CDATA[HBase Shell操作
1 基本操作
1．进入HBase客户端命令行
hbase shell 

2．查看帮助命令
 help 

3．查看当前数据库中有哪些表
 list

2 表的操作
1．创建表
create 'student','info' 

2．插入数据到表
 put 'student','1001','info:sex','male' 
 put 'student','1001','info:age','18' 
 put 'student','1002','info:name','Jan]]></description><category></category></item><item><title><![CDATA[hive笔记04]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121588105</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121588105</guid><author>shike1998</author><pubDate>Sun, 28 Nov 2021 22:33:22 +0800</pubDate><description><![CDATA[with as 使用
window as使用
例子:
  select *,
  row_number() over w as num1,
  rank()       over w as num2,
  avg(score)   over (partition by clazz order by score desc rows between 1 PRECEDING and 1 FOLLOWING) as  avg1,
  max(score)   over (partition by clazz ord]]></description><category></category></item><item><title><![CDATA[hive笔记03]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121584484</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121584484</guid><author>shike1998</author><pubDate>Sat, 27 Nov 2021 22:34:00 +0800</pubDate><description><![CDATA[UDF函数
UDF：一进一出
创建maven项目，并加入依赖
  &lt;dependency&gt;
            &lt;groupId&gt;org.apache.hive&lt;/groupId&gt;
            &lt;artifactId&gt;hive-exec&lt;/artifactId&gt;
            &lt;version&gt;1.2.1&lt;/version&gt;
        &lt;/dependency&gt;

编写代码，继承o]]></description><category></category></item><item><title><![CDATA[hive笔记day02]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121547098</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121547098</guid><author>shike1998</author><pubDate>Thu, 25 Nov 2021 22:59:25 +0800</pubDate><description><![CDATA[Hive连接ieda
1.建表
2.上传数据
3.启动hiveserver2
hive --service hiveserver2 &amp;
4.添加依赖
    &lt;dependency&gt;
        &lt;groupId&gt;org.apache.hadoop&lt;/groupId&gt;
        &lt;artifactId&gt;hadoop-common&lt;/artifactId&gt;
        &lt;version&gt;2.7.6&lt;/versi]]></description><category></category></item><item><title><![CDATA[hdfs基本操作]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121508050</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121508050</guid><author>shike1998</author><pubDate>Wed, 24 Nov 2021 09:20:39 +0800</pubDate><description><![CDATA[hdfs分布式文件系统 ， 将一个大的文件拆分成多个小文件存储在多台服务器中，
文件系统： 目录结构（树状结构）  “/” 树根，   目录结构在namenode中维护
1、创建目录   mkdir
mkdir ： 创建目录
/data ; 路径 ， 需要从 ”/“ 开始
hadoop dfs -mkdir /data
-p  ： 递归创建多级目录
hadoop dfs -mkdir -p  /a/b/c
2、查看文件
ls  没有cd命令， 需要指绝对路径
hadoop dfs -ls /data
权限（]]></description><category></category></item><item><title><![CDATA[hive笔记day01]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121505065</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121505065</guid><author>shike1998</author><pubDate>Tue, 23 Nov 2021 22:53:20 +0800</pubDate><description><![CDATA[内部表基础建表
内部表基础建表语句一:(默认指定文件类型为TextFile,HDFS路径为/user/hive/warehouse/库/下)
格式:
create table 表名
(
字段名1 字段类型1,
字段名2 字段类型2,
…
)
ROW FORMAT DELIMITED FIELDS TERMINATED BY ‘分隔符’;  // 必选指定列之间的分隔符
内部表基础建表语句二:(HDFS路径为/user/hive/warehouse/库/下)
格式:
create table 表名
(
字段名]]></description><category></category></item><item><title><![CDATA[zookeeper API]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121478990</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121478990</guid><author>shike1998</author><pubDate>Mon, 22 Nov 2021 21:47:00 +0800</pubDate><description><![CDATA[API
import org.apache.zookeeper.CreateMode;
import org.apache.zookeeper.ZooDefs;
import org.apache.zookeeper.ZooKeeper;

import java.io.IOException;

public class ZKAPi {
    public static void main(String[] args) throws Exception {
        String coon="ma]]></description><category></category></item><item><title><![CDATA[java操作MapReduce代码]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121444564</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121444564</guid><author>shike1998</author><pubDate>Sun, 21 Nov 2021 20:55:24 +0800</pubDate><description><![CDATA[第一个mr程序 单词统计
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.Reducer;
import]]></description><category></category></item><item><title><![CDATA[idea连接Hadoop操作指令]]></title><link>https://blog.youkuaiyun.com/shike1998/article/details/121430908</link><guid>https://blog.youkuaiyun.com/shike1998/article/details/121430908</guid><author>shike1998</author><pubDate>Fri, 19 Nov 2021 20:58:22 +0800</pubDate><description><![CDATA[配置文件
创建文件
迭代删除
获取当前目录下 所有文件的对象
查看
写入
上传和下载
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.*;
import org.junit.Before;
import org.junit.Test;

import java.io.BufferedReader;
import java.io.BufferedWriter;
import java.io.InputStream]]></description><category></category></item></channel></rss>