<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Java_Hadoop的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Java_Hadoop</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Java_Hadoop]]></copyright><item><title><![CDATA[sparksql 多分区读RDS的两种方式(mysql 为例)]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/126337711</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/126337711</guid><author>Java_Hadoop</author><pubDate>Sun, 14 Aug 2022 22:46:34 +0800</pubDate><description><![CDATA[sparksql 多分区读rds 的两种实现方式及实例]]></description><category></category></item><item><title><![CDATA[SparkSql 解析 string json格式]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/125826897</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/125826897</guid><author>Java_Hadoop</author><pubDate>Sat, 16 Jul 2022 23:45:56 +0800</pubDate><description><![CDATA[3,根据2中的特殊符号,使用split将整个2处理后的结果转为array类型split(regexp_replace(regexp_extract(itemlist,'^\\[(.+)\\]$',1),'\\},\\{"baseDiscountInfo"','\\}#@\\{"baseDiscountInfo"'),'#@')1，去掉string类型数据首尾[和]regexp_extract(itemlist,'^\\[(.+)\\]$',1)...]]></description><category></category></item><item><title><![CDATA[spark 自定义输出文件名,文件格式,csv文件添加列头]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/121067192</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/121067192</guid><author>Java_Hadoop</author><pubDate>Sun, 31 Oct 2021 17:39:15 +0800</pubDate><description><![CDATA[import java.text.SimpleDateFormat
import java.util.Date

import org.apache.hadoop.fs.{FileSystem, Path}
import org.apache.hadoop.mapred.{FileOutputFormat, JobConf}
import org.apache.hadoop.mapred.lib.MultipleTextOutputFormat
import org.apache.spark.TaskCo.]]></description><category></category></item><item><title><![CDATA[hive中自增序列，连续登陆及拉链表]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/120056244</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/120056244</guid><author>Java_Hadoop</author><pubDate>Thu, 02 Sep 2021 10:52:07 +0800</pubDate><description><![CDATA[1，实现hive中的自增列

   假设有维度表tbl_dim和过渡表tbl_stg，现在要将tbl_stg的数据装载到tbl_dim，装载的同时生成维度表的代理键

select

row_number() over (order by 1) + t2.sk_max,tbl_stg.name

from tbl_stg

cross join

(select coalesce(max(sk_max),0) sk_max from tbl_dim) t2;

上面语句中，先查询维度表中已...]]></description><category></category></item><item><title><![CDATA[Hivesql 行转列,列转行详解]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/109675861</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/109675861</guid><author>Java_Hadoop</author><pubDate>Fri, 13 Nov 2020 15:29:35 +0800</pubDate><description><![CDATA[hive中行转列

行转列：concat_ws 和collect_set或者collect_list结合使用

collect_set函数是对统计的数据进行去重，然后拼接在一起，返回一个set集合

collect_list是不去重，对所有的值进行拼接然后返回一个list集合

select id,isbook,concat_ws(',', collect_list(cast(time as string))) as List from table group byid,isbook



使用str_..]]></description><category></category></item><item><title><![CDATA[搭建本地zabbix源 安装zabbix监控,中文乱码解决]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/103287737</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/103287737</guid><author>Java_Hadoop</author><pubDate>Thu, 28 Nov 2019 09:45:29 +0800</pubDate><description><![CDATA[下载外网的yum源文件,配置自己的本地zabbix yum源。

1，下载

window 使用wget.exe 下载zabbix 文件

2，将下载好的文件复制到/var/www/html/zabbix目录

cd /var/www/html/zabbix



3，配置本地yum源



zabbix.repo

[zabbix]

name=Zabbix

baseurl=http:...]]></description><category></category></item><item><title><![CDATA[Mariadb/Mysql升级至10.4.10操作实战]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/103283932</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/103283932</guid><author>Java_Hadoop</author><pubDate>Wed, 27 Nov 2019 21:36:13 +0800</pubDate><description><![CDATA[切记:升级操作需要使用yum源

1,备份相关数据库数据

  mysqldump -h127.0.0.1 -uroot -ppass --databases hive ambair &gt;/opt/tools/mariadb-10.4.10/ambari-hive.sql

2,卸载原有mariadb数据库

 

  卸载相关rpm包,示例如下

 rpm -ivh m...]]></description><category></category></item><item><title><![CDATA[Hive高频使用]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/84335368</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/84335368</guid><author>Java_Hadoop</author><pubDate>Thu, 22 Nov 2018 10:47:32 +0800</pubDate><description><![CDATA[1.强制删除带有表的hive库：

drop database 库名 cascade;



2.设置显示当前使用的hive库：

hive&gt; set hive.cli.print.current.db=true;

  

 查询当前使用的hive库：select current_database();



3.hive客户端设置运行队列：

hive&gt;s...]]></description><category></category></item><item><title><![CDATA[OpenSession和GetCurrentSession的区别]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/77900276</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/77900276</guid><author>Java_Hadoop</author><pubDate>Fri, 08 Sep 2017 22:57:34 +0800</pubDate><description><![CDATA[1>性能区别:
      OpenSession效率非常低,每次请求可能会执行多个功能,每个功能都是使用OpenSession,这样会反复的连接数据库,效率低
       getCurrentSession首先从当前线程中查询是否有可用的session,如果有直接拿来使用,如果没有,新打开一个,并把他放入当前线程中
 2>事务对其影响的差别:
      getCurrentSessi]]></description><category></category></item><item><title><![CDATA[hibernate的缓存类别]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/77899822</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/77899822</guid><author>Java_Hadoop</author><pubDate>Fri, 08 Sep 2017 22:40:46 +0800</pubDate><description><![CDATA[1>一级缓存


在查询的时候,每次都会先去session容器中找是否需要的对象,如果有,直接返回,不会与数据库进行交互
如果session容器中没有,session向数据库中查询,这时会与数据库进行交互,发送sql语句.
一级缓存是Session级别的缓存。在操作数据库时需要构造Session对象，在对象中有一个数据结构（HashMap）用于存储缓存数据。不同的Session之间的缓存]]></description><category></category></item><item><title><![CDATA[JAVA中创建JDBC以及对jdbc的封装(数据库为mysql)]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/76692019</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/76692019</guid><author>Java_Hadoop</author><pubDate>Fri, 04 Aug 2017 19:43:24 +0800</pubDate><description><![CDATA[1,JDBC连接mysql时需要用到的类:
    Drivermanager 类：驱动管理类              Connection 接口：数据库连接接口
    Statement 接口：执行sql语句的接口          Resultset 接口：查询的结果集对象                                                         ]]></description><category></category></item><item><title><![CDATA[Java中的分页实现]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/76546514</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/76546514</guid><author>Java_Hadoop</author><pubDate>Tue, 01 Aug 2017 17:10:09 +0800</pubDate><description><![CDATA[1,创建分页的实体类: 然后获得其属性的get和set方法   需要注意的是getTotalPage()方法需要修改下,计算出总页数
   
public 
class UtilPage {
   public
int 
totalPage;// 总页数
   public
int 
rowsCount;// 总条数
   public
int 
currentPage;/]]></description><category></category></item><item><title><![CDATA[form表单get和post提交方式的不同]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75645484</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75645484</guid><author>Java_Hadoop</author><pubDate>Fri, 21 Jul 2017 14:27:41 +0800</pubDate><description><![CDATA[1>method="get"       提交时传递的值暴露在url上
      http://localhost:8080/Web-ServletContext/Servlet_Context?name=王经
  2>method="post"      post方式不会暴露传递的值,而且传递的数据量比get大
       http://localhost:8080/Web-Servl]]></description><category></category></item><item><title><![CDATA[Http协议中访问的状态码]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75640473</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75640473</guid><author>Java_Hadoop</author><pubDate>Fri, 21 Jul 2017 13:39:14 +0800</pubDate><description><![CDATA[常用的状态码
    1>200  :请求成功
    2>302  :请求重定向
    3>304  :请求资源没有改变,访问本地缓存
    4>404  :请求资源不存在,通常是访问路径错误(重新输入正确路径)
    5>500  :服务器内部错误,一般都是程序中的代码错误(直接去查看代码,改正错误)]]></description><category></category></item><item><title><![CDATA[mysql中的inner join,left join,right join]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75365046</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75365046</guid><author>Java_Hadoop</author><pubDate>Wed, 19 Jul 2017 12:45:07 +0800</pubDate><description><![CDATA[内连接 INNER JOIN,左连接 left join ,右连接 left join 是在查询数据用到多张表时会用的知识点    如果仅仅是对一张表中的数据进行查询就没法进行连接了

-- 内连接 INNER JOIN
语法:   select * from 表1 INNER JOIN 表2 On 表1.ID=表2.ID (表1.ID,表2.ID之间要有关系)
例如:SELECT * f]]></description><category></category></item><item><title><![CDATA[mysql中的主外键的理解]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75364914</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75364914</guid><author>Java_Hadoop</author><pubDate>Wed, 19 Jul 2017 12:39:59 +0800</pubDate><description><![CDATA[-- 进行主外键关联
alter table grade
add FOREIGN KEY (stu_id)
REFERENCES student (id)
-- mysql中的主外键关联 ,如果没有主外键关联,
-- 表中的数据可以随意添加,就如学生表和成绩表一样
-- 学生表可以随意添加学生信息,成绩表中也可以随意添加
-- 但是添加后有可能学生表没有学生信息,但成绩表却出现了成绩]]></description><category></category></item><item><title><![CDATA[冒泡排序的简单理解]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75208526</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75208526</guid><author>Java_Hadoop</author><pubDate>Sun, 16 Jul 2017 17:49:22 +0800</pubDate><description><![CDATA[简单的冒泡排序,如果我理解的有误,希望大家提出来,共同进步!]]></description><category></category></item><item><title><![CDATA[函数重载(OverLoading)和函数的覆盖(重写)Overriding]]></title><link>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75107817</link><guid>https://blog.youkuaiyun.com/Java_Hadoop/article/details/75107817</guid><author>Java_Hadoop</author><pubDate>Fri, 14 Jul 2017 14:27:27 +0800</pubDate><description><![CDATA[OverLoading
函数重载:让类以统一的的方式处理不同类型的数据,多个同名函数同时存在,具有不同的参数个数/类型
1：在同一个类中 方法名相同。2：方法的参数类型，个数，顺序至少有一个不同。3：仅仅返回值不一样，不能构成重载。


Overriding
方法的覆盖(重写)：
1,函数名相同，返回值类型，参数列表要相同。2,函数体不同。而且子类方法不能缩小父类方法的访问权限。（访]]></description><category></category></item></channel></rss>