<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wsjslient的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wsjslient</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wsjslient]]></copyright><item><title><![CDATA[Linux Hadoop平台伪分布式安装(Hive on Spark)]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/134304172</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/134304172</guid><author>wsjslient</author><pubDate>Thu, 09 Nov 2023 10:51:03 +0800</pubDate><description><![CDATA[Hadoop大数据平台伪分布式安装]]></description><category></category></item><item><title><![CDATA[Linux磁盘挂载及扩容操作]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/133071622</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/133071622</guid><author>wsjslient</author><pubDate>Wed, 20 Sep 2023 14:07:12 +0800</pubDate><description><![CDATA[linux磁盘挂载及扩容操作]]></description><category></category></item><item><title><![CDATA[Windows下的Elasticsearch-head安装]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/132825559</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/132825559</guid><author>wsjslient</author><pubDate>Tue, 12 Sep 2023 10:39:09 +0800</pubDate><description><![CDATA[windows下安装es-head]]></description><category></category></item><item><title><![CDATA[HDP服务器上spark-sql联通hive元数据库]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/131201851</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/131201851</guid><author>wsjslient</author><pubDate>Wed, 14 Jun 2023 10:29:02 +0800</pubDate><description><![CDATA[执行的脚本没有执行，提示没有找到数据库；新打session窗口测试，通过spark-sql连接yarn后。问题描述：金山云大数据平台(基于HDP)服务器上跑批数据加工脚本时，发现当中通过。发现数据库与hive元数据库不一致；]]></description><category></category></item><item><title><![CDATA[IDEA Windows下Spark连接Hive]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/127966632</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/127966632</guid><author>wsjslient</author><pubDate>Mon, 21 Nov 2022 16:01:13 +0800</pubDate><description><![CDATA[IDEA Windows下SPARK连接Hive]]></description><category></category></item><item><title><![CDATA[VMware Centos7虚拟机镜像无法启动问题处理记录]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116852587</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116852587</guid><author>wsjslient</author><pubDate>Sat, 15 May 2021 15:58:27 +0800</pubDate><description><![CDATA[文章目录前言Handle Process

前言

博主本人固态空间不够，之前有将虚拟机从固态盘移动至了机械盘中存储，之后再移入固态盘启动虚拟机时突然发现无法启动了，这可把我吓一跳，不过最终还是找到了一个解决方法，这里和大家分享下经验！


Handle Process
启动虚拟机直接报错，系统找不到指定文件，我完整复制镜像还有这问题？不信邪的我去根目录下一探究竟


来到虚拟机根目录下，发现计算机骗我，指定文件明明在当前目录下呆着，凭什么启动不了？


将文件以notepad方式打开，对比目录下的文件，发]]></description><category></category></item><item><title><![CDATA[虚拟化 VMware ESXi 6.7服务器及主机安装]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116674384</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116674384</guid><author>wsjslient</author><pubDate>Wed, 12 May 2021 00:09:22 +0800</pubDate><description><![CDATA[目录前言安装ESXI服务器安装Centos主机

前言

ESXI是VMware的企业虚拟化产品，可视为虚拟化的平台基础，部署于实体服务器。不同于VMware Workstation、VMware Server，ESXI采用的是（裸金属或裸机）的一种安装方式，直接将Hypervisor 安装在实体机器上，并不需要实现安装OS。Hypervisor就是掌握硬件资源的微内核。

ESXI 专为运行虚拟机、最大限度降低配置要求和简化部署设计。ESXi 体系结构采用基于 API 的合作伙伴集成模型，因此不再需要安装]]></description><category></category></item><item><title><![CDATA[Centos7下Cluster离线安装 Apache Ambari-2.7.3+]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116605824</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116605824</guid><author>wsjslient</author><pubDate>Tue, 11 May 2021 10:07:50 +0800</pubDate><description><![CDATA[文章目录前言AmbariHDPHDP-UTILS一、安装准备1.1 Ambari、HDP版本介绍1.2 设备前置安装1.2.1 关闭防火墙1.2.2 无密登录1.2.3 jdk安装1.2.4 服务器时间同步1.3 软件准备二、离线安装

前言
Ambari

Apache Ambari是用于置备，管理和监视Apache Hadoop集群的工具。 Ambari由一组RESTful API和一个基于浏览器的管理界面组成。
Ambari使系统管理员可以：

设置Hadoop集群： Ambari提供了一个易于使用的]]></description><category></category></item><item><title><![CDATA[Java普通工程打包&Maven工程打包&运行jar包]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116496819</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116496819</guid><author>wsjslient</author><pubDate>Fri, 07 May 2021 17:39:37 +0800</pubDate><description><![CDATA[文章目录一、普通工程二、MAVEN工程【同时打胖包瘦包】三、执行jar包

一、普通工程

File --&gt; Project Structure…




Artifacts --&gt; "+" --&gt; JAR --&gt; From modules with dependencies...




出现如下界面点击OK




这里根据流程选择主类，确认后点击"OK"




Build–&gt;Build Artifacts…




第一次打包点击Build，后面再打包点击Rebuild]]></description><category></category></item><item><title><![CDATA[Linux下静默安装Oracle服务端&脚本自动化安装]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116483613</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116483613</guid><author>wsjslient</author><pubDate>Fri, 07 May 2021 11:52:16 +0800</pubDate><description><![CDATA[文章目录前言一、pandas是什么？

前言


一、pandas是什么？

]]></description><category></category></item><item><title><![CDATA[Mybatis连接Oracle数据库【增删改查】实例]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116293794</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116293794</guid><author>wsjslient</author><pubDate>Fri, 30 Apr 2021 13:50:47 +0800</pubDate><description><![CDATA[文章目录Denpency二级目录三级目录
Denpency
二级目录
三级目录

]]></description><category></category></item><item><title><![CDATA[Maven本地仓库中加入Oracle jar包]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116297973</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116297973</guid><author>wsjslient</author><pubDate>Fri, 30 Apr 2021 13:34:56 +0800</pubDate><description><![CDATA[文章目录前言一、Oracle jar包获取二、Oracle版本获取三、Maven命令打包四、Maven poml导入

前言

当我们使用java连接oracle时，从maven获取对应denpency粘贴至新建工程的poml中，发现无法拉取jar包至本地仓库中，这是由于版权原因，甲骨文官方屏蔽了依赖;这时我们需要用另外一种方法：maven本地库打jar包


一、Oracle jar包获取

这里我是从oracle的服务端此目录：$ORACLE_HOME/jdbc/lib/下获取的：



二、Oracl]]></description><category></category></item><item><title><![CDATA[FineReport连接Hive]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/116020689</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/116020689</guid><author>wsjslient</author><pubDate>Thu, 22 Apr 2021 17:08:03 +0800</pubDate><description><![CDATA[目录前言a. jar包拷贝b. 创建连接

前言

最近项目最后阶段用finereport做报表时，发现部分表需要聚合，这部分数据在M有SQL下的性能让人过于着急。于是干脆连接到hive，直接走MapReduce查询。

a. jar包拷贝
将以下jar包复制FineReport此目录下：${FINEREPORT_HOME}\webapps\webroot\WEB-INF\lib

hadoop

hadoop-common-2.6.0-cdh5.14.2.jar


hive

hive-jdbc-1.1]]></description><category></category></item><item><title><![CDATA[Sqoop导出 Hive orc格式数据至 MySQL]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115997691</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115997691</guid><author>wsjslient</author><pubDate>Thu, 22 Apr 2021 10:09:33 +0800</pubDate><description><![CDATA[文章目录前言解决方法a. 配置环境变量b. Sqoop

前言

项目末尾需要将Hive的维度表导入至Hdfs，这里我第一时间就决定使用Sqoop来传输数据。但是当我运行Sqoop任务时，直接给我浇了一盆凉水,这时我去检查发现，hive内这一层数据都是采用orc格式存储的。

报错如下:


解决方法
a. 配置环境变量

将${HIVE_HOME}下的Hcatalog的bin添加至环境变量

#HCAT_HOME
export HCAT_HOME=/opt/software/hive110/hcatalo]]></description><category></category></item><item><title><![CDATA[使用MyBatis读取Hive数据并写入MySQL实例]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115980947</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115980947</guid><author>wsjslient</author><pubDate>Wed, 21 Apr 2021 23:42:18 +0800</pubDate><description><![CDATA[文章目录前言一、思路整理二、Dependency三、Code3.1 实体类3.2 DAOa. HiveDaob.  MySQLDao3.3 配置文件a.mybatis-config.xmlb. hive-events.xmlc. mysql-events.xml3.4 工具类a. DruidDataSourceFactoryb. DatabaseUtils3.5 服务类3.6 测试类App

前言

在项目的末尾需要做大屏展示时，遇到了需要将hive的维度表导入到MySQL中。这里除了使用Sqoop外，我们]]></description><category></category></item><item><title><![CDATA[Java读Kafka后写入HBase实例]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115830352</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115830352</guid><author>wsjslient</author><pubDate>Sun, 18 Apr 2021 16:24:34 +0800</pubDate><description><![CDATA[文章目录前言：思路分析包结构一、poml二、读写接口2.1 Read2.2 Write三、读Kafka3.1 KafkaUtils3.2 KafkaReadImpl四、写HBase4.1 HBaseConf4.2 HBaseUtils4.3 UsersImpl五、application运行5.1 NormalFactory5.2 AppTest
前言：思路分析

a.读写分别对应不同的操作，这里定义两个接口，分别对应读写操作；
b.读取Kafka数据，这里接口参数设置两个，一个是Properties，另外一]]></description><category></category></item><item><title><![CDATA[Spark Streaming读写Kafka实例]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115455977</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115455977</guid><author>wsjslient</author><pubDate>Sat, 17 Apr 2021 10:10:34 +0800</pubDate><description><![CDATA[目录Linking DenpencyCommon Writing
Linking Denpency

poml依赖

&lt;properties&gt;
    &lt;project.build.sourceEncoding&gt;UTF-8&lt;/project.build.sourceEncoding&gt;
    &lt;maven.compiler.source&gt;1.8&lt;/maven.compiler.source&gt;
    &lt;maven.compiler.targe]]></description><category></category></item><item><title><![CDATA[Java操作Hdfs]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115701160</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115701160</guid><author>wsjslient</author><pubDate>Wed, 14 Apr 2021 19:34:00 +0800</pubDate><description><![CDATA[文章目录前言一、初始化环境二、测试方法2.1 创建文件夹2.2 创建文件并写入数据2.3 在文件后追加内容2.4 查看HDFS文件2.5 文件(夹)重命名2.6 删除文件(夹)2.7 文件上传2.7.1 本地文件上传2.7.2 上传带进度条2.8 下载文件2.9 查看HDFS文件列表2.10 查看DataNode信息

前言

&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;可能很多小伙伴用java写过MapReuce的代码，但是对于操作HDFS相信很多小伙伴都是用Lin]]></description><category></category></item><item><title><![CDATA[Linux下修改yum镜像源&修改pip镜像源]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115664138</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115664138</guid><author>wsjslient</author><pubDate>Tue, 13 Apr 2021 14:23:50 +0800</pubDate><description><![CDATA[目录一、修改yum镜像源二、修改pip镜像源2.1 国内镜像源2.2 安装指定源方式a. 一次性指定方式b. 永久指定
一、修改yum镜像源

备份系统本身自带yum源：/etc/yum.repos.d/CentOS-Base.repo

#创建保存yun源的文件夹
[root@sole ~]# mkdir /opt/centos-yum.bak 
#将系统原有yum源拷贝至此
[root@sole ~]# mv /etc/yum.repos.d/CentOS-Base.repo /opt/centos-y]]></description><category></category></item><item><title><![CDATA[Linux下安装Python3&Pyspark]]></title><link>https://blog.youkuaiyun.com/wsjslient/article/details/115656690</link><guid>https://blog.youkuaiyun.com/wsjslient/article/details/115656690</guid><author>wsjslient</author><pubDate>Tue, 13 Apr 2021 11:14:31 +0800</pubDate><description><![CDATA[安装目录查看本机已安装的Python下载Python安装包安装依赖环境安装gcc编译器安装zlib的解压缩类库解压Python安装包配置安装目录&amp;编译源码并执行源码安装永久修改pip源pyspark安装
查看本机已安装的Python
#python -V也可查看
[root@sole ~]# python --version
Python 2.7.5



下载Python安装包
Python版本下载

安装依赖环境
[root@sole ~]#  yum install openssl-devel]]></description><category></category></item></channel></rss>