<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[懵懂bigdata象]]></title><description><![CDATA[大数据领域的努力学习者]]></description><link>https://blog.youkuaiyun.com/IT_technologier</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; IT_technologier]]></copyright><item><title><![CDATA[openGauss本地Centos7.6单机安装和简单应用]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/133815561</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/133815561</guid><author>IT_technologier</author><pubDate>Thu, 26 Oct 2023 11:33:07 +0800</pubDate><description><![CDATA[开源国产数据库openGauss 安装教程]]></description><category></category></item><item><title><![CDATA[HBase高可用集群安装部署]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127332643</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127332643</guid><author>IT_technologier</author><pubDate>Sat, 15 Oct 2022 14:14:17 +0800</pubDate><description><![CDATA[在大数据的采集、转换、存储、运算过程中，当数据量极大时关系型数据库的效率就显得略微的不足，因此，非关系型数据库的学习就从今天开始！HBase的版本为hbase-2.4.11-bin.tar.gz]]></description><category></category></item><item><title><![CDATA[Zookeeper集群安装部署]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127315083</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127315083</guid><author>IT_technologier</author><pubDate>Fri, 14 Oct 2022 15:34:56 +0800</pubDate><description><![CDATA[同学，你好！本文主要为大家记录一下关于Zookeeper在集群中的安装部署，希望大家在安装的过程中注意几个点：(1)myid，(2)zookeeper的数据存放目录，(3)zk的集群配置，本文中的zookeeper版本为zookeeper-3.5.7。]]></description><category></category></item><item><title><![CDATA[实时数据同步工具＜Maxwell 操作案例＞]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127141798</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127141798</guid><author>IT_technologier</author><pubDate>Sun, 02 Oct 2022 17:52:30 +0800</pubDate><description><![CDATA[关于Maxwell同步MySQL数据的几个操作案例，监控MySQL数据输出到控制台，输出到kafka，指定监控某个表中数据的变化并输出到kafka等]]></description><category></category></item><item><title><![CDATA[实时数据同步工具＜Maxwell入门简介及原理解析、安装部署＞]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127137561</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127137561</guid><author>IT_technologier</author><pubDate>Sun, 02 Oct 2022 00:17:57 +0800</pubDate><description><![CDATA[对于离线数仓项目中将MySQL中的数据同步到大数据平台使用的工具是sqoop，而我们在大数据处理中并不是只有离线计算，随着技术的发展，目前实时分析处理在大数据中占据了非常大的部分，那么在实时大数据项目中我们可以使用什么工具为我们将MySQL中的数据同步到大数据平台中呢！本文中的Maxwell就是为了解决这个问题的，接下来，让我们一起细细了解]]></description><category></category></item><item><title><![CDATA[数据仓库任务调度器-Azkaban | 案例测试2＜电话报警通知机制＞]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127102370</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127102370</guid><author>IT_technologier</author><pubDate>Thu, 29 Sep 2022 12:16:00 +0800</pubDate><description><![CDATA[Azkaban集成睿象云实现电话告警通知机制，实现思路：Azkaban配置邮件通知，当任务调度失败或者成功时发送邮件给睿象云平台，在睿象云平台集成配置了电话通知，于是当睿象云收到Azkaban的邮件通知时，便会自动拨打电话告知项目负责人。]]></description><category></category></item><item><title><![CDATA[数据仓库任务调度器-Azkaban | 案例测试1＜自动邮件报警通知机制＞]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127098978</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127098978</guid><author>IT_technologier</author><pubDate>Thu, 29 Sep 2022 01:00:00 +0800</pubDate><description><![CDATA[此文章主要向大家演示在大数据项目中使用Azkaban作为任务调度器的时候，当任务发生错误和失败,又或者任务执行成功时怎么部署实现Azkaban**自动发送**邮件通知项目负责人，在这篇文章中我将126邮箱交给Azkaban使用，作为自动报警机制的发件人，而使用qq邮箱作为项目执行者接收Azkaban的报警信息。]]></description><category></category></item><item><title><![CDATA[数据仓库任务调度器-Azkaban 入门＜集群安装及测试＞]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/127071901</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/127071901</guid><author>IT_technologier</author><pubDate>Tue, 27 Sep 2022 17:31:46 +0800</pubDate><description><![CDATA[任务调度器Azkaban、azkaban在大数据中的应用，数据仓库中的任务调度器]]></description><category></category></item><item><title><![CDATA[sqoop入门简介 | 安装部署 | sqoop案例展示]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/124202099</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/124202099</guid><author>IT_technologier</author><pubDate>Sun, 17 Apr 2022 11:42:39 +0800</pubDate><description><![CDATA[ETL工具sqoop
文章目录ETL工具sqoopsqoop简介sqoop安装sqoop常用命令sqoop案例
sqoop简介
Sqoop(发音：skup)是一款开源的工具，主要用于在Hadoop(Hive)与传统的数据库(mysql、postgresql…)间进行数据的传递，可以将一个关系型数据库（例如 ： MySQL ,Oracle ,Postgres等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。
Sqoop项目开始于2009年，最早是作为Hadoop的一个第三]]></description><category></category></item><item><title><![CDATA[sqoop工具将数据从Hive导出到mysql中文乱码问题]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/124218749</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/124218749</guid><author>IT_technologier</author><pubDate>Sat, 16 Apr 2022 19:30:20 +0800</pubDate><description><![CDATA[sqoop工具将数据从Hive导出到mysql中文乱码问题
常用从hive导出数据到mysql的sqoop执行语句：
 bin/sqoop export \
--connect jdbc:mysql://bigdata01:3306/etl \
--username root \
--password 123456 \
--table twobatchavgscore \
--num-mappers 1 \
--export-dir /user/hive/warehouse/etl/000000_0 \
-]]></description><category></category></item><item><title><![CDATA[hive不支持tab缩进]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123968889</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123968889</guid><author>IT_technologier</author><pubDate>Tue, 05 Apr 2022 14:34:53 +0800</pubDate><description><![CDATA[在sublime和notepad++中编写sql语句，在复制到hive中执行，结果竟然报错？原来竟是这个小问题

作为一个用tab键进行缩进的惯犯，而且咋敲代码的时候tab键简直是越勇越爽，结果，现在用hive的时候发现竟然不好使了，hive竟然不支持tab键缩进，可是按空格又有点降低效率。这可难不到我们万能的百度。
将sublime中的tab设置为四个空格，我们就可以继续使用tab来缩进要在hive中执行的sql语句了
方法如下：
打开Sublime------------&gt;Preferences-]]></description><category></category></item><item><title><![CDATA[关联分析---Apriori算法和FPGrowth算法挖掘规则计算频繁项间的置信度]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123893285</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123893285</guid><author>IT_technologier</author><pubDate>Fri, 01 Apr 2022 11:47:58 +0800</pubDate><description><![CDATA[Apriori算法和FPGrowth算法挖掘规则计算频繁项间的置信度数据准备Apriori算法：apriori算法流程实现代码FP-growth算法FP-growth算法优点FP-growth算法流程实现代码
博主在进行了Apriori算法和FPgrowth算法的学习与完成置信度计算之后写下此篇文章，没有过多的理论介绍，理论学习可以点击这里进行查看，此篇文章主要写出实现功能的代码，有些中间结果并未输出。但最终的置信度是进行了输出的。
数据准备
此处演示所用的数据集为书中作业题目的数据集：
dataset =]]></description><category></category></item><item><title><![CDATA[解决IDEA中打包时报：Could not transfer artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde问题]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123804517</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123804517</guid><author>IT_technologier</author><pubDate>Mon, 28 Mar 2022 20:31:31 +0800</pubDate><description><![CDATA[解决IDEA中打包时报：Could not transfer artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde问题

)
问题：今天写一个对JSON文件进行分析的UDF和UDTF程序，当我准备对程序进行打包上传到服务器的时候，却报了错这个错误：
Could not transfer artifact org.pentaho:pentaho-aggdesigner-algorithm:pom:5.1.5-jhyde from/]]></description><category></category></item><item><title><![CDATA[Hive入门教程＜2＞ | hive在centos7下的安装部署]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123757419</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123757419</guid><author>IT_technologier</author><pubDate>Sat, 26 Mar 2022 17:09:15 +0800</pubDate><description><![CDATA[hive在centos7下的安装部署以及对hive进行简单的操作演示。练习：将本地数据文件导入到hive数据表中]]></description><category></category></item><item><title><![CDATA[Centos7最小化安装后ifconfig命令找不到的问题]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123724167</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123724167</guid><author>IT_technologier</author><pubDate>Thu, 24 Mar 2022 23:04:33 +0800</pubDate><description><![CDATA[在最小化安装centos7后使用ifconfig命令，发送找不到命令的最佳解决方法！]]></description><category></category></item><item><title><![CDATA[Hive入门教程＜1＞ | hive入门介绍]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123608364</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123608364</guid><author>IT_technologier</author><pubDate>Sun, 20 Mar 2022 10:38:00 +0800</pubDate><description><![CDATA[hive入门介绍

入门介绍包括了什么是hive，hive的执行流程。hive的优缺点分别是什么，hive的架构原理及组件的描述，hive与传统数据库的比较。

文章目录hive入门介绍1、什么是Hive2、Hive的优缺点3、Hive的架构原理4、Hive与数据库进行比较查询语言数据存储位置数据更新索引执行执行延迟可扩展性数据规模
1、什么是Hive

hive：由Facebook开源用于解决海量结构化日志的数据统计。


hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一]]></description><category></category></item><item><title><![CDATA[linux之shell快速入门系列＜8＞ | shell工具cut、sed、awk、sort]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123599914</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123599914</guid><author>IT_technologier</author><pubDate>Sat, 19 Mar 2022 21:19:55 +0800</pubDate><description><![CDATA[shell工具cut、sed、awk、sort
文章目录shell工具cut、sed、awk、sort1、cut2、sed3、awk4、sort
1、cut
描述:

cut的工作就是“剪”，具体的说就是在文件中负责剪切数据用的。cut 命令从文件的每一行剪切字节、字符和字段并将这些字节、字符和字段输出。


基本用法


cut [选项参数]  filename

说明：默认分隔符是制表符


选项参数说明




项参数
功能




-f
列号，提取第几列


-d
分隔符，按照指定分隔符分割列


]]></description><category></category></item><item><title><![CDATA[linux之shell快速入门系列＜7＞ | shell函数的使用]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123599470</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123599470</guid><author>IT_technologier</author><pubDate>Sat, 19 Mar 2022 18:24:09 +0800</pubDate><description><![CDATA[shell函数的使用

函数能为我们编写脚本减轻非常大的麻烦，减少我们代码的重复，强大我们的功能。

文章目录shell函数的使用1、系统函数2、自定义函数
1、系统函数
basename
基本语法

basename [string / pathname] [suffix]

功能：

basename命令会删掉所有的前缀包括最后一个（‘/’）字符，然后将字符串显示出来，常用于返回问价名。

选项：

suffix为后缀，如果suffix被指定了，basename会将pathname或string中的su]]></description><category></category></item><item><title><![CDATA[linux之shell快速入门系列＜6＞ | shell中read读取控制台输入]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123598955</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123598955</guid><author>IT_technologier</author><pubDate>Sat, 19 Mar 2022 17:52:44 +0800</pubDate><description><![CDATA[shell中read读取控制台输入

我们在学习其他编程语言的时候，掌握控制台输入函数是非常必要的，比如C语言的scanf(),java的Scanner类下的next(),nextInt()等，在Linux的shell脚本编程中当然也少不了控制台输入了。在Shell中read就很好的为我们解决了这个麻烦。



基本语法
read(选项)(参数)
选项：
-p：指定读取值时的提示符；
-t：指定读取值时等待的时间
参数：
变量：指定读取值的变量名


案例操作
（1）操作1，操作测试：-p
[root@bi]]></description><category></category></item><item><title><![CDATA[linux之shell快速入门系列＜5＞ | shell流程控制if、case、for、while轻松弄懂]]></title><link>https://blog.youkuaiyun.com/IT_technologier/article/details/123521912</link><guid>https://blog.youkuaiyun.com/IT_technologier/article/details/123521912</guid><author>IT_technologier</author><pubDate>Wed, 16 Mar 2022 15:05:16 +0800</pubDate><description><![CDATA[Shell流程控制

流程控制无论在什么编程语言中都是非常重要的一部分，掌握编程语言的流程控制语句可以为我们编写代码减轻极大的负担!接下来，我们一起看看Shell脚本中的流程控制语法！
shell 实现1加到100
shell实现九九乘法表
shell实现if for  while  case登流程控制语句
]]></description><category></category></item></channel></rss>