<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[sxsAffable的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/sxsAffable</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; sxsAffable]]></copyright><item><title><![CDATA[常见的 OLAP 引擎介绍]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/139835022</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/139835022</guid><author>sxsAffable</author><pubDate>Thu, 20 Jun 2024 15:54:33 +0800</pubDate><description><![CDATA[clickhouse 有多种表引擎，适用于不同的场景。...ReplicatedMergeTree 表查询流程。]]></description><category></category></item><item><title><![CDATA[Dinky 单机部署]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/139834836</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/139834836</guid><author>sxsAffable</author><pubDate>Thu, 20 Jun 2024 15:47:03 +0800</pubDate><description><![CDATA[配置文件中，注意配置 yarn.application.user，fs.default-scheme 和 io.tmp.dirs 要对应同一个文件系统，项目中会把 flink 配置文件上传到 io.tmp.dirs 目录下，然后用 fs.default-scheme 对应的文件系统读取，或者不要配置 fs.default-scheme。需要特别注意红框的两个 jar，参考官网: https://www.dinky.org.cn/docs/next/deploy_guide/normal_deploy。]]></description><category></category></item><item><title><![CDATA[Flink 窗口计算]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/139805501</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/139805501</guid><author>sxsAffable</author><pubDate>Wed, 19 Jun 2024 15:55:19 +0800</pubDate><description><![CDATA[在当今大数据时代，实时数据处理的需求日益增长，Flink 的窗口计算在这一领域中发挥着至关重要的作用。 窗口计算使得我们能够将无界的数据流切分成有意义的片段，从而进行特定时间段内的数据聚合和分析。]]></description><category></category></item><item><title><![CDATA[clickhouse 核心知识与集群介绍]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/121768685</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/121768685</guid><author>sxsAffable</author><pubDate>Tue, 07 Dec 2021 15:49:52 +0800</pubDate><description><![CDATA[clickhouse 核心知识与集群介绍，介绍了 ck 的表引擎、数据类型、以及常见的 sql 语法。]]></description><category></category></item><item><title><![CDATA[springboot-log4j启动异常(java.lang.AbstractMethodError)]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/120155899</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/120155899</guid><author>sxsAffable</author><pubDate>Tue, 07 Sep 2021 13:24:21 +0800</pubDate><description><![CDATA[目录

1. 问题描述

2. 问题排查

1. 问题描述

springboot 2.0.4

通过 springboot 内置 tomcat 启动服务无异常，但是使用外置 tomcat 启动报错，错误信息如下:


Caused by: java.lang.AbstractMethodError: org.apache.logging.log4j.core.config.ConfigurationFactory.getConfiguration(Lorg/apache/logging/log4j/cor]]></description><category></category></item><item><title><![CDATA[hadoop-介绍]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/106376352</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/106376352</guid><author>sxsAffable</author><pubDate>Thu, 28 May 2020 10:03:12 +0800</pubDate><description><![CDATA[hadoop的简介1. 出现背景2. 核心组件2.1 Hadoop Common2.2 Hadoop Distributed File System(HDFS)2.3 Hadoop YARN2.4 Hadoop MapReduce2.5 Hadoop Ozone

1. 出现背景
hadoop最早是为了解决大量网页的存储和索引问题。其原理来源于google发表的三篇论文，GFS、MapReduce和BigTable。
主要是为了解决海量数据的存储与计算。

2. 核心组件

详细介绍见hadoop官网(ht]]></description><category></category></item><item><title><![CDATA[hadoop-伪分布式部署]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/106387836</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/106387836</guid><author>sxsAffable</author><pubDate>Wed, 27 May 2020 18:51:30 +0800</pubDate><description><![CDATA[hadoop伪分布式部署1. hdfs的部署2. yarn的部署

版本: hadoop3.x。
hadoop有三种运行方式: 单机模式、伪分布式模式、完全分布式模式。由于只有一台服务器，所以采用了伪分布式的部署方式。


1. hdfs的部署

从官网下载hadoop压缩包，上传到服务器并解压。
服务器配置免密登录。使用 ssh localhost 测试是否配置成功。
修改hadoop-env.sh。

vim etc/hadoop/hadoop-env.sh

# 添加以下配置
------------]]></description><category></category></item><item><title><![CDATA[协同过滤算法(基于用户)]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/106358415</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/106358415</guid><author>sxsAffable</author><pubDate>Tue, 26 May 2020 17:24:04 +0800</pubDate><description><![CDATA[协同过滤算法1. 流程图2. 算法详细步骤

背景: 使用基于用户的协同过滤算法进行网站预测

1. 流程图


2. 算法详细步骤


读取文件，处理每一行数据，把用户id和网址id转化为long类型(因为协同过滤模型这两列为long类)，并转化为DataModel(模型输入数据)。


转化出用户评分矩阵(没有的填充0)。如下表所示(部分)：






用户id\网址id
1
10
100
101
102
103
104
105
106




0
1
4
0
1
0
0
1
4
3


1
0
3
]]></description><category></category></item><item><title><![CDATA[hadoop集群运行MR程序、mahout程序]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/106273846</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/106273846</guid><author>sxsAffable</author><pubDate>Fri, 22 May 2020 15:59:44 +0800</pubDate><description><![CDATA[hadoop集群运行MR程序1. 启动集群2. 上传程序资源到hdfs3. 修改程序文件路径4. 安装mahout5. 提交程序到集群

本教程在配置完hadoop，可以正常运行的前提下进行

1. 启动集群
# 启动hdfs
sbin/start-dfs.sh

# 启动yarn
sbin/start-yarn.sh


使用jps命令，看到如下图所示，启动成功。


2. 上传程序资源到hdfs

第一步：把文件上传到服务器。
第二步：把文件上传到hdfs集群。

bin/hadoop dfs -put]]></description><category></category></item><item><title><![CDATA[日志系统搭建(elk7.x)]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/106135018</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/106135018</guid><author>sxsAffable</author><pubDate>Fri, 15 May 2020 14:00:06 +0800</pubDate><description><![CDATA[使用elastic stack搭建日志收集分析系统1. elasticsearch的搭建2. cerebro的搭建3. kibana的搭建4. fielbeat的搭建

随着公司的发展，需要一个日志分析系统，来分析用户数据，为了调研，所以先使用elastic stack搭建了一个单节点的日志收集分析系统。

使用技术：elasticsearch7.1.1、cerebro0.9.0、kibana7.1.1、filebeat7.1.1。


1. elasticsearch的搭建

elasticsearch的]]></description><category></category></item><item><title><![CDATA[机器学习(hadoop实战)01: 家电故障备件储备预测分析]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/106129835</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/106129835</guid><author>sxsAffable</author><pubDate>Thu, 14 May 2020 22:48:37 +0800</pubDate><description><![CDATA[家电故障备件储备预测分析

本例来源于《Hadoop大数据分析与挖掘实战》第十二章家电故障备件储备预测分析。


数据集：请留言，我会私发。



问题：针对手机数据，要求从服务商代码中提取出地区编码，对每个地区进行故障率的预测，从而做到备件的提前储备。


问题分析：从问题描述可以看出，可以看作是对每个地区进行故障的推荐，地区编码作为用户id，故障代码作为项目id，现有数据集中故障率作为评分，使用协同过滤算法进行故障的推荐。


难点：



需要把故障描述转化为故障代码，故障描述是用户对故障的描述，所以]]></description><category></category></item><item><title><![CDATA[redis集群搭建]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/101020660</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/101020660</guid><author>sxsAffable</author><pubDate>Thu, 19 Sep 2019 15:53:18 +0800</pubDate><description><![CDATA[在测试环境搭建三个主节点，三个从节点的redis集群。三台服务器，操作系统：centos7，redis版本：3.2.0。

每台机器上有两个节点，一个主节点，一个从节点，所以每台机器上需要redis占用两个端口启动，分别是6379、6380。



安装步骤：

第一步：登录其中一台机器(我登录的是cdh1)，进入到安装目录(我的安装目录是 /appdata/tools，请修改为自己的安装目录)...]]></description><category></category></item><item><title><![CDATA[Spark写入数据到MySQL解析（未完成）]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/89186898</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/89186898</guid><author>sxsAffable</author><pubDate>Wed, 10 Apr 2019 16:50:41 +0800</pubDate><description><![CDATA[DF.write.mode("append").jdbc(url, tableName, prop)

首先调用Dataset中的write方法，在write方法中创建DataFrameWriter对象；



在DataFrameWriter中，调用mode方法，将设置的mode值保存在类成员变量中；



调用jdbc方法，在jdbc方法中，调用format；



把成员变量source设置...]]></description><category></category></item><item><title><![CDATA[spark读取HBase，处理输出到mysql]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/88738858</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/88738858</guid><author>sxsAffable</author><pubDate>Fri, 22 Mar 2019 13:36:10 +0800</pubDate><description><![CDATA[需求：

spark读取HBase中的数据，提取某三列，经过聚合，输出到mysql中。

代码实现：


import java.util.Properties

import org.apache.hadoop.hbase.HBaseConfiguration
import org.apache.hadoop.hbase.mapreduce.TableInputFormat
import org...]]></description><category></category></item><item><title><![CDATA[HDFS中namenode元数据管理机制]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/88132347</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/88132347</guid><author>sxsAffable</author><pubDate>Mon, 04 Mar 2019 19:29:49 +0800</pubDate><description><![CDATA[元数据：

包含两个内容

1) fileName

2) block块存储位置 --&amp;gt; 刚开启hdfs时，datanode汇报块存储主机位置。

如图所示：

1、当client向namenode发出更新元数据请求时，namenode会根据更新的数据内容存放位置等更新好元数据。而每次做的更新操作都会被记录到edits中。

2、secondaryNamenode每隔一段时间（默认为30分钟...]]></description><category></category></item><item><title><![CDATA[HDFS写数据流程]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/88130767</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/88130767</guid><author>sxsAffable</author><pubDate>Mon, 04 Mar 2019 18:54:21 +0800</pubDate><description><![CDATA[相关概念：

block：文件上传之前要分块，这个块就是block，一般为128M，是最大的一个单位。

packet：packet是第二大单位，它是client向datanode或者datanode之间经过pipline传输数据的基本单位，默认为64kb。

chunk：chunk是最小的单位，它是client向datanode或者datanode之间经过pipline传输数据时进行校验的基本单...]]></description><category></category></item><item><title><![CDATA[yarn运行流程]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/88089079</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/88089079</guid><author>sxsAffable</author><pubDate>Sun, 03 Mar 2019 16:04:16 +0800</pubDate><description><![CDATA[1、client向yarn提交job，首先找ResourceManager分配资源；

2、ResourceManager开启一个Container，在Container中运行一个Application manager；

3、Application manager找一个nodemanager启动Application master；

4、Application master向Applicati...]]></description><category></category></item><item><title><![CDATA[hadoop的shuffle过程]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/88088470</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/88088470</guid><author>sxsAffable</author><pubDate>Sun, 03 Mar 2019 15:33:07 +0800</pubDate><description><![CDATA[hadoop的shuffle分为map端的shuffle和reduce端的shuffle

1、map端的shuffle



如上图所示：

  maptask先调用InputFormat中的getRecordReader方法，获取RecordReader对象读取文件。读取进内存中，经过map方法中的context.write()写出，由OutPutCollector收集到数据，并存放到环...]]></description><category></category></item><item><title><![CDATA[数据库01]]></title><link>https://blog.youkuaiyun.com/sxsAffable/article/details/79176917</link><guid>https://blog.youkuaiyun.com/sxsAffable/article/details/79176917</guid><author>sxsAffable</author><pubDate>Fri, 26 Jan 2018 21:56:53 +0800</pubDate><description><![CDATA[DBMS: DataBase Managerment System 数据库管理系统


SQL分类：
    1. 数据定义语言（DDL，Data Definition Language）：用来定义数据库对象，包括数据库 database ，表 table ，  列 column 等。关键字： 创建 create ，修改 alter ，删除 drop 等。
    2. 数据操作语言（D]]></description><category></category></item></channel></rss>