<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Helltaker的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Helltaker</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Helltaker]]></copyright><item><title><![CDATA[【Python】Python环境搭建及Python数据类型]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/113124564</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/113124564</guid><author>Helltaker</author><pubDate>Tue, 26 Jan 2021 17:17:36 +0800</pubDate><description><![CDATA[Python环境搭建及Python数据类型Python环境搭建安装AnacondaTurtle DemoJupyter NoteBook扩展功能(代码提示)
Python环境搭建
安装Anaconda
Turtle Demo
Jupyter NoteBook
使用 Anaconda 安装 Python 自带 Jupyter NoteBook，在这里可以启动。默认启动创建路径是在命令输入的目录。但可以修改默认路径。
Jupyter NoteBook 修改默认路径方式：
找到Jupyter NoteBook的快]]></description><category></category></item><item><title><![CDATA[【考试真题】2020年7月份机试试卷]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/112991140</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/112991140</guid><author>Helltaker</author><pubDate>Fri, 22 Jan 2021 17:26:33 +0800</pubDate><description><![CDATA[2020年7月份机试试卷一、环境要求二、提交结果要求三、数据描述四、功能要求1.数据准备（10 分）2.3.创建 HBase 数据表（10 分）4.5.6.
一、环境要求
sandbox-hdp 2.6.4 或同等版本自建的 Hadoop+Hive+Spark+HBase 开发环境。
二、提交结果要求
1.必须提交源码或对应分析语句，如不提交则不得分。
2.带有分析结果的功能，请分析结果的截图与代码一同提交。
三、数据描述
这是一份来自于某在线考试系统的学员答题批改日志，日志中记录了日志生成时间，题目难度系]]></description><category></category></item><item><title><![CDATA[【考试真题】2020年9月份机试试卷]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/112974711</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/112974711</guid><author>Helltaker</author><pubDate>Fri, 22 Jan 2021 17:05:47 +0800</pubDate><description><![CDATA[2020年9月份机试试卷一、环境要求二、提交结果要求三、数据描述四、功能要求1.数据准备（10 分）2.使用 Spark
一、环境要求
Hadoop+Hive+Spark+HBase 开发环境。
二、提交结果要求
1.必须提交源码或对应分析语句，如不提交则不得分。
2.带有分析结果的功能，请分析结果的截图与代码一同提交。
三、数据描述
meituan_waimai_meishi.csv 是美团外卖平台的部分外卖 SPU（Standard Product Unit，标准产品单元）数据，包含了外卖平台某地区一时]]></description><category></category></item><item><title><![CDATA[【考试真题】2020年10月份机试试卷]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/112972052</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/112972052</guid><author>Helltaker</author><pubDate>Thu, 21 Jan 2021 22:52:42 +0800</pubDate><description><![CDATA[2020年10月份机试试卷一、环境要求二、提交结果要求三、数据描述四、功能要求1.数据准备（10 分）2.数据清洗（40 分）3.用户行为分析（20 分）4.找出有价值的用户（30 分）
一、环境要求
Hadoop+Hive+Spark+HBase 开发环境。
二、提交结果要求
1.必须提交源码或对应分析语句，如不提交则不得分。
2.带有分析结果的功能，请分析结果的截图与代码一同提交。
三、数据描述
UserBehavior 是阿里巴巴提供的一个淘宝用户行为数据集。本数据集包含了 2017-09-11 至 ]]></description><category></category></item><item><title><![CDATA[【考试真题】2020年11月份机试试卷]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/112961093</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/112961093</guid><author>Helltaker</author><pubDate>Thu, 21 Jan 2021 16:41:27 +0800</pubDate><description><![CDATA[2020年11月份机试试卷一、环境要求二、提交结果要求三、数据描述四、功能要求1.2.3.4.5.
一、环境要求
sandbox-hdp 2.6.4 或同等版本自建的 Hadoop+Hive+Spark+HBase 开发环境。
二、提交结果要求
1.必须提交源码或对应分析语句，如不提交则不得分。
2.带有分析结果的功能，请分析结果的截图与代码一同提交。
三、数据描述
countrydata.csv 是世界新冠疫情数，数据中记录了从疫情开始至 7 月 2 日，以国家为单
位的每日新冠疫情感染人数的数据统计。字]]></description><category></category></item><item><title><![CDATA[【Kafka】KafkaStream实例之二]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/111300257</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/111300257</guid><author>Helltaker</author><pubDate>Wed, 16 Dec 2020 19:19:34 +0800</pubDate><description><![CDATA[KafkaStream实例之二LinuxFlumeKafkaJava API
Linux
Flume
userfriend-flume-kakfa.conf
user_friend.sources=userFriendSource
user_friend.channels=userFriendChannel
user_friend.sinks=userFriendSink

user_friend.sources.userFriendSource.type=spooldir
user_friend.sour]]></description><category></category></item><item><title><![CDATA[【Kafka】使用Java连接Kafka并上传/读取数据]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/110823108</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/110823108</guid><author>Helltaker</author><pubDate>Mon, 07 Dec 2020 20:06:21 +0800</pubDate><description><![CDATA[使用Java连接Kafka并上传/读取数据ProducerConsumer
Producer
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.common.serializ]]></description><category></category></item><item><title><![CDATA[在linux系统上配置并运行kafka]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/110494857</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/110494857</guid><author>Helltaker</author><pubDate>Wed, 02 Dec 2020 19:11:46 +0800</pubDate><description><![CDATA[在linux系统上配置并运行kafka前提条件解压并安装启动kafka简易使用Kafka查看topics创建topicstopics详情删除topics交互界面
前提条件
一台搭建好包括但不限于jdk hadoop zookeeper等环境的虚拟机
解压并安装
tar -zxvf kafka_2.11-2.0.0.tgz -C /opt/
mv kafka_2.11-2.0.0/ kafka

修改/etc/profile，记得source
export KAFKA_HOME=/opt/kafka
expo]]></description><category></category></item><item><title><![CDATA[【SPARK】知识点全讲解]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109764065</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109764065</guid><author>Helltaker</author><pubDate>Wed, 25 Nov 2020 11:43:57 +0800</pubDate><description><![CDATA[SPARK知识点全讲解Spark环境部署Spark简介诞生与发展为什么使用SparkSpark优势Spark技术栈Spark架构设计Spark架构核心组件Spark交互工具Spark APISparkContextSparkSessionRDDDataSetDateFrame
Spark环境部署
前置条件：完成Scala环境部署
可以参考我的博客：Scala环境部署和简单介绍
然后我们在vmware虚拟机上配置Scala和Spark并初步使用
Spark简介
诞生与发展


诞生于加州大学伯克利分校AMP实]]></description><category></category></item><item><title><![CDATA[【Spark项目实战】使用spark分析日志文件(json格式)]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109844230</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109844230</guid><author>Helltaker</author><pubDate>Fri, 20 Nov 2020 12:16:05 +0800</pubDate><description><![CDATA[使用spark分析日志文件准备阶段导包整合格式转入DataFrame分解第一层json列分解cm列分解et列分解kv列loadingadnotificationactive_backgroundcommentpraise
准备阶段
启动好spark-shell的虚拟机
一份op.log文件，如下图所示：

导包
import spark.implicits._
import org.apache.spark.sql.functions._
import org.apache.spark.sql.types.]]></description><category></category></item><item><title><![CDATA[【spark】算子：distinct union intersection subtract cartesian mapToPair flatMapToPair]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109511053</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109511053</guid><author>Helltaker</author><pubDate>Thu, 05 Nov 2020 18:57:56 +0800</pubDate><description><![CDATA[算子：distinct union intersection subtract cartesian mapToPair flatMapToPairdistinct union intersection subtract cartesianjava版本scala版本mapToPair flatMapToPairmapToPait
distinct union intersection subtract cartesian
java版本
public class rddJava1 {
	public stati]]></description><category></category></item><item><title><![CDATA[【spark】算子：WordCount Rdd Map ActionRdd]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109492993</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109492993</guid><author>Helltaker</author><pubDate>Wed, 04 Nov 2020 20:01:30 +0800</pubDate><description><![CDATA[算子：WordCount Rdd Map ActionRddWordCountMapRddActionRddJava版本filterparallelize
WordCount
import org.apache.spark.rdd.RDD
import org.apache.spark.{Partition, SparkConf, SparkContext}

object wordcount {
  def main(args: Array[String]): Unit = {
    System.se]]></description><category></category></item><item><title><![CDATA[【Spark】初入门——使用IDEA实现WordCount]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109477773</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109477773</guid><author>Helltaker</author><pubDate>Tue, 03 Nov 2020 20:12:30 +0800</pubDate><description><![CDATA[使用IDEA实现WordCount准备阶段主体代码块log4j日志文件修改
准备阶段
创建maven项目
pom.xml需要修改和添加的部分：
&lt;properties&gt;
  &lt;project.build.sourceEncoding&gt;UTF-8&lt;/project.build.sourceEncoding&gt;
  &lt;maven.compiler.source&gt;1.8&lt;/maven.compiler.source&gt;
  &lt;maven.compile]]></description><category></category></item><item><title><![CDATA[在vmware虚拟机上配置Scala和Spark并初步使用]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109384510</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109384510</guid><author>Helltaker</author><pubDate>Fri, 30 Oct 2020 14:57:34 +0800</pubDate><description><![CDATA[在虚拟机上配置Scala和Spark准备阶段安装包配置文件scala部分spark部分spark初体验
准备阶段
一台配置好Java环境的虚拟机
scala-2.11.12.tgz
spark-2.4.5-bin-hadoop2.6.tgz
安装包
将scala和spark的安装包导入虚拟机
解压，移动到opt目录下（或自定义），并改名
tar -zxvf scala-2.11.12.tgz -C /opt/
tar -zxvf spark-2.4.5-bin-hadoop2.6.tgz -C /opt/
]]></description><category></category></item><item><title><![CDATA[Scala面向对象——随堂笔记]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109241676</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109241676</guid><author>Helltaker</author><pubDate>Fri, 23 Oct 2020 16:50:50 +0800</pubDate><description><![CDATA[Scala OOP类类成员访问修饰符类的定义类的继承抽象类单例对象定义单例对象伴生特质混入特质 mixin动态混入特质特质与抽象类的选择内部类样例类
类

类通过class关键字定义
类通过new关键字创建实例
类拥有成员变量和方法
类的成员默认为public，也支持private、protected
类中无法定义静态成员变量和方法
类无需明确定义构造方法，通过构造参数列表声明为类的一部分

类成员访问修饰符

类的定义

构造器：主构造器，辅助构造器
成员的变量和方法

//主构造器执行类定义中的所有语句]]></description><category></category></item><item><title><![CDATA[Scala之数组Array的方法全面总结（含实例操作）]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109187395</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109187395</guid><author>Helltaker</author><pubDate>Thu, 22 Oct 2020 19:19:05 +0800</pubDate><description><![CDATA[Scala Array的方法一些基本操作添加合并数值操作查询比较
一些基本操作
val numbers = Array(1, 2, 3, 4) //声明一个数组对象
val first = numbers(0) // 读取第一个元素
numbers(3) = 100 // 替换第四个元素为100
val biggerNumbers = numbers.map(_*2) // 所有元素乘以2

添加合并
++
val a = Array(1,2)
val b = Array(3,4)
val c = a ++]]></description><category></category></item><item><title><![CDATA[Scala函数-随堂笔记（持续更新）]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109179610</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109179610</guid><author>Helltaker</author><pubDate>Tue, 20 Oct 2020 14:30:58 +0800</pubDate><description><![CDATA[Scala函数Java LambdaScala函数定义函数调用参数传递命名参数参数缺省值参数个数未知匿名函数函数作参数函数作返回值课堂小测
Java Lambda
函数式接口：

一种只含有一个抽象方法声明的接口
可以使用匿名内部类实例化函数式接口的对象
通过Lambda表达式可以进一步简化代码

Lambda语法：
(parameters) -&gt; expression
(parameters) -&gt; { statements; }

Scala函数定义
def 函数名([参数列表]):[返回值]]></description><category></category></item><item><title><![CDATA[Scala入门-随堂笔记]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/109159595</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/109159595</guid><author>Helltaker</author><pubDate>Mon, 19 Oct 2020 16:02:29 +0800</pubDate><description><![CDATA[这里写目录标题Scala简介Scala初体验安装及配置Scala验证scala安装插件HelloWorld实例Scala概述Scala变量与常量变量常量使用类型别名定义变量Scala数据类型原始数据类型数据类型层次结构字符串插值Scala条件控制条件语句的返回值Scala循环控制whilefor循环中断for循环过滤for循环返回值Scala数组Scala之Array的方法
Scala简介

Scala源自Java
Scala构建在JVM之上
Scala与Java兼容、互通
Scala的优势
多范式编程：面]]></description><category></category></item><item><title><![CDATA[数据仓库理论介绍（随堂笔记）（持续更新）]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/108962825</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/108962825</guid><author>Helltaker</author><pubDate>Thu, 08 Oct 2020 15:20:34 +0800</pubDate><description><![CDATA[数据仓库理论介绍为什么学习数据仓库什么是数据仓库面向主题实例集成非易失随时间变化
为什么学习数据仓库

数据不兼容，很难被整合
战略决策需要数据的分析
推荐系统

什么是数据仓库
数据仓库是一个面向主题的、集成的、非易失的且随时间变化的数据集合
面向主题

主题（Subject）是在较高层次上将企业信息系统中的数据进行综合、归类和分析利用的一个抽象概念
每一个主题基本对应一个宏观的分析领域
在逻辑意义上，它是对应企业中某一宏观分析领域所涉及的分析对象
例如“销售分析”就是一个分析领域，因此这个数据仓库应用的]]></description><category></category></item><item><title><![CDATA[大数据全知识点讲解之HBASE]]></title><link>https://blog.youkuaiyun.com/Helltaker/article/details/108780674</link><guid>https://blog.youkuaiyun.com/Helltaker/article/details/108780674</guid><author>Helltaker</author><pubDate>Thu, 24 Sep 2020 20:14:38 +0800</pubDate><description><![CDATA[大数据全知识点讲解之HBASE（上）NOSQLNOSQL三大基石索引和查询MapReduce/ShardingNOSQL分类HBASEHBASE应用场景HBASE物理架构HBase数据管理HBase架构特点HBase Shell
NOSQL
NOSQL的全称是：not only sql，即非关系型数据库。NOSQL是一个通用术语：

指不遵循传统RDBMS模型的数据库
数据是非关系的，且不使用SQL作为主要查询语言
解决数据库的可伸缩性和可用性问题
不针对原子性和一致性问题

为什么使用NOSQL？
因为传]]></description><category></category></item></channel></rss>