<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[zzds111的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/zzds111</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; zzds111]]></copyright><item><title><![CDATA[安装虚拟机踩坑]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123586143</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123586143</guid><author>zzds111</author><pubDate>Fri, 18 Mar 2022 22:53:39 +0800</pubDate><description><![CDATA[最近准备重新安装一下虚拟机上的hadoop集群，结果确遇到不少问题，这里总结一下

目录

修改静态主机名

查看防火墙是否关闭

映射关系

xftp传输文件

修改网络的配置文件

ssh免密

安装mysql出现问题



进入系统界面，修改静态主机名

首先查看主机名: hostnamectl status

修改静态主机名: hostnamectl --static set-hostname 主机名

再次查看是否修改成功



查看防火墙是否关闭

命令：systemctl status fir]]></description><category></category></item><item><title><![CDATA[spark wordcount]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123571663</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123571663</guid><author>zzds111</author><pubDate>Fri, 18 Mar 2022 13:12:05 +0800</pubDate><description><![CDATA[附上依赖



&lt;dependency&gt;
    &lt;groupId&gt;org.apache.spark&lt;/groupId&gt;
    &lt;artifactId&gt;spark-core_2.11&lt;/artifactId&gt;
    &lt;version&gt;2.4.5&lt;/version&gt;
&lt;/dependency&gt;





import org.apache.spark.rdd.RDD
import org.apache.spa.]]></description><category></category></item><item><title><![CDATA[spark整合hive]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123367272</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123367272</guid><author>zzds111</author><pubDate>Wed, 09 Mar 2022 03:08:12 +0800</pubDate><description><![CDATA[spark sql在编译时是不包含hive表，开启hive依赖后，可以访问hive中的表以及UDF函数

通常我们用spark整合hive，说的是spark接管外部已经使用很长时间的hive,里面大大小小的表非常多，为了提高hive的查询效率，会使用spark来代替原来的mapreduce计算引擎，提升计算效率



1、在hive的hive-site.xml修改一行配置，增加了这一行配置之后，以后在使用hive之前都需要先启动元数据服务
&lt;property&gt;
&lt;name&gt;hive.]]></description><category></category></item><item><title><![CDATA[spark sql idea常规操作]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123359412</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123359412</guid><author>zzds111</author><pubDate>Wed, 09 Mar 2022 01:21:24 +0800</pubDate><description><![CDATA[maven依赖



&lt;dependency&gt;
    &lt;groupId&gt;org.apache.spark&lt;/groupId&gt;
    &lt;artifactId&gt;spark-sql_2.11&lt;/artifactId&gt;
    &lt;version&gt;2.4.5&lt;/version&gt;
&lt;/dependency&gt;


1、常规准备

1）写代码创建环境

2）导入隐式转换

3）需要使用到sql的需要先创建视图

4）读取..]]></description><category></category></item><item><title><![CDATA[spark sql笔记1]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123342849</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123342849</guid><author>zzds111</author><pubDate>Tue, 08 Mar 2022 15:08:04 +0800</pubDate><description><![CDATA[目录

SparkSql的特点

DataFrame

DataSet

SparkSql语法

创建DataFrame的方法

SQL语法

DSL语法

RDD、DataFrame、DataSet联系



Spark sql的前身是Shark,Shark是一个为Spark设计的大规模数据仓库系统，它与Hive兼容。但是Shark继承了Hive的大且复杂的代码使得Shark很难优化和维护。于是后面就分化出了两个框架，一个是SparkSql,一个是hive on spark



与hive和mapred]]></description><category></category></item><item><title><![CDATA[flink window API]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123313656</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123313656</guid><author>zzds111</author><pubDate>Mon, 07 Mar 2022 16:26:00 +0800</pubDate><description><![CDATA[目录

window的类型

window API使用方法

EventTime

乱序数据的处理

水位线(Watermark)

watermark的传递

watermark的使用



Windows 是处理无限流的核心。Windows 将流分成有限大小的“桶”，我们可以在这些桶上应用计算。也就是类似spark streaming的默认模式，每隔一段时间，计算前一段时间窗口内的数据。

window的类型

时间窗口（TimeWindow）：滚动时间窗口、滑动时间窗口、会话窗口

计数窗口（Cou.]]></description><category></category></item><item><title><![CDATA[flink基础笔记2]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123275993</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123275993</guid><author>zzds111</author><pubDate>Sun, 06 Mar 2022 17:12:39 +0800</pubDate><description><![CDATA[首先我来把上次的词频统计代码打包上传到集群运行

首先来看一看flink的独立集群（standalone）

启动命令 start-cluster.sh



启动之后就会出现这两个进程，前往网页8081访问


]]></description><category></category></item><item><title><![CDATA[flink的sink]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123298007</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123298007</guid><author>zzds111</author><pubDate>Sun, 06 Mar 2022 00:30:41 +0800</pubDate><description><![CDATA[1
]]></description><category></category></item><item><title><![CDATA[flink常用算子]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123293144</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123293144</guid><author>zzds111</author><pubDate>Sat, 05 Mar 2022 17:18:48 +0800</pubDate><description><![CDATA[官网链接：Apache Flink 1.11 Documentation: 算子


目录

官网链接：Apache Flink 1.11 Documentation: 算子

map算子

flatMap算子

Filter算子

KeyBy算子

Reduce算子

Aggregations算子

Window算子

Union算子

SideOutPut旁路输出

map算子

map算子就是将每一条数据，根据map里面的逻辑处理

我这里都是将一个单词，转化成kv格式


import org...]]></description><category></category></item><item><title><![CDATA[flink的source]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123278750</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123278750</guid><author>zzds111</author><pubDate>Fri, 04 Mar 2022 23:28:44 +0800</pubDate><description><![CDATA[常见的Source可以分为大概4类：

1、基于本地集合的 source

2、基于文件的 source

3、基于网络套接字的 source

4、自定义的 source 常见的有 Apache kafka、Amazon Kinesis Streams、RabbitMQ、Twitter Streaming API、Apache NiFi 等，当然你也可以定义自己的 source



首先了解一下常见的测试source：也就是上面的前3个


package com.zh.source
import or]]></description><category></category></item><item><title><![CDATA[flink基础笔记1]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123274176</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123274176</guid><author>zzds111</author><pubDate>Fri, 04 Mar 2022 14:09:31 +0800</pubDate><description><![CDATA[附上官网链接
​​​​​​​​​​​​​Apache Flink: Stateful Computations over Data Streams


官方对于flink的解释是：Apache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。

无边界指的是源源不断地有数据传输过来，有界指得是数据量已知。比如说游戏服务器，他会7*24小时接收来自玩家产生地数据，这算无界流；有界流就比如说我们的读.]]></description><category></category></item><item><title><![CDATA[flink wordcount]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/123274040</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/123274040</guid><author>zzds111</author><pubDate>Fri, 04 Mar 2022 12:34:08 +0800</pubDate><description><![CDATA[依赖



&lt;properties&gt;
    &lt;flink.version&gt;1.11.2&lt;/flink.version&gt;
    &lt;scala.binary.version&gt;2.11&lt;/scala.binary.version&gt;
    &lt;log4j.version&gt;2.12.1&lt;/log4j.version&gt;
&lt;/properties&gt;


&lt;dependencies&gt;
&lt;dependency]]></description><category></category></item><item><title><![CDATA[spark复习]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/122322600</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/122322600</guid><author>zzds111</author><pubDate>Wed, 05 Jan 2022 21:57:34 +0800</pubDate><description><![CDATA[在学习spark之前我们应该已经学习了Scala语法，spark是通过scala语言编写的，对scala语言的支持较好

一、spark的搭建模式


local：一般用于测试代码和学习的


standalone：用的是spark自身的集群，spark自身提供了计算资源，由一个主节点Master和其余的从节点Worker构成

提交任务有2种方式，cient(客户端)和cluster(集群)模式,client模式的driver端在本地启动，运行日志也会在本地打印，数据量一大，所有日志拉到一台机器上导致网卡]]></description><category></category></item><item><title><![CDATA[spark算子]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/122213692</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/122213692</guid><author>zzds111</author><pubDate>Thu, 30 Dec 2021 20:48:53 +0800</pubDate><description><![CDATA[转换算子和行为算子，懒执行是什么？

转换算子：

RDD的转换操作是：一个RDD的经过转换操作后，返回一个新的RDD

转换算子都是懒执行的，你在里面写好了逻辑，单独一个这样是不会运行的，需要操作算子使用了这些RDD才会执行里面的逻辑

行为算子：

行为算子用于执行计算并按指定的方式输出结果。行为算子接受 RDD，但是返回非 RDD，即输出一个值或者结果。在 RDD 执行过程中，真正的计算发生在行为算子操作之前。

spark程序中有一个操作算子，就会生成相同数量的job


懒执行的证明：

写个l.]]></description><category></category></item><item><title><![CDATA[Scala中的map方法和flatMap方法的区别]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/122159257</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/122159257</guid><author>zzds111</author><pubDate>Sun, 26 Dec 2021 19:49:16 +0800</pubDate><description><![CDATA[map方法和flatMap方法都是根据我们传入的集合，取出里面的内容变成一个新的集合返回



但是他们的用法有些区别

map方法的返回值是B，也就是自定义的，你想返回啥都可以，可以是一个String,一个数值，一个集合...

flatMap方法返回值必须是GenTraversableOnce[B]类型，也就是集合类型，因为flatMap方法有一个扁平化操作，如果返回值不是集合类型，最终结果看起来会很奇怪，可以把返回值设置成一个字符串看看结果是什么样的



我写了一个map，里面的key是一个字符串，]]></description><category></category></item><item><title><![CDATA[pandas数据简单清洗]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/122014518</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/122014518</guid><author>zzds111</author><pubDate>Mon, 20 Dec 2021 23:45:05 +0800</pubDate><description><![CDATA[数据清洗，第一步对空值的处理


import pandas as pd
df=pd.read_csv('../data/patient_rate.csv')
df




]]></description><category></category></item><item><title><![CDATA[崩坏三精准池python模拟]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/122034042</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/122034042</guid><author>zzds111</author><pubDate>Mon, 20 Dec 2021 13:50:07 +0800</pubDate><description><![CDATA[最近一周学了python,正好崩坏三出来后崩坏鸭的精准池子，利用列表，字典，随机数匹配范围，简单模拟一下抽卡






本次UP武器：
重炮:蓝焰银隼0019  2.479%

双枪:空无之钥    0.413%

太刀:天殛之钥    0.413%

大剑:天鹅湖     0.413%

拳套:无存之钥    0.413%

镰刀:血渊之眸    0.413%

骑枪:永寂之赫勒尔  0.413%


[4★圣痕]

真理之翼套装:布洛妮娅.次生银翼(上、中、下)...]]></description><category></category></item><item><title><![CDATA[Scrapy爬虫框架]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/121996462</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/121996462</guid><author>zzds111</author><pubDate>Fri, 17 Dec 2021 16:06:47 +0800</pubDate><description><![CDATA[Scrapy架构

Scrapy 是用 Python 实现的一个为了爬取网站数据、提取结构性数据而编写的应用框架。我们可以通过Scrapy快速完成一个爬虫程序



这是官网的架构图




各部分组件的功能如下：


Engine(引擎): 负责Spider、ItemPipeline、Downloader、Scheduler 中间的通讯，信 

号、数据传递等。 

Scheduler(调度器): 它负责接受引擎发送过来的Request请求，并按照一定的方式进行整理排 

列，入队，当引擎需要时，交还给.]]></description><category></category></item><item><title><![CDATA[pandas的简单操作]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/121940081</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/121940081</guid><author>zzds111</author><pubDate>Wed, 15 Dec 2021 21:45:36 +0800</pubDate><description><![CDATA[pandas提供了使我们能够快速便捷地处理大量结构化数据，pandas兼具NumPy高性能的数组计算功能以及电子表格和关系型数据库灵活的数据处理功能



Series

Series 类似表格中的一个列（column），类似于一维数组，可以保存任何数据类型。

Series 由索引（index）和列组成,既然有索引就可以通过索引查找对应的值



如果我们只传入了值，会自动生从0开始的索引



也可以通过手动传入索引



numpy中的大部分函数也是可以使用的，比如最大值max()和平均数mea...]]></description><category></category></item><item><title><![CDATA[pandas绘制饼图]]></title><link>https://blog.youkuaiyun.com/zzds111/article/details/121955505</link><guid>https://blog.youkuaiyun.com/zzds111/article/details/121955505</guid><author>zzds111</author><pubDate>Wed, 15 Dec 2021 21:06:06 +0800</pubDate><description><![CDATA[绘制饼图需要用到matplotlib包，

这是我使用的数据，里面记录了关于学生id,name,,age,gender,clazz信息的数据

题目要求按照每个班级男生女生比例绘制饼图



前置工作是提取出需要的信息，那就是标签，与及需要我们计算的数据

这个题目里面需要的就是班级+性别 作为数据的标签，具体的数据就是每个班级的男生女生的人数

先 根据班级和性别分组，在count每个分类中数据有多少条


clazz_gender_stu=stu.groupby(['clazz','gender'])[]]></description><category></category></item></channel></rss>