<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Panda4u的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Panda4u</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Panda4u]]></copyright><item><title><![CDATA[spark笔记（后面是重点）]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/121979511</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/121979511</guid><author>Panda4u</author><pubDate>Thu, 16 Dec 2021 17:20:23 +0800</pubDate><description><![CDATA[一、抽样
当数据量少时，并不会严格根据抽取分数抽取
1. 放回
rdd = sc.parallelize(range(10))
print(rdd.sample(1,0.5).collect())
[0, 1, 2, 4, 6, 6, 7, 7, 7]

1或者True
2. 不放回
rdd = sc.parallelize(range(10))
print(rdd.sample(0,0.5).collect())
[1, 3, 4, 6, 7, 8]

0或者False
二、加载处理文件
pcq9 = s]]></description><category></category></item><item><title><![CDATA[键值对RDD]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/121157914</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/121157914</guid><author>Panda4u</author><pubDate>Fri, 05 Nov 2021 10:28:47 +0800</pubDate><description><![CDATA[键值对RDD
1.创建pairRDD
直接创建
pairRDD = sc.parallelize([(2,5),(8,9),(4,5)])

pairRDD.collect()
[(2, 5), (8, 9), (4, 5)]

从文件中加载

rdd = sc.textFile(r"file:///C:\Users\86178\Desktop\SPARK\word.txt")
pairRDD = rdd.flatMap(lambda x:x.split())
pairRDD.collect()

['pa]]></description><category></category></item><item><title><![CDATA[学习pandas，这一篇文章就够了！]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/120578280</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/120578280</guid><author>Panda4u</author><pubDate>Fri, 01 Oct 2021 15:51:43 +0800</pubDate><description><![CDATA[​	写了好多天终于完工了，pandas的强大相信用过的都觉得很强，对于数据处理而言可以说是必不可缺的。废话少说，开始肝了！
一、创建Series和DataFrame
pandas有一维数据，二维和多维，一般我们就只使用一二维
1. 创建Series
​	Series是一维，如下所示：
​	直接利用列表创建
list_name = ['Alice','Bob','Cindy','Eric','Halen','Grace']
series = pd.Series(list_name)
print(series)]]></description><category></category></item><item><title><![CDATA[spark运行报错Please install psutil to have better support with spilling]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/120452481</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/120452481</guid><author>Panda4u</author><pubDate>Fri, 24 Sep 2021 12:07:24 +0800</pubDate><description><![CDATA[记录一下错误，在windows上面运行spark报错


 words = sc.parallelize(['scala','java','hadoop','spark','scala','hadoop','spark','scala'])

words.distinct().count()



最然能够运行出结果，但是会报错

Please install psutil to have better support with spilling

解决办法：

    直接在c...]]></description><category></category></item><item><title><![CDATA[波士顿房价预测（深度学习）与找到影响房价的决定性因素（最速下降法）]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/120072337</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/120072337</guid><author>Panda4u</author><pubDate>Fri, 03 Sep 2021 00:03:36 +0800</pubDate><description><![CDATA[波士顿房价预测（深度学习）与找到影响房价的决定性因素（最速下降法）
本文针对解决的问题：
波士顿房价进行预测采用了两种方法：
​	1. 搭建神经网络进行预测（激活函数为线性回归）。
​	2. 最速下降法求得各属性的权值（权值的大小决定房价的影响因素），然后根据各个属性的值乘以权值加上偏置得到预测的值。
文章目录波士顿房价预测（深度学习）与找到影响房价的决定性因素（最速下降法）一、房价预测1. 导入数据并处理2. 归一化3. 搭建网络4. 训练数据5. 结果分析二、影响房价的决定性因素1. 最速下降法原理及其]]></description><category></category></item><item><title><![CDATA[非常详细的范式讲解（1NF/2NF/3NF/BCNF）]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/119739564</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/119739564</guid><author>Panda4u</author><pubDate>Mon, 16 Aug 2021 18:48:28 +0800</pubDate><description><![CDATA[范式
​	范式在计算机方面运用广泛，在计算机二级三级均有涉及到，今天就来讲讲范式。要是能够认真的看完，相信一定能够理解的。
​	在讲范式之前，我们先来了解有关范式的基本概念，听懂了有利于后面的学习。
函数依赖
​	首先一个好的关系模式是不会出现以下问题的：

1. 插入异常
2. 删除异常
3. 更新异常
4. 数据冗余尽量少


如果出现那是由于数据依赖，其中数据依赖分为：函数依赖，多值依赖，连接依赖等等。
所以，当关系模式出现问题，解决方法为——规范化理论（找到关系模式中不适合的数据依赖，并消除它们）
]]></description><category></category></item><item><title><![CDATA[爬取私募排排网历史净值和破解加密数值]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/119697702</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/119697702</guid><author>Panda4u</author><pubDate>Sat, 14 Aug 2021 10:39:06 +0800</pubDate><description><![CDATA[爬取私募排排网历史净值和破解加密数值
​	近期爬取了私募排排网上的历史净值，写一下爬取过程中的一些心得体会。
​	上面有很多的难点，例如直接利用selenium会被检测出反爬、爬取的数值被加密（页面上看到的和html中不一样，多了一些隐藏值）等等。爬取的方法主要就是selenium、正则、beautiful soup。这里先把这里使用的库导入。
from selenium import webdriver
from bs4 import BeautifulSoup
from selenium.webdriv]]></description><category></category></item><item><title><![CDATA[pyecharts安装和爬取前程无忧招聘网站数据分析（二）]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/119415418</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/119415418</guid><author>Panda4u</author><pubDate>Mon, 09 Aug 2021 14:58:35 +0800</pubDate><description><![CDATA[当我第一次看见pyecharts，就发现它是一个非常厉害的绘图工具，相比较于matplotlib，它不仅仅是动态的，更有很多的绘图种类，例如饼图、折线图、箱型图、地图、词云图等等。大家可以去官网先去预览，Candlestick - Kline_datazoom_inside - Document (pyecharts.org)
...]]></description><category></category></item><item><title><![CDATA[手把手Selenium安装使用及实战爬取前程无忧招聘网站（一）]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/119294599</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/119294599</guid><author>Panda4u</author><pubDate>Wed, 04 Aug 2021 14:10:16 +0800</pubDate><description><![CDATA[爬虫的方法有很多，但是我认为最牛逼的还是selenium。

    那么，selenium到底是什么呢？它为什么叫自动化呢？那是因为它能模拟人为操作浏览器，而且也不需要requests解析网页，他自己就可以解析。下面废话少说，直接开肝！



一、安装浏览器驱动器

    selenium为什么要安装驱动器呢？因为就相当于汽车的引擎，如果没有，就不能驱动。

    驱动器有两种，一个是谷歌的，还有一个是火狐的。我是安装的谷歌的，只需要找到与浏览器对应的驱动器下载...]]></description><category></category></item><item><title><![CDATA[爬取豆瓣电影Top250和数据分析]]></title><link>https://blog.youkuaiyun.com/Panda4u/article/details/119191340</link><guid>https://blog.youkuaiyun.com/Panda4u/article/details/119191340</guid><author>Panda4u</author><pubDate>Thu, 29 Jul 2021 16:39:52 +0800</pubDate><description><![CDATA[爬取豆瓣电影内容，并将其写入excel，对数据进行数据分析

方法：requests，BeautifulSoup，pandas



一、 爬取

   爬取豆瓣电影内容方法是：先在主页面（每页25部电影，一共10页）上爬取每部电影的网址，然后依次进入每部电影的网址爬取内容。

1.爬取主页面

在爬取之前，需要找到headers和url。

   headers主要是由User-Agent构成，其作用是告诉HTTP服务器， 客户端使用的操作系统和浏览器的名称和版本。在爬取...]]></description><category></category></item></channel></rss>