<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[Coding___Man的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/Coding___Man</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; Coding___Man]]></copyright><item><title><![CDATA[Failed to load class "org.slf4j.impl.StaticLoggerBinder"  spark]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/105243870</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/105243870</guid><author>Coding___Man</author><pubDate>Wed, 01 Apr 2020 13:39:00 +0800</pubDate><description><![CDATA[问题描述：

    在使用spark-shell 时，开启的是本地模式，执行加载数据的命令报错


scala&gt; val usersDF = spark.read.load("/opt/module/datas/users.parquet")
SLF4J: Failed to load class "org.slf4j.impl.StaticLoggerBinder".
SLF4J...]]></description><category></category></item><item><title><![CDATA[大数据(三)--------完全分布式]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/103702182</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/103702182</guid><author>Coding___Man</author><pubDate>Wed, 25 Dec 2019 17:59:32 +0800</pubDate><description><![CDATA[集群部署规划：


			bigdata111
			bigdata112
			bigdata113
		HDFS
			
			NameNode

			SecondaryNameNode

			DataNode
			
			DataNode
			DataNode
		YARN
			
			ResourceManager

			NodeManager
			
...]]></description><category></category></item><item><title><![CDATA[大数据(二)--------伪分布式]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/103696021</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/103696021</guid><author>Coding___Man</author><pubDate>Wed, 25 Dec 2019 16:35:54 +0800</pubDate><description><![CDATA[一、单台主机的伪分布式配置

    伪分布式的配置规划：


			bigdata111
		HDFS
			
			NameNode

			SecondaryNameNode

			DataNode
			
		YARN
			
			ResourceManager

			NodeManager
			
		   首先我们不配置 SSH 免密登陆，直接去配置一台伪分布式...]]></description><category></category></item><item><title><![CDATA[大数据(一)--------环境搭建]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/103677490</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/103677490</guid><author>Coding___Man</author><pubDate>Tue, 24 Dec 2019 21:34:42 +0800</pubDate><description><![CDATA[一、安装虚拟机及Linux

    虚拟机我装的VMware14，Linux我装的CentOS8，具体安装的过程网上教程很多，我就不再赘述了，装的过程中遇到的问题我都汇总在了另一篇文章中”大数据学习遇到的那些坑“。



   能到上图所示的时候就说明虚拟机以及Linux系统已经安装好了。

二、让虚拟机能够联网

1、虚拟机设置固定IP

    将虚拟机设置成固定ip的...]]></description><category></category></item><item><title><![CDATA[jupyter将默认路径更换为自定义路径]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/103294444</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/103294444</guid><author>Coding___Man</author><pubDate>Thu, 28 Nov 2019 15:34:04 +0800</pubDate><description><![CDATA[初次使用anaconda中自带的jupyter，打开后默认工作路径为C:\Users\Admin(自己的用户名)





需要更换工作路径

更换方式如下：
打开C:\Users\Admin(自己的用户名)\.jupyter -&gt; jupyter_notebook_config.py
找到#c.NotebookApp.notebook_dir = ' '并改为c.NotebookApp....]]></description><category></category></item><item><title><![CDATA[Linux相关]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/102579784</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/102579784</guid><author>Coding___Man</author><pubDate>Wed, 16 Oct 2019 17:14:49 +0800</pubDate><description><![CDATA[1、安装VMware12未出现问题；

2、安装CentOS8时刚开始都配置成功了，但是准备开启centos虚拟机的时候一直黑屏；

   原因：经过查找，发现其实系统已经启动，只不过没能显示而已；

   解决办法：在windows系统上以管理员的身份运行CMD，然后在cmd中输入命令“netsh winsock reset”，然后重启电脑再次打开虚拟机就正常了。

3、centos...]]></description><category></category></item><item><title><![CDATA[数据分析（二）----- 描述性统计分析]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86596940</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86596940</guid><author>Coding___Man</author><pubDate>Wed, 23 Jan 2019 15:57:35 +0800</pubDate><description><![CDATA[一、直方图

       直方图可以直观的看到数据的大致情况；一般有频数分布直方图和频率分布直方图两种。

二、数据的计量尺度

      数据的计量尺度是指对计量对象量化时采用的具体标准，它分为以下四类：

定类尺度：表现为“ 类别 ” ，各类之间无等级大小差别；
	定序尺度：描述对象的类别，但具有固有的大小和高低顺序；
	定距尺度：数据间有固定的距离；
	定比尺度：它还可以作为比较的共同起...]]></description><category></category></item><item><title><![CDATA[数据分析（一）----- 基本概念及分析软件安装]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86595029</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86595029</guid><author>Coding___Man</author><pubDate>Tue, 22 Jan 2019 16:05:14 +0800</pubDate><description><![CDATA[一、什么是数据分析

        专业的解释：有针对性的收集、加工、整理数据，并采用统计、挖掘技术分析和解释数据的科学与艺术。

        从行业的角度：数据分析是基于某种行业目的，有目的地进行收集、整理、加工和分析数据，提炼有价值信息的一个过程。

        数据分析立足于三点：一是目的，要有针对性；二是方法，统计基础和数据挖掘；三是结果，要达到最初的目的并有较好的应用。

二、...]]></description><category></category></item><item><title><![CDATA[爬虫（requests）爬取数据爬到一半时乱码了的解决办法]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86553642</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86553642</guid><author>Coding___Man</author><pubDate>Sat, 19 Jan 2019 16:24:33 +0800</pubDate><description><![CDATA[        今天写了一个爬虫采集一些数据，刚开始一切都很好，后来采集到3万条左右的时候出现了乱码，不仅是保存到CSV文件中是乱码，就连打印到控制台窗口也是乱码，这时怎么一回事？

       初步将问题定在网页编码可能发生了改动，一开始我请求数据是这样写的：


html = requests.get(detailUrl, headers=headers, timeout = 5).text...]]></description><category></category></item><item><title><![CDATA[爬虫采集到的数据保存到CSV文件中乱码问题的解决办法]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86552737</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86552737</guid><author>Coding___Man</author><pubDate>Sat, 19 Jan 2019 15:59:38 +0800</pubDate><description><![CDATA[以下的几种错误就是我在解决CSV文件中乱码问题时遇到的：


	TypeError: write() argument must be str, not bytes；
	
	
	TypeError: a bytes-like object is required, not 'str'；
	
    还有一些是调试的时候出的错误，但是有点忘了，大意就是在用某种方法解决一个...]]></description><category></category></item><item><title><![CDATA[数据清洗（三）----- 清洗PDF文件中的数据]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86527756</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86527756</guid><author>Coding___Man</author><pubDate>Thu, 17 Jan 2019 17:47:43 +0800</pubDate><description><![CDATA[       可移植文档格式（PDF）存储的文件相对较复杂，因为它是以二进制的形式存储的，格式固定，不可修改。使用起来很方便，但是里面的信息相对较难提取，下面将介绍一些方式提取FDF中的信息。

1. 最简单的方式----复制

      有pdf文件里面的内容可以复制出来再整理，这对于需要从PDF中拿少量信息来说十分便利；但是数据比较多时这样做的效率低下，而且有的PDF根本无法复制，因此这种方...]]></description><category></category></item><item><title><![CDATA[数据清洗（二）----- 数据转换]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86520218</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86520218</guid><author>Coding___Man</author><pubDate>Thu, 17 Jan 2019 12:14:45 +0800</pubDate><description><![CDATA[一、将电子表格转换为CSV类型

        这个比较简单，基本上用软件打开电子表格后选择另存为就可以定义另存文件的格式和编码了，这是比较简单快捷的。不过也有一些地方需要注意：

在另存为CSV文件时，只有当前工作表中的内容会被保存，这是因为CSV文件只能描述一组数据集。如果你的电子表格里有多个工作表的话，需要分别单独存为CSV文件。
二、将电子表格转换为JSON

        电子表格转...]]></description><category></category></item><item><title><![CDATA[数据清洗（一）----- 清洗数据的目的及基本格式、类型与编码]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/86502198</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/86502198</guid><author>Coding___Man</author><pubDate>Wed, 16 Jan 2019 16:24:16 +0800</pubDate><description><![CDATA[一、数据清洗的目的

         简单的来说不干净的数据会导致分析过程中的错误以及结果的错误。举个简单的例子，以前我们上学时做柱形图这种类型的图时，如果大部分数据集中在某个区间而一两个数据离得很远，如果不去除这一两个有问题的数据，那整体的图画出来就会有问题，不能反映数据的情况。

二、数据科学的过程

1. 问题陈述

      清楚的了解你要解决的问题是什么。

2. 数据的收集与存储
...]]></description><category></category></item><item><title><![CDATA[MySQL（十七）----- 锁相关问题]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85989855</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85989855</guid><author>Coding___Man</author><pubDate>Mon, 07 Jan 2019 18:24:18 +0800</pubDate><description><![CDATA[         锁是计算机协调多个进程、线程并发访问某一资源的机制。传统的计算机在CPU、RAM、I/O等上采用锁来防止相互争夺的情况，同样，数据库中的数据也是一种共享的资源，如何保证数据并发访问的一致性、有效性是是数据库必须要解决的问题，因此锁的概念就提到数据库上来了。

一、MySQL锁概述

       相对于其它的数据库而言，MySQL中的锁相对较简单，其显著的特点是不同的存储引擎支持...]]></description><category></category></item><item><title><![CDATA[MySQL（十六）------ 优化数据库对象]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85784549</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85784549</guid><author>Coding___Man</author><pubDate>Mon, 07 Jan 2019 10:18:43 +0800</pubDate><description><![CDATA[        在数据库设计时，通常会有很多问题需要思考，比如是否需要把所有的表按第三范式来设计？表中各字段设计为多大的长度合适？等等这些问题都是需要考虑的；下面介绍的就是通过一些方法来分析，而后进行指导数据库的优化。

一、优化表的数据类型及长度

       表字段的类型需要根据应用来判断，字段的长度要留有一定的冗余，但不能有大量冗余，具体怎么定可以通过MySQL的函数 procrdure ...]]></description><category></category></item><item><title><![CDATA[MySQL（十五）----- SQL语句优化之索引问题]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85709795</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85709795</guid><author>Coding___Man</author><pubDate>Fri, 04 Jan 2019 16:06:28 +0800</pubDate><description><![CDATA[       索引是数据库优化中最常用也是最重要的手段之一，通过索引通常可以解决大多数的SQL性能问题。

一、索引的存储分类

       索引是在MySQL的存储引擎层中实现的，因此，每种存储引擎的索引都不一定完全相同，也不是所有的存储引擎都支持所有的索引类型。目前MySQL提供了以下4种索引：

B-Tree索引：最常见的索引类型，大部分存储引擎都支持B树索引；
	HASH索引：只有Mem...]]></description><category></category></item><item><title><![CDATA[MySQL（十五）----- SQL语句优化]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85321673</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85321673</guid><author>Coding___Man</author><pubDate>Sat, 29 Dec 2018 18:07:46 +0800</pubDate><description><![CDATA[        通常在数据量较少的时候，我们并没有那么在意SQL语句的性能问题，只要能到达目的即可；但是当你面对浩大的数据量仍然这么做时，面临的往往是耗时良久或者数据崩溃；当然，数据库优化的方式有很多，这里我们着重介绍SQL优化。

准备工作：

          既然要研究数据量较大的表，那么首先我们需要一个数据库，该数据库里要有很多表，表中要有很多内容；MySQL官方提供了一个模拟电影出租厅...]]></description><category></category></item><item><title><![CDATA[MySQL（十四）------- MySQL分区]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85275940</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85275940</guid><author>Coding___Man</author><pubDate>Thu, 27 Dec 2018 18:26:04 +0800</pubDate><description><![CDATA[         分区是根据一定的规则把数据库中的一张表分解成多个更小的、更容易管理的部分，这些部分作为一个独立的对象可以存放在不同的地方。对于用户来说，访问表里的数据跟不分区没什么差别，但是对于数据库本身及其管理维护来说有很多好处：

和单个磁盘或者文件系统相比，分区可以存储更多的数据；
	优化查询。在where字句中包含分区条件时，可以只扫描必要的一个或多个分区来提高查询效率；同时在涉及SUM...]]></description><category></category></item><item><title><![CDATA[MySQL（十三）------ SQL Mode相关问题]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85260190</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85260190</guid><author>Coding___Man</author><pubDate>Wed, 26 Dec 2018 15:28:16 +0800</pubDate><description><![CDATA[         MySQL可以在不同的SQL模式下运行，这样，我们可以通过修改SQL模式来达到数据校验、迁移等功能。

一、常用的SQL模式



          选中某种模式，其实是一系列模式的组合，这样就可以将多种不同功能的原子模式进行组合得到想要的功能。

二、SQL Mode简介

        在MySQL中，SQL Mode常用来解决下面几类问题：

通过设置SQL Mode，...]]></description><category></category></item><item><title><![CDATA[MySQL（十二）------ SQL中的安全问题]]></title><link>https://blog.youkuaiyun.com/Coding___Man/article/details/85257541</link><guid>https://blog.youkuaiyun.com/Coding___Man/article/details/85257541</guid><author>Coding___Man</author><pubDate>Wed, 26 Dec 2018 11:28:13 +0800</pubDate><description><![CDATA[       日常开发过程中我们通常只关心SQL语句能否实现预期功能，往往忽略了SQL语句可能会带来的系统漏洞，常遇到的就是SQL注入。

一、SQL注入简介

       这里不做抽象的解释，可能说完也不会明白，直接用例子来演示SQL注入：

1. 首先我们创建一张表并插入一条数据来模拟实际情况下接触不到的数据库


CREATE TABLE users (
　　id int(11) NOT ...]]></description><category></category></item></channel></rss>