<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ab1213456的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ab1213456</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ab1213456]]></copyright><item><title><![CDATA[大数据：Hadoop（HDFS 读写数据流程及优缺点）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214500</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214500</guid><author>ab1213456</author><pubDate>Mon, 02 Sep 2019 15:04:00 +0800</pubDate><description><![CDATA[一、HDFS 写数据流程


写的过程：



CLIENT（客户端）：用来发起读写请求，并拆分文件成多个 Block；
NAMENODE：全局的协调和把控所有的请求，提供 Block 存放在 DataNode 上的地址；
DATANODE：负责数据的存储，可以有很多个；

















客户端想 NameN...]]></description><category></category></item><item><title><![CDATA[大数据：Hadoop（JDK安装、HDFS伪分布式环境搭建、HDFS 的shell操作）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214499</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214499</guid><author>ab1213456</author><pubDate>Mon, 02 Sep 2019 11:21:00 +0800</pubDate><description><![CDATA[所有的内容都来源与 Hadoop 官方文档


一、Hadoop 伪分布式安装步骤
　1）JDK安装

解压：tar -zxvf jdk-7u79-linux-x64.tar.gz -C ~/app


添加到系统环境变量：


~/.bash_profile
export JAVA_HOME=/home/hadoop/app/jdk1.7.0_79
...]]></description><category></category></item><item><title><![CDATA[大数据：Hadoop（HDFS 的设计思路、设计目标、架构、副本机制、副本存放策略）...]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214498</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214498</guid><author>ab1213456</author><pubDate>Mon, 02 Sep 2019 09:03:00 +0800</pubDate><description><![CDATA[一、HDFS 的设计思路
　1）思路

切分数据，并进行多副本存储；


　2）如果文件只以多副本进行存储，而不进行切分，会有什么问题



缺点



不管文件多大，都存储在一个节点上，在进行数据处理的时候很难进行并行处理，节点可能成为网络瓶颈，很难进行大数据的处理；
存储负载很难均衡，每个节点的利用率很低；



二、HDFS 的设计目标...]]></description><category></category></item><item><title><![CDATA[大数据：Hadoop（简介）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214497</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214497</guid><author>ab1213456</author><pubDate>Sun, 01 Sep 2019 21:41:00 +0800</pubDate><description><![CDATA[一、简介

定义：开源的，做分布式存储与分布式计算的平台；
功能：搭建大型数据仓库，对PB级数据进行存储、处理、分析、统计等业务；（如日志分析、数据挖掘）


Hadoop工作模块


Common：提供框架和工具，对其它Hadoop模块的支持；
Distributed File System（HDFS：分布式文件系统）：负责数据的存储；
YARN：作业的调度及资源...]]></description><category></category></item><item><title><![CDATA[环境搭建：Jupyter Notebook 密码设置]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214496</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214496</guid><author>ab1213456</author><pubDate>Thu, 04 Jul 2019 09:40:00 +0800</pubDate><description><![CDATA[原文参考：关于jupyter notebook密码设置
原文博主：01010101



一、windows下，打开命令行，重新生成一个jupyter配置文件



jupyter notebook --generate-config　　





二、修个配置文件

找到这个新生成的文件：Windows:C:\Users\USERNAME\....]]></description><category></category></item><item><title><![CDATA[环境搭建：添加 xgboost 到 Anaconda]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214495</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214495</guid><author>ab1213456</author><pubDate>Wed, 03 Jul 2019 11:54:00 +0800</pubDate><description><![CDATA[原文参考：https://blog.youkuaiyun.com/lvsehaiyang1993/article/details/80619495
原文博主：Big_quant

转载于:https://www.cnblogs.com/volcao/p/11125589.html]]></description><category></category></item><item><title><![CDATA[数据科学：pd.DataFrame.drop()]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214494</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214494</guid><author>ab1213456</author><pubDate>Wed, 03 Jul 2019 08:08:00 +0800</pubDate><description><![CDATA[一、功能

删除集合中的整行或整列；


二、格式



df.drop(labels=None, axis=0, index=None, columns=None, level=None, inplace=False, errors='raise')




labels：指示标签，表示行标或列标；
axis = 0：默认取 0，表示删除集合的行；
a...]]></description><category></category></item><item><title><![CDATA[Python：基础复习]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214493</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214493</guid><author>ab1213456</author><pubDate>Thu, 27 Jun 2019 22:49:00 +0800</pubDate><description><![CDATA[一、数据类型

对象的三大特征：值、身份、类型；

　1）数字 Number

整型、浮点型


只有 int 和 float 两种类型；
type(2/2)：float 类型；2/2 == 1.0；
type(2//2)：int 类型；2//2 == 1；
//：整除；


进制


2/8/16 进制数表示，前缀：ob、0o、0x；
十进制数没有...]]></description><category></category></item><item><title><![CDATA[数据挖掘：（一）数据获取]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214492</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214492</guid><author>ab1213456</author><pubDate>Wed, 06 Mar 2019 21:06:00 +0800</pubDate><description><![CDATA[数据分析：利用统计分析方法，从数据中提取有用的信息，并进行总结和概括的过程。



Python 的胶水特性：Python 可以粘合其它语言代码段。


一、数据获取手段



　1）数据仓库

将所有业务数据汇总处理，构成数据仓库（DW）；
特点：


全部事实的记录（必须是全面的、完备的、尽可能详细的）；
可以方便的以不同维度抽取和整理数据（数...]]></description><category></category></item><item><title><![CDATA[大数据：概述]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214491</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214491</guid><author>ab1213456</author><pubDate>Wed, 06 Mar 2019 18:39:00 +0800</pubDate><description><![CDATA[# 大数据生态圈：Hadoop 生态圈、Spark 生态圈



转载于:https://www.cnblogs.com/volcao/p/10485140.html]]></description><category></category></item><item><title><![CDATA[数据挖掘：数据（数据的基本统计描述）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214490</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214490</guid><author>ab1213456</author><pubDate>Thu, 13 Dec 2018 02:31:00 +0800</pubDate><description><![CDATA[一、概述

对应成功的数据预处理而言，把握数据的全貌至关重要。
基本统计描述可以用来识别数据的性质，凸显哪些数据值应该视为噪声或离群点。


二、中心趋势度量：均值、中位数、众数、中列数

也就是度量数据分布的中部或中心位置。（给定一种属性，它的值大部分落在何处）
频率：区间内数值的个数。

　1）均值（mean）

数据集“中心”的最常用、最有效的数值度量是...]]></description><category></category></item><item><title><![CDATA[数据挖掘：数据（数据对象与属性类型）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214488</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214488</guid><author>ab1213456</author><pubDate>Fri, 07 Dec 2018 00:32:00 +0800</pubDate><description><![CDATA[一、概述

现实中的数据一般有噪声、数量庞大并且可能来自异种数据源。
数据集由数据对象组成，一个数据对象代表一个实体。
数据对象：又称样本、实例、数据点或对象。
数据对象以数据元组的形式存放在数据库中，数据库的行对应于数据对象，列对应于属性。
属性是一个数据字段，表示数据对象的特征，在文献中，属性、维度（dimension）、特征（feature）、变量（variance）可...]]></description><category></category></item><item><title><![CDATA[数据挖掘：基本概念理解]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214489</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214489</guid><author>ab1213456</author><pubDate>Wed, 05 Dec 2018 16:38:00 +0800</pubDate><description><![CDATA[定义
数据挖掘：从大量数据中挖掘有趣模式和知识的过程。

一、知识发现过程
　1）数据预处理
　　1、数据清理：消除噪声和删除不一致数据；
　　2、数据集成：多种数据源组合在一起。
　　3、数据选择：从数据库中提取与分析任务相关的数据。
　　4、数据变换：通过汇总或聚集操作，把数据变换和统一成适合挖掘的形式。
　2）数据挖掘
　　基本步骤、使用智能方法提取数据模式...]]></description><category></category></item><item><title><![CDATA[Linux：数据库服务（Mysql安装及链接、远程链接、genelog）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214487</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214487</guid><author>ab1213456</author><pubDate>Sun, 09 Sep 2018 19:43:00 +0800</pubDate><description><![CDATA[yum search + 服务：查询服务是否存在；
yum remove + 服务：卸载服务；
使用 service 操作服务时，服务的名称后要加上字符 d，如启动：service mysqld start
cat /vir/log/mysqld.log | grep + 关键字：从服务的操作日志中查询内容；
history：查看所有输入的历史记录（...]]></description><category></category></item><item><title><![CDATA[Linux：WebServer（Nginx 虚拟主机配置与伪静态实现）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214485</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214485</guid><author>ab1213456</author><pubDate>Wed, 05 Sep 2018 16:47:00 +0800</pubDate><description><![CDATA[ps + 查看方式 | grep + 服务/端口/软件等：查看状态；


一、基本操作




Nginx 多用于商业系统；
一个端口只能被一个服务使用；
Nginx 可以同时监听多个端口，也就是配置时，一个主机中添加多个端口，浏览器访问该域名时，无论访问哪个端口都对应相同的内容；


　1）安装

Nginx 默认不在源中，需要先添加 Cen...]]></description><category></category></item><item><title><![CDATA[Linux：WebServer（Apacge）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214486</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214486</guid><author>ab1213456</author><pubDate>Tue, 04 Sep 2018 23:13:00 +0800</pubDate><description><![CDATA[/ + 内容：表示在文本中搜索该内容；
:q!：不保存直接退出；
chown -R imooc:imooc /data：将 /data 文件夹的权限所有人该为用户 imooc；


-R：采用递归的方式；
/data 文件夹下的所有文件的权限都为用户 imooc；


sudo su + 用户名：切换用户；

一、简介

WebServer：web 服务...]]></description><category></category></item><item><title><![CDATA[GitHub 上传文件]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214482</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214482</guid><author>ab1213456</author><pubDate>Mon, 27 Aug 2018 17:41:00 +0800</pubDate><description><![CDATA[一、过程及代码

原文出处：一步一步教你如何在GitHub上上传自己的项目


原文作者：夏雨薇安


二、出错

error: src refspec master does not match any.
error: failed to push some refs to




解决方法：



原文出处：git push 失败出现er...]]></description><category></category></item><item><title><![CDATA[机器学习：项目流程及方法（以 kaggle 实例解释）]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214484</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214484</guid><author>ab1213456</author><pubDate>Mon, 27 Aug 2018 00:49:00 +0800</pubDate><description><![CDATA[一、项目目录

（一）数据加载
基础统计
特征分类
基本分布(scatter)




（二）数据分析
正态性检验

偏离度分析 (hist | scatter)
峰度分析 (hist | scatter)


分散度分析 (box)

特征本身分散度
SalePrice 的分散度


方差齐次检验
方差分析 (bar)

scipy...]]></description><category></category></item><item><title><![CDATA[数据科学：待学习的内容]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214480</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214480</guid><author>ab1213456</author><pubDate>Sat, 25 Aug 2018 20:41:00 +0800</pubDate><description><![CDATA[pandas.Series 的一些方法：https://pandas.pydata.org/pandas-docs/stable/generated/pandas.Series.corr.html


plt.subplots()：将 plt.figure 创建的画板，分割成多个子图（clos——列、rows——行）；
plt.figure(figsize=(15,5))...]]></description><category></category></item><item><title><![CDATA[机器学习：项目流程]]></title><link>https://blog.youkuaiyun.com/ab1213456/article/details/102214479</link><guid>https://blog.youkuaiyun.com/ab1213456/article/details/102214479</guid><author>ab1213456</author><pubDate>Fri, 24 Aug 2018 20:51:00 +0800</pubDate><description><![CDATA[原文出处：机器学习项目流程

原文作者：wxquare

1. 理解实际问题，抽象为机器学习能处理的数学问题
    理解实际业务场景问题是机器学习的第一步，机器学习中特征工程和模型训练都是非常费时的，深入理解要处理的问题，能避免走很多弯路。

明确可以获得的数据，机器学习的目标是分类、回归还是聚类。如果都不是的话，考虑将它们转变为机器学习问题。参考机器学习分类...]]></description><category></category></item></channel></rss>