<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[lfy9477的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/lfy9477</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; lfy9477]]></copyright><item><title><![CDATA[pip下载依赖包及安装]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/118514670</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/118514670</guid><author>lfy9477</author><pubDate>Tue, 06 Jul 2021 10:12:06 +0800</pubDate><description><![CDATA[pip下载依赖包及安装
1、下载包
	#下载包到指定目录
	pip download 你的包名 -d "下载的路径(windows下双引号来表示文件夹)"
	例如：
	pip download pymysql -d "D:\pipDownloadTest"

2、pip离线安装
	pip install &lt;包名&gt;
	例如：
	# 切换终端在待安装文件目录下（D:\pipDownloadTest）
	pip install PyMySQL-0.9.3-py2.py3-none-any.whl


]]></description><category></category></item><item><title><![CDATA[Linux环境下载包及其依赖]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/118419854</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/118419854</guid><author>lfy9477</author><pubDate>Fri, 02 Jul 2021 17:30:58 +0800</pubDate><description><![CDATA[这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入
欢迎使用Markdown编辑器
你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar]]></description><category></category></item><item><title><![CDATA[搭建Spark开发环境]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88701116</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88701116</guid><author>lfy9477</author><pubDate>Wed, 20 Mar 2019 21:50:50 +0800</pubDate><description><![CDATA[搭建spark开发环境（spark-2.1.2 + jdk1.8.0_171 + hadoop-2.7.3 + scala-2.11.8）
一、安装jdk（jdk1.8.0_171）
1、解压
	tar -zxvf 文件 -C 指定文件夹

2、添加到环境变量
	vim /etc/profile

	export JAVA_HOME=/root/home/myapp/java/jdk1.8.0_1...]]></description><category></category></item><item><title><![CDATA[均方根误差(RMSE)、平均绝对误差(MAE)、标准差]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88549503</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88549503</guid><author>lfy9477</author><pubDate>Thu, 14 Mar 2019 11:25:11 +0800</pubDate><description><![CDATA[RMSE

Root Mean Square Error,均方根误差
是观测值与真值偏差的平方和与观测次数m比值的平方根。
是用来衡量观测值同真值之间的偏差

MAE

Mean Absolute Error ，平均绝对误差
是绝对误差的平均值
能更好地反映预测值误差的实际情况.

标准差

Standard Deviation ，标准差
是方差的算数平方根
是用来衡量一组数自身的离散程度


R...]]></description><category></category></item><item><title><![CDATA[zooeeper环境搭建]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88532467</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88532467</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 14:52:52 +0800</pubDate><description><![CDATA[1.上传zk安装包
2.解压
3.配置（先在一台节点上配置）
3.1添加一个zoo.cfg配置文件
$ZOOKEEPER/conf
mv zoo_sample.cfg zoo.cfg

3.2修改配置文件（zoo.cfg）
	dataDir=/home/hadoop/app/zookeeper-3.4.5/data
	
	server.1=itcast05:2888:3888
	server.2=...]]></description><category></category></item><item><title><![CDATA[MapReduce任务的几种运行方式]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88532358</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88532358</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 14:49:30 +0800</pubDate><description><![CDATA[mapreduce job的几种运行模式
1、在eclipse中开发好mr程序（windows或linux下都可以），然后打成jar包(wc.jar)，上传到服务器，执行命令
hadoop jar wc.jar cn.itheima.hadoop.MainClassRunner 

这种方式会将这个job提交到yarn集群上去运行
2、在Linux的eclipse中直接启动Runner类的main...]]></description><category></category></item><item><title><![CDATA[Hive安装]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88531122</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88531122</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 14:03:46 +0800</pubDate><description><![CDATA[Hive只在一个节点上安装即可
1.上传tar包
2.解压
tar -zxvf hive-0.9.0.tar.gz -C /cloud/

3.配置mysql metastore（切换到root用户）
配置HIVE_HOME环境变量
rpm -qa | grep mysql
rpm -e mysql-libs-5.1.66-2.el6_3.i686 --nodeps
rpm -ivh MySQL-...]]></description><category></category></item><item><title><![CDATA[Hbase集群搭建]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88531080</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88531080</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 14:02:08 +0800</pubDate><description><![CDATA[1.上传hbase安装包
2.解压
3.配置hbase集群，要修改3个文件（首先zk集群已经安装好了）
注意：要把hadoop的hdfs-site.xml和core-site.xml 放到hbase/conf下

3.1修改hbase-env.sh
export JAVA_HOME=/usr/java/jdk1.7.0_55
//告诉hbase使用外部的zk
export HBASE_MANAGE...]]></description><category></category></item><item><title><![CDATA[Linux安装JDK]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88530976</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88530976</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 13:57:03 +0800</pubDate><description><![CDATA[1 上传
    alt+p 后出现sftp窗口，然后put d:\xxx\yy\ll\jdk-7u_65-i585.tar.gz

2 解压jdk
    #创建文件夹
    mkdir /home/lfy/Myapp
    #解压
    tar -zxvf jdk压缩包 -C /home/lfy/Myapp

3 将java添加到环境变量中
    vim /etc/profile
  ...]]></description><category></category></item><item><title><![CDATA[Linux常用命令]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88530687</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88530687</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 13:42:27 +0800</pubDate><description><![CDATA[1、先查看tomcat的进程号
ps -ef | grep tomcat*
后面带*号，是为了查看多个tomcat，例如tomcat6，tomcat7。

2、根据进程号查看端口号
netstat -anop | grep 15161

3、配置防火墙，开启80端口、3306端口
vi /etc/sysconfig/iptables
	-A INPUT -m state –state NEW -m...]]></description><category></category></item><item><title><![CDATA[HDFS命令]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88530647</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88530647</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 13:40:00 +0800</pubDate><description><![CDATA[操作HDFS常用的命令
1、创建文件夹
hdfs dfs -mkdir 文件夹名
2、上传文件到HDFS指定文件夹
hdfs dfs -put 源文件路径 目的路径
3、删除文件夹
hdfs dfs -rm 文件夹路径
4、查看文件列表
hadoop fs -ls 文件夹路径
5、查看文件内容
hadoop fs -cat 文件名称

...]]></description><category></category></item><item><title><![CDATA[hadoop2.4.1完全分布集群搭建]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88530546</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88530546</guid><author>lfy9477</author><pubDate>Wed, 13 Mar 2019 13:33:59 +0800</pubDate><description><![CDATA[hadoop2.0已经发布了稳定版本了，增加了很多特性，比如HDFS HA、YARN等。最新的hadoop-2.4.1又增加了YARN HA
注意：apache提供的hadoop-2.4.1的安装包是在32位操作系统编译的，因为hadoop依赖一些C++的本地库，
所以如果在64位的操作上安装hadoop-2.4.1就需要重新在64操作系统上重新编译
前期准备就不详细说了，课堂上都介绍了
1.修改...]]></description><category></category></item><item><title><![CDATA[hadoop2.4.1伪分布式环境搭建]]></title><link>https://blog.youkuaiyun.com/lfy9477/article/details/88381841</link><guid>https://blog.youkuaiyun.com/lfy9477/article/details/88381841</guid><author>lfy9477</author><pubDate>Sun, 10 Mar 2019 18:39:25 +0800</pubDate><description><![CDATA[1. 1.准备Linux环境
1.0 设置虚拟软件
点击VMware快捷方式，右键打开文件所在位置 -&amp;amp;gt; 双击vmnetcfg.exe -&amp;amp;gt; VMnet1 host-only -&amp;amp;gt;修改subnet ip 设置网段：192.168.1.0 子网掩码：255.255.255.0 -&amp;amp;gt; apply -&amp;amp;gt; ok
回到windows --&amp;amp;gt; 打开网络和共享中心 -&amp;amp;]]></description><category></category></item></channel></rss>