<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ddbbff2005的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ddbbff2005</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ddbbff2005]]></copyright><item><title><![CDATA[scala基础语法小结]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/89196623</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/89196623</guid><author>ddbbff2005</author><pubDate>Wed, 10 Apr 2019 22:06:42 +0800</pubDate><description><![CDATA[个人总体理解：
编程思想：
1.面向对象编程
2.面向接口编程（java、eg：匿名构造类）
3.面向函数编程（scala、数据库-存储过程编程中，引用函数也有点像）
scala-面向函数编程
方法入参是函数，函数在方法中才计算，类似有点像for循环套循环，自己意会
超级简化开发过程，放飞自我，适合有想法的编程人员使用。
package day02

object 小结 {

    def ma...]]></description><category></category></item><item><title><![CDATA[十年程序员的亲身经历]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/89175844</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/89175844</guid><author>ddbbff2005</author><pubDate>Wed, 10 Apr 2019 10:27:28 +0800</pubDate><description><![CDATA[我搞JAVA也有些日子了, 因为我比较贪玩,上进心不那么强, 总是逼不得已为了高薪跳槽才去学习, 所以也没混成什么大牛, 但好在现在也已经成家立业, 小日子过的还算滋润, 起码顶得住一月近万元的吃喝拉撒玩各种贷款信用卡 不为金钱过于发愁了。 我特别感谢当初贴吧遇见的那位大神, 虽然每个月也就聊那么几句, 但是他总能在我不知道该学啥, 该怎么走的时候, 给我方向, 毫不夸张的说,我现在的衣食无忧, ...]]></description><category></category></item><item><title><![CDATA[Scala初体验~]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/89113863</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/89113863</guid><author>ddbbff2005</author><pubDate>Mon, 08 Apr 2019 22:52:24 +0800</pubDate><description><![CDATA[学习scala需要先安装scala，官网：https://www.scala-lang.org
安装教程不要太多，百度一下，关键字带csdn即可
学习环境，dos+IDEA（这里IDEA不要汉化了，汉化的不好，很多设置位置也改了，不然英文版通用，百度易学）
需要安装JDK注意，这里是JDR不是JRE，同时需要配置java环境变量，忘记了没关系，还是百度吧
目前就写这么多，再学习再深入总结


...]]></description><category></category></item><item><title><![CDATA[spark与scala]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88982267</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88982267</guid><author>ddbbff2005</author><pubDate>Tue, 02 Apr 2019 21:45:55 +0800</pubDate><description><![CDATA[今天开始学习spak的workcount编程，第一个例子就是scala写的，这里发现，spark与scala紧密结合。所以spark课程先放缓，开始scala学习，写完scala再回来学习spark。

...]]></description><category></category></item><item><title><![CDATA[spark任务执行过程&spark与yarn的对比]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88959561</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88959561</guid><author>ddbbff2005</author><pubDate>Mon, 01 Apr 2019 22:54:35 +0800</pubDate><description><![CDATA[spark任务执行过程如下图

Yarn和Spark的StandAlone调度模式对比
ResouceManager        Master   管理子节点、资源调度、接收任务请求
NodeManger               Worker   管理当前节点，并管理子进程
YarnChild                  Executor   运行真正的计算逻辑的（Task）
Clie...]]></description><category></category></item><item><title><![CDATA[spark的Spark Shell练习]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88959326</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88959326</guid><author>ddbbff2005</author><pubDate>Mon, 01 Apr 2019 22:49:23 +0800</pubDate><description><![CDATA[定于：Spark Shell（是一个交互式的命令行，里面可以写spark程序，方便学习和测试，他也是一个客户端，用于提交spark应用程序）
启动（本地单机版-非集群）：
./bin/spark-shell

上面的方式没有指定master的地址，即用的是spark的local模式运行的（模拟的spark集群用心的过程）
./bin/spark-shell --master spark://hdp...]]></description><category></category></item><item><title><![CDATA[提交第一个spark程序，以及中间遇到的坑]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88958976</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88958976</guid><author>ddbbff2005</author><pubDate>Mon, 01 Apr 2019 22:20:26 +0800</pubDate><description><![CDATA[首先启动zookeeper集群（前面4天偷懒没搞，刚开始忘记启zookeeper= =！）
./zkmanage.sh start/storp
启动spark集群
./sbin/start-all.sh
hdp02上启动master
./sbin/start-master.sh
运行语句
bin/spark-submit --master spark://hdp01:7077 --class or...]]></description><category></category></item><item><title><![CDATA[spark部署安装]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88855337</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88855337</guid><author>ddbbff2005</author><pubDate>Wed, 27 Mar 2019 21:00:12 +0800</pubDate><description><![CDATA[在之前hadoop的五台虚拟机上，继续安装spark，具体操作步骤如下

1.准备环境
2.安装JDK
3.上传spark安装包
4.解压spark并修改配置文件（两个配置文件，第一个配置文件添加了3个配置文件）
mv spark-env.sh.template spark-env.sh
vi spark-env.sh
export JAVA_HOME=/usr/java/jdk1.8.0_11...]]></description><category></category></item><item><title><![CDATA[Spark个人理解]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88832642</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88832642</guid><author>ddbbff2005</author><pubDate>Tue, 26 Mar 2019 22:48:21 +0800</pubDate><description><![CDATA[什么是spark：
1.他能干MapReduce的活，区别主要放在内存技术，更快，如果内容满了，就内存+磁盘。
2.支持编程语言：top1-scala、top2-python、top3-java、top4-R
3.大数据计算框架全家桶，包含：批处理、交互式查询（Spark SQL）、实时流处理（Spark Streaming）、机器学习（Spark MLlib）和图计算（GraphX）
4.兼容性...]]></description><category></category></item><item><title><![CDATA[ElasticSearch中Java的APIdemo]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88783547</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88783547</guid><author>ddbbff2005</author><pubDate>Sun, 24 Mar 2019 22:14:35 +0800</pubDate><description><![CDATA[java连接集群demo

package cn.edu360.es;

import org.elasticsearch.action.get.GetResponse;
import org.elasticsearch.client.transport.TransportClient;
import org.elasticsearch.common.settings.Settings;
imp...]]></description><category></category></item><item><title><![CDATA[ElasticSearch的SQL插件 安装]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88782034</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88782034</guid><author>ddbbff2005</author><pubDate>Sun, 24 Mar 2019 21:00:38 +0800</pubDate><description><![CDATA[es安装SQL插件
./bin/elasticsearch-plugin install https://github.com/NLPchina/elasticsearch-sql/releases/download/5.4.3.0/elasticsearch-sql-5.4.3.0.zip
#然后将解压到plugins目录下的内容拷贝到其他es的节点的plugins目录
下载SQL的Server...]]></description><category></category></item><item><title><![CDATA[ElasticSearch的IK分词器下载&安装&操作demo]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88782009</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88782009</guid><author>ddbbff2005</author><pubDate>Sun, 24 Mar 2019 20:59:23 +0800</pubDate><description><![CDATA[安装IK分词器
下载对应版本的插件
https://github.com/medcl/elasticsearch-analysis-ik/releases
首先下载es对应版本的ik分词器的zip包，上传到es服务器上，在es的安装目录下有一个plugins的目录，在这个目录下创建一个叫ik的目录
然后将解压好的内容，拷贝到ik目录
将ik目录拷贝到其他的es节点
重新启动所有的es
#创建索引名...]]></description><category></category></item><item><title><![CDATA[ElasticSearch安装head插件]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88753192</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88753192</guid><author>ddbbff2005</author><pubDate>Fri, 22 Mar 2019 23:08:07 +0800</pubDate><description><![CDATA[#更新
sudo yum update -y

安装2个rpm包
sudo rpm -ivh http://dl.fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
sudo rpm -ivh https://kojipkgs.fedoraproject.org//packages/http-parser/2.7.1/3.el7/...]]></description><category></category></item><item><title><![CDATA[ElasticSearch个人理解以及基础的增删改成简单案例]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88752195</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88752195</guid><author>ddbbff2005</author><pubDate>Fri, 22 Mar 2019 22:12:57 +0800</pubDate><description><![CDATA[RESTful接口URL的格式：
http://192.168.10.16:9200///[]
其中index、type是必须提供的。
id是可选的，不提供es会自动生成。
index、type将信息进行分层，利于管理。
index可以理解为数据库；type理解为数据表；id相当于数据库表中记录的主键，是唯一的。
下面是基础的增删改成
#向store索引中添加一些书籍
curl -XPUT 'ht...]]></description><category></category></item><item><title><![CDATA[ElasticSearch的集群安装实例]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88728514</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88728514</guid><author>ddbbff2005</author><pubDate>Thu, 21 Mar 2019 23:01:19 +0800</pubDate><description><![CDATA[http://www.elastic.co/guide/en/elasticsearch/reference/current/setup-configuration.html
https://github.com/elastic/elasticsearch
###【在多台机器上执行下面的命令】###
#es启动时需要使用非root用户，所有创建一个xiaoniu用户：
useradd xiaoni...]]></description><category></category></item><item><title><![CDATA[Elasticsearch的单机安装实例]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88728497</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88728497</guid><author>ddbbff2005</author><pubDate>Thu, 21 Mar 2019 23:00:22 +0800</pubDate><description><![CDATA[1.安装JDK（1.8）
2.上传解压Elasticsearch-5.4.3
3.创建一个普通用户，然后将对于的目录修改为普通用户的所属用户和所属组
4.修改配置文件config/elasticsearch.yml
network.host: 192.168.100.211
5.启动ES，发现报错
bin/elasticsearch
#出现错误
[1]: max file descriptors ...]]></description><category></category></item><item><title><![CDATA[echars-大数据展示框架-个人理解]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88702404</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88702404</guid><author>ddbbff2005</author><pubDate>Wed, 20 Mar 2019 22:40:38 +0800</pubDate><description><![CDATA[echars个人理解，类似js+jquery+json+html，已经做好的框架，用来展现大数据
官网中，操作简单，实例多
echars官网：https://echarts.baidu.com/

]]></description><category></category></item><item><title><![CDATA[CentOS7与7之前版本一些命令的区别]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88675597</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88675597</guid><author>ddbbff2005</author><pubDate>Tue, 19 Mar 2019 22:21:39 +0800</pubDate><description><![CDATA[新命令如下，熟悉一下即可，如果常用，百度大法
#查看服务状态
systemctl status NetworkManager
#停止服务
systemctl stop NetworkManager
#启动服务
systemctl start NetworkManager
#禁止服务开机启动
systemctl disable NetworkManager
#设置服务开机启动
systemctl e...]]></description><category></category></item><item><title><![CDATA[lucene概念与自我理解]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88650796</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88650796</guid><author>ddbbff2005</author><pubDate>Mon, 18 Mar 2019 21:37:38 +0800</pubDate><description><![CDATA[lucene是干什么的：
文件搜索系统，例如可以用lucene+hdfs做一个百度
lucene约等于domino==文档型数据库
lucene存储方式是，把文件存成索引+文档的形式，索引里面有主键和关键字，主键关联文档，文档的存储就和domino文档型数据库一样了，但是他不是存在数据库中，而可以把数据放在hdfs上（PC/liunx磁盘都可以）。文档的存储方式就是key+value。


...]]></description><category></category></item><item><title><![CDATA[sqoop中的2个大坑，注意避免]]></title><link>https://blog.youkuaiyun.com/ddbbff2005/article/details/88605545</link><guid>https://blog.youkuaiyun.com/ddbbff2005/article/details/88605545</guid><author>ddbbff2005</author><pubDate>Sat, 16 Mar 2019 20:53:38 +0800</pubDate><description><![CDATA[字符集必须统一

--注意：将库和表的编码集改成utf8,命令如下：
修改库的编码：
mysql&amp;gt; alter database db_name character set utf8;
修改表的编码：
mysql&amp;gt; ALTER TABLE table_name CONVERT TO CHARACTER SET utf8 COLLATE utf8_general_ci; 


sqoo...]]></description><category></category></item></channel></rss>