<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[浏阳河]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/willwill101</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; willwill101]]></copyright><item><title><![CDATA[Apache Ranger原理与应用实践]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/107081620</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/107081620</guid><author>willwill101</author><pubDate>Thu, 02 Jul 2020 12:07:41 +0800</pubDate><description><![CDATA[确实好文章！
]]></description><category></category></item><item><title><![CDATA[spark2学习(3) 之Spark SQL]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/81591435</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/81591435</guid><author>willwill101</author><pubDate>Sun, 12 Aug 2018 22:27:14 +0800</pubDate><description><![CDATA[Spark SQL是用于结构化数据处理的Spark模块。与基本的Spark RDD API不同，Spark SQL提供的接口为Spark提供了有关数据结构和正在执行的计算的更多信息。在内部，Spark SQL使额外的优化。有几种与Spark SQL交互的方法，包括SQL和Dataset API。

创建sparksession


import org.apache.spark.sql.Spark...]]></description><category></category></item><item><title><![CDATA[spark2学习(2) 之RDD编程]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/81570858</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/81570858</guid><author>willwill101</author><pubDate>Fri, 10 Aug 2018 23:57:38 +0800</pubDate><description><![CDATA[ 

RDD编程指南

实际上从spark2开始就不推荐使用rdd了，使用dataset操作更加简单高效，但是我们还是简单介绍一下内容吧

弹性分布式数据集（RDD）

Spark围绕弹性分布式数据集（RDD）的概念展开，RDD是可以并行操作的容错的容错集合。创建RDD有两种方法：并行化 驱动程序中的现有集合，或引用外部存储系统中的数据集，例如共享文件系统，HDFS，HBase或提供Hadoop ...]]></description><category></category></item><item><title><![CDATA[spark2学习(1) 之Spark Shell]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/81560747</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/81560747</guid><author>willwill101</author><pubDate>Fri, 10 Aug 2018 22:16:07 +0800</pubDate><description><![CDATA[在Spark 2.0之前，Spark的主要编程接口是弹性分布式数据集（RDD）。在Spark 2.0之后，RDD被数据集取代，数据集类似于RDD一样强类型，但在底层有更丰富的优化。这里强调以下，我们使用的ambari去安装集群的，所以不描述安装的问题。

使用Spark Shell进行交互式分析

启动sparkshell   

/usr/hdp/current/spark2-client/bi...]]></description><category></category></item><item><title><![CDATA[谈谈phoenix salt buckets 的使用问题]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80944348</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80944348</guid><author>willwill101</author><pubDate>Fri, 06 Jul 2018 17:48:37 +0800</pubDate><description><![CDATA[首先说，这个是一不错的方案，但是乱用的问题特别的严重。在没有使用phoenix之前，对hbase的rowkey的设计是一门学问。难道有了phoenix我们就可以不在考虑这样rowkey的问题了吗，答案是千万不要这样干。只要当你的主键必须是单调递增的时候，而且我们使用这个主键去检索数据，那么这个salt bucket 就是完美的选择了。如果我们想当然的将主键设计成uuid，然后再用saltbucke...]]></description><category></category></item><item><title><![CDATA[phoenix的特性 OFFSET   DUPLICATE]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80944175</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80944175</guid><author>willwill101</author><pubDate>Fri, 06 Jul 2018 17:32:51 +0800</pubDate><description><![CDATA[从4.6开始可以使用 OFFSET了样例：例如，如果页面大小为10，则要选择第二页，可以使用以下查询（行将从11返回到20）：ELECT title, author, isbn, description
FROM library
WHERE published_date &amp;gt; 2010
ORDER BY title, author, isbn
LIMIT 10 OFFSET 10看了phoen...]]></description><category></category></item><item><title><![CDATA[phoenix学习四节 Secondary Indexing 二级索引]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80941609</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80941609</guid><author>willwill101</author><pubDate>Fri, 06 Jul 2018 16:51:43 +0800</pubDate><description><![CDATA[1.Secondary Indexing二级索引二级索引就是从主要访问路径的另一个hbase表的方式。1.覆盖索引机制 phoenix提供了一个强大的覆盖机制，就是一旦从索引中找到检索的条目就不去访问主表了。就是说它将关心的数据绑定到索引中，这样就可以节省读取时间，典型的用空间换时间的案例。 例如，以下内容将在v1和v2列上创建索引，并在索引中包含v3列，以防止必须从数据表中获取它：CREATE ...]]></description><category></category></item><item><title><![CDATA[phoenix学习第三节 User-defined functions(UDFs) 自定义函数]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80940253</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80940253</guid><author>willwill101</author><pubDate>Fri, 06 Jul 2018 15:21:37 +0800</pubDate><description><![CDATA[User-defined functions(UDFs)自定义函数U 概要用户可以创建临时/永久的函数。UDF可以与查询中的内置函数一样使用，例如select，upsert，delete，create functions index。临时函数在特定的回话和连接中生效，但是不能在其他的回话和连接中使用。永久函数的元信息将保存在SYSTEM.FUNCION的系统表中。支持租户特定函数，在特定的租户的连...]]></description><category></category></item><item><title><![CDATA[phoenix学习第二节 特性一  事务]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80937994</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80937994</guid><author>willwill101</author><pubDate>Fri, 06 Jul 2018 11:24:33 +0800</pubDate><description><![CDATA[Phoenix TRANSACTIONS 事务phoenix除了有hbase的行级事务外，通过和Tephra集成，添加了完整的ACID事务支持。在phoenix中启动事务需要两个步骤1.   修改配置文件并启动hbase 1.配置hbase-site.xml文件&amp;lt;property&amp;gt; 
  &amp;lt;name&amp;gt; phoenix.transactions.enabled &amp;lt;/ n...]]></description><category></category></item><item><title><![CDATA[phoenix学习第一节]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80900848</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80900848</guid><author>willwill101</author><pubDate>Thu, 05 Jul 2018 17:17:54 +0800</pubDate><description><![CDATA[总览phoenix是低延迟的基于hadoop的OLTP服务，支持标准的sql和全部的事务4要素，它是在nosql的hbase基础上添加元数据完成的，而且元数据保存在hbase的表中。sql的支持apche phoenix 将标准的sql编译成为hbase的scans，并且将结果数据转换成标准的jdbc结果集合。支持的sql包括，select、from、where、group by、having、o...]]></description><category></category></item><item><title><![CDATA[springboot配置文件优先级]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/80000360</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/80000360</guid><author>willwill101</author><pubDate>Thu, 19 Apr 2018 09:44:54 +0800</pubDate><description><![CDATA[官网地址：https://docs.spring.io/spring-boot/docs/current/reference/html/boot-features-external-config.htmlSpring Boot uses a very particular PropertySource order that is designed to allow sensible overrid...]]></description><category></category></item><item><title><![CDATA[springConfigserver git 本地文件设置]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/79975281</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/79975281</guid><author>willwill101</author><pubDate>Tue, 17 Apr 2018 15:17:47 +0800</pubDate><description><![CDATA[1、config 默认Git加载通过spring.cloud.config.server.git.uri指定配置信息存储的git地址，比如：https://github.com/spring-cloud-samples/config-repo2、加载本地开发环境### config server nativespring.profiles.active=nativespring.cloud.con...]]></description><category></category></item><item><title><![CDATA[Elasticsearch使用templates的restapi]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/79400022</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/79400022</guid><author>willwill101</author><pubDate>Wed, 28 Feb 2018 14:23:05 +0800</pubDate><description><![CDATA[定义模板：curl -XPUT localhost:9200/_template/xxxtemplate -d '  
{  
    &quot;template&quot; : &quot;ehl*&quot;,  
    &quot;settings&quot; : {  
        &quot;number_of_shards&quot; : 1  
    },  
    &quot;mappings&quot; : {  
        &quot;type1&quot; : {  ]]></description><category></category></item><item><title><![CDATA[说说maven快照配置问题]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78851294</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78851294</guid><author>willwill101</author><pubDate>Wed, 20 Dec 2017 11:29:55 +0800</pubDate><description><![CDATA[maven快照管理问题，怎么使用好快照呢？

aliyun
aliyun
http://maven.aliyun.com/nexus/content/groups/public/

true
never


true
always




红色部分一条要加上，要不然不管是releases还是snapshots都不及时更新哦。
是不是快照不是在私服中配置，二是在创建]]></description><category></category></item><item><title><![CDATA[spark on yarn的cpu使用]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78789626</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78789626</guid><author>willwill101</author><pubDate>Wed, 13 Dec 2017 11:08:39 +0800</pubDate><description><![CDATA[在yarn-site.xml中，可以配置virutal core的个数，请注意不是physical core的个数，相关配置如下：


  yarn.nodemanager.resource.cpu-vcores
  30
  NodeManager总的可用虚拟CPU个数





virutal core的概念是将所有physical cpu组成8个可调度的队列，linux]]></description><category></category></item><item><title><![CDATA[spark on yarn 在HA nn1关闭的时候问题]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78774725</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78774725</guid><author>willwill101</author><pubDate>Mon, 11 Dec 2017 17:23:55 +0800</pubDate><description><![CDATA[当 nn1关闭的时候，spark提交任务不能执行报错如下：


spark官方文档说明了这个问题的存在，应该很快就解决了，我们提交任务后，需要等待50*2秒，没有太大影响]]></description><category></category></item><item><title><![CDATA[Spark on Yarn：任务提交参数配置]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78772007</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78772007</guid><author>willwill101</author><pubDate>Mon, 11 Dec 2017 14:08:09 +0800</pubDate><description><![CDATA[当在YARN上运行Spark作业，每个Spark executor作为一个YARN容器运行。Spark可以使得多个Tasks在同一个容器里面运行。

以下参数配置为例子



spark-submit

--master yarn-cluster  / yarn-client　　　　#使用集群调度模式/客户端模式

--num-executors  2      　　 # ex]]></description><category></category></item><item><title><![CDATA[ambari中删除journalnode节点]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78684411</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78684411</guid><author>willwill101</author><pubDate>Fri, 01 Dec 2017 10:56:58 +0800</pubDate><description><![CDATA[之前谈过如何在ambari中增加journalnode节点服务，这篇将说明如何删除journalnode服务
说明：
hadooptest 为集群的名字，不是HA的名字
http://10.11.32.53:8080 为ambari管理界面
hadooptest.bj 为需要删除服务的主机

正常情况，首先journalnode服务最少需要3个节点，保障在删除操作的开始，你的journ]]></description><category></category></item><item><title><![CDATA[ambari增加journalnode服务节点]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78684391</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78684391</guid><author>willwill101</author><pubDate>Fri, 01 Dec 2017 10:56:09 +0800</pubDate><description><![CDATA[原生态方式：


以hadoop用户执行以下操作:
1.修改etc/hadoop/hdfs-site.xml,在dfs.namenode.shared.edits.dir 配置项中增加相应的新的journal的地址和端口.
2.把etc/hadoop/hdfs-site.xml分发到集群中各服务器.
3.把现有journal中的数据目录拷贝到新journal服务器.
4.在新jour]]></description><category></category></item><item><title><![CDATA[如何判断ftp上传文件完毕]]></title><link>https://blog.youkuaiyun.com/willwill101/article/details/78552848</link><guid>https://blog.youkuaiyun.com/willwill101/article/details/78552848</guid><author>willwill101</author><pubDate>Thu, 16 Nov 2017 16:58:16 +0800</pubDate><description><![CDATA[问题描述：ftp上传文件的时候总是先创建了文件，然后再上传。如果此时程序读取文件可能就读取一部分不完成的数据。那么怎么解决才合理呢


方案1.上传文件的客户端先创建一个临时文件名称，然后上传完毕再重命名。而重命名是修改注册表所以不会产生过程中数据不一致的问题


方案2.在ftp客户端上传文件不由我们控制的时候，不能实施第一方案怎么办呢。打开文件在文件尾追加一个标识内容，关闭打开文件]]></description><category></category></item></channel></rss>