<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[suphieLiang的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/suphieLiang</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; suphieLiang]]></copyright><item><title><![CDATA[zk及kafka集群搭建]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/90288565</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/90288565</guid><author>suphieLiang</author><pubDate>Fri, 17 May 2019 10:40:32 +0800</pubDate><description><![CDATA[一、zk集群搭建

机器数量：奇数个（最少3台）
	zk及kafka依赖于java环境 centOs yum 安装命令yum -y install java-1.8.0-openjdk*
	zk配置

dataDir=/aaa/zookeeper
clientPort=2181
maxClientCnxns=0
initLimit=5
syncLimit=2
server.1=zk1:2...]]></description><category></category></item><item><title><![CDATA[Python中使用flask框架遇到的一些小问题]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/81216924</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/81216924</guid><author>suphieLiang</author><pubDate>Thu, 26 Jul 2018 11:20:49 +0800</pubDate><description><![CDATA[flask框架中请求方法及请求参数

1、在flask框架中路由不标注请求方法默认为GET方法请求

2、在GET请求中，假设我的请求参数多个是key-value结构。我的首选传参模式是将参数作为json传入，通过request.args.get(&quot;message&quot;) 的方式获取，在将取到的数据转换成字典（使用json.load方法)进行操作。

但，当传入的数据量很大的时候，在转换的时候可能会出...]]></description><category></category></item><item><title><![CDATA[kafka生产者]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/81216865</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/81216865</guid><author>suphieLiang</author><pubDate>Thu, 26 Jul 2018 11:17:48 +0800</pubDate><description><![CDATA[kafka producer：消息生产者，就是向kafka broker中发送消息的客户端。

kafka producer相关配置：





其中：

bootstrap.servers :kafka集群地址通常为 ***:9092,***:9092,***:9092

acks：生产者认为一个请求完成，所需要kafka集群主服务的应答次数。这个配置控制已发送消息的持久性。下面是这个配置可能的...]]></description><category></category></item><item><title><![CDATA[kafka消费者]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/81216611</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/81216611</guid><author>suphieLiang</author><pubDate>Thu, 26 Jul 2018 11:11:10 +0800</pubDate><description><![CDATA[kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。

因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offset，...]]></description><category></category></item><item><title><![CDATA[关于sparkStreaming整合kafka遇到的问题]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/80683225</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/80683225</guid><author>suphieLiang</author><pubDate>Thu, 14 Jun 2018 15:10:00 +0800</pubDate><description><![CDATA[    首先概述一下，我的代码主要就是将kafka中消费的数据转到sparkStreaming中，并进行一系列的操作。这个代码在网上有很多相同的，在此不做太多论述。代码大概是这样的：第一个问题：权限问题，我的kafka集群是需要sasl安全认证登录，而在我的代码中并没有可以让我配置消费者的地方，因为是初学者总是哪里都想试试。首先尝试了通过JavaStreamContext设置KafkaConsum...]]></description><category></category></item><item><title><![CDATA[superset权限配置]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/80421781</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/80421781</guid><author>suphieLiang</author><pubDate>Wed, 23 May 2018 16:31:53 +0800</pubDate><description><![CDATA[superset创建用户在当前页面可以增加用户、编辑用户、删除用户。在编辑用户、添加用户是可以为用户设置角色。给新用户Gramma以及addPermission角色，addPermission角色用于配置用户可以访问的数据，Gramma角色为有限访问。角色拥有不同的权限。在list Roles 中查看其中Admin：管理员拥有所有可能的权利，包括授予或撤销其他用户的权限，以及更改其他人的切片和仪表...]]></description><category></category></item><item><title><![CDATA[superset使用说明]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/80421655</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/80421655</guid><author>suphieLiang</author><pubDate>Wed, 23 May 2018 16:21:49 +0800</pubDate><description><![CDATA[查看数据源添加一个slices点击选择一个数据源进行分析配置点击save as保存添加一个dashboard添加成功，可在目录中展示可对其进行展示、修改删除的操作]]></description><category></category></item><item><title><![CDATA[kafka consumer消费者 offset groupID详解]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/80421577</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/80421577</guid><author>suphieLiang</author><pubDate>Wed, 23 May 2018 16:13:58 +0800</pubDate><description><![CDATA[kafka consumer：消费者可以从多个broker中读取数据。消费者可以消费多个topic中的数据。    因为Kafka的broker是无状态的，所以consumer必须使用partition offset来记录消费了多少数据。如果一个consumer指定了一个topic的offset，意味着该consumer已经消费了该offset之前的所有数据。consumer可以通过指定offse...]]></description><category></category></item><item><title><![CDATA[Jupyter Notebook安装及简单使用]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/79806268</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/79806268</guid><author>suphieLiang</author><pubDate>Tue, 03 Apr 2018 17:27:11 +0800</pubDate><description><![CDATA[Jupyter Notebook是一个交互式笔记本，支持运行 40 多种编程语言。Jupyter Notebook 的本质是一个 Web 应用程序，便于创建和共享文学化程序文档，支持实时代码，数学方程，可视化和 markdown。用途包括：数据清理和转换，数值模拟，统计建模，机器学习等等。本文介绍基于Linux 系统搭建Jupyter Notebook。首先查询当前Python版本已知当前版本为2...]]></description><category></category></item><item><title><![CDATA[nifi发送http请求]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78963658</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78963658</guid><author>suphieLiang</author><pubDate>Wed, 03 Jan 2018 17:32:31 +0800</pubDate><description><![CDATA[流程概述：从kafka中消费json串，取json中的某几个属性值，作为参数进行http请求（GET请求或POST请求），接收返回参数存入文件，总流程如下。 
 
ConsumeKafka：消费kafka中json串，如： 
{“id”:”111”,”userName”:”你好”} 
EvaluateJsonPath：通过添加Property取json串中某几个属性的值，传出的数据只有值。可添加多个]]></description><category></category></item><item><title><![CDATA[nifi通过自定义processor将数据流入Elasticsearch]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78951649</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78951649</guid><author>suphieLiang</author><pubDate>Tue, 02 Jan 2018 14:33:47 +0800</pubDate><description><![CDATA[此文章对自定义processor不做详细讲解。 
总体流程如下 
 
其中AddT为自定义processor 
AddT流入的数据为json格式流入的字段应与FlowMsgIn中相同 
 
因此流入的数据应如： 
{“City”:”“,”param”:”cc”,”Number”:”12345”,”body”:”aa”,”query”:”111”} 
数据流入后在rules类中通过一定业务逻辑增加ne]]></description><category></category></item><item><title><![CDATA[将kafka数据导入Elasticsearch]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78668096</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78668096</guid><author>suphieLiang</author><pubDate>Wed, 29 Nov 2017 17:45:29 +0800</pubDate><description><![CDATA[基于当前最新版本logstash 6.0.0 不同版本的logstash输入输出语法略有不同。 
Kafka->logstash->elasticsearch->kibana 
下载logstash并解压 
进入logstash/config目录新建文件 kafka-logstash-es.conf 
编写文件kafka-logstash-es.conf 
input {    //日志写入的数据源]]></description><category></category></item><item><title><![CDATA[kibana使用入门]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78667988</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78667988</guid><author>suphieLiang</author><pubDate>Wed, 29 Nov 2017 17:37:35 +0800</pubDate><description><![CDATA[kibana可视化页面 ：kibana安装地址：5601 
首先要在Management中基于Elasticsearch中已有的index建立映射（_mapping） 
若Elasticsearch中没有index可以在Dev Tools中使用命令行创建一个indexPOST /company_basic/info/pretty 
{ 
       “properties”:{]]></description><category></category></item><item><title><![CDATA[Zeppelin&Spark Zeppelin开发spark]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78622789</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78622789</guid><author>suphieLiang</author><pubDate>Fri, 24 Nov 2017 11:23:28 +0800</pubDate><description><![CDATA[呕心沥血，基本上经历了所有Bug才跑通，写了一篇文字最多的文档，愿大家少走弯路 
首先配置spark的interpreter，其实并没有更改配置，其中master的配置纠结了好久因为跟网上所提供的配置方式并不一致，尝试了各种失败以及空指针后终于在网上找到一个不错的解释： 
mesos模式中使用mesos://zk://zk1:2181,zk2:2182,zk3:2181/mesos或mesos://]]></description><category></category></item><item><title><![CDATA[使用zepplin查询hbase]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78594742</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78594742</guid><author>suphieLiang</author><pubDate>Tue, 21 Nov 2017 17:16:08 +0800</pubDate><description><![CDATA[首先进入欢迎页面，点击右上角的longin进行登录。 
 
登录之后的页面为 
 
点击zeppelin tutorial 进入如下页面 
 
点击interpreter配置数据库驱动信息 
 
default driver ：org.apache.phoenix.jdbc.PhoenixDriver 
default url： 
jdbc:phoenix:Phoenix所在机器:/此处为hbase]]></description><category></category></item><item><title><![CDATA[使用nifi将数据库数据上传到Elasticsearch]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78393766</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78393766</guid><author>suphieLiang</author><pubDate>Mon, 30 Oct 2017 15:43:51 +0800</pubDate><description><![CDATA[首先将数据库数据导出CSV文件，再将CSV文件转换成json格式文件 
CSV在线转json地址：CSV在线转json 
使用kibana在Elasticsearch中建立一个新的index 
POST /company_basic/info/_mapping?pretty 其中company_basic为index名，info为type名。 
 
在nifi中建立如下组件 
 
其中GetFile]]></description><category></category></item><item><title><![CDATA[nifi中使用PutElasticsearch]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78342232</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78342232</guid><author>suphieLiang</author><pubDate>Wed, 25 Oct 2017 15:40:15 +0800</pubDate><description><![CDATA[processer中有putElasticsearch和putElasticsearch5，其中putElasticsearch对应的是2.x版本，putElasticsearch5对应的是5.x版本。本机安装的Elasticsearch为5.x版本，故选用putElasticsearch5。
建立如下组件关联 
putElasticsearch5的配置如下 
ElasticSearch Hosts]]></description><category></category></item><item><title><![CDATA[使用Phoenix连接hbase数据库]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78263082</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78263082</guid><author>suphieLiang</author><pubDate>Tue, 17 Oct 2017 17:37:17 +0800</pubDate><description><![CDATA[本文在Phoenix及hbase均已安装成功的前提下。在eclipse中使用jdbc连接hbase数据库。导入所需jar包<dependency>
            <groupId>org.apache.phoenix</groupId>
            <artifactId>phoenix-core</artifactId>
            <version>4.7.0-]]></description><category></category></item><item><title><![CDATA[druid集群的搭建]]></title><link>https://blog.youkuaiyun.com/suphieLiang/article/details/78125635</link><guid>https://blog.youkuaiyun.com/suphieLiang/article/details/78125635</guid><author>suphieLiang</author><pubDate>Thu, 28 Sep 2017 16:58:18 +0800</pubDate><description><![CDATA[1、 启动zookeeper
     下载zookeeper安装包，解压、安装
     bin/zkServer.sh start
2、 修改druid配置文件
（1）      conf/druid/_common/common.runtime.properties
            a、修改zookeeper列表
                 
       
b]]></description><category></category></item></channel></rss>