<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[ZF98095的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/ZF98095</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; ZF98095]]></copyright><item><title><![CDATA[Flink的窗口函数]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/110237911</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/110237911</guid><author>ZF98095</author><pubDate>Fri, 27 Nov 2020 17:39:01 +0800</pubDate><description><![CDATA[Windows是处理无限流的核心。Windows将流分成有限大小的“存储桶”，我们可以在其上应用计算。

窗口分为Keyed Windows与Non-Keyed Windows，

Keyed Windows:


stream
       .keyBy(...)               &lt;-  keyed versus non-keyed windows
       .window(...)              &lt;-  required: "assigner"
      [.t]]></description><category></category></item><item><title><![CDATA[clouderManger中群某个节点服务无法重启]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/107249489</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/107249489</guid><author>ZF98095</author><pubDate>Fri, 10 Jul 2020 13:58:44 +0800</pubDate><description><![CDATA[在clouderManger中某个节点中的所属服务无法重启，界面无内容显示，首先排查agent是否启动，

用 ps -ef | grepcloudera-scm-agent 查看agent是否启动，如没有，则先要重启 agent

重启：service cloudera-scm-agent restart

如果该命令无法使用，则需要进入

/opt/cm-5.12.0/etc/init.d 目录下

使用 ./cloudera-scm-agent restart 启动该服务

服务起来之后，进入该监控.]]></description><category></category></item><item><title><![CDATA[关于atomXXX类的测试]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/105608448</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/105608448</guid><author>ZF98095</author><pubDate>Sun, 19 Apr 2020 00:19:37 +0800</pubDate><description><![CDATA[今天看了atomXXX类，并做了测试，踩了很多坑，记录一下。

我实现了对数字从1加到10001，使用 AtomicInteger


public class xianCheng {
    AtomicInteger count = new AtomicInteger(1);

     void m(){
//定义方法数字1累加一千次
        for (int i=1;i&lt;=1...]]></description><category></category></item><item><title><![CDATA[kettle之将excel数据导入mysql]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/104949089</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/104949089</guid><author>ZF98095</author><pubDate>Wed, 18 Mar 2020 17:31:21 +0800</pubDate><description><![CDATA[一、新建转换

二、获取excel数据



根据excel的数据格式，获取相关引擎，然后通过浏览找到文件位置，选中后点击增加，放入选中文件。



然后点击浏览记录，查看是否成功，最后点击确定。

三、表输出



在第一步新建数据库连接：





完成之后，第二步输入表的名字



获取相关字段，如果库里面没有 该表，点击sql，执行sql语句，就可以了。

最后点击确定，执行，就成...]]></description><category></category></item><item><title><![CDATA[kettle的安装与使用 一]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/104892144</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/104892144</guid><author>ZF98095</author><pubDate>Mon, 16 Mar 2020 10:05:25 +0800</pubDate><description><![CDATA[kettle的下载地址：

https://sourceforge.net/projects/pentaho/files/

下载自己想要的版本（我下载的是8.2）

下载完成之后，移动到自己想要安装的目录，解压。

解压完成之后，windows系统上运行Spoon.bat,启动时间会有点长，耐心等待。

当启动完成之后，界面：



启动完成之后，点击文件，新建转换：



就可以根据输入输出...]]></description><category></category></item><item><title><![CDATA[为了1024勋章，强行发一条博客]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/102726579</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/102726579</guid><author>ZF98095</author><pubDate>Thu, 24 Oct 2019 16:40:19 +0800</pubDate><description><![CDATA[从网上找了很老的个段子：

某人发帖子：“各位JR，我想做一个程序猿，请问有什么要注意的……”某猿：“等我下班跟你细说……”

然后……就没有然后了。



哈哈哈
...]]></description><category></category></item><item><title><![CDATA[Linux中ping不通外网]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/99589504</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/99589504</guid><author>ZF98095</author><pubDate>Wed, 14 Aug 2019 17:32:03 +0800</pubDate><description><![CDATA[https://blog.youkuaiyun.com/teddy6866/article/details/78790234

写的很详细，如果linux ping不通外网，但是ping的通主机可以看看。
]]></description><category></category></item><item><title><![CDATA[ES之RestHighLevelClient 客户端连接基本配置]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/98622551</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/98622551</guid><author>ZF98095</author><pubDate>Tue, 06 Aug 2019 16:13:20 +0800</pubDate><description><![CDATA[刚使用es的RestHighLevelClient连接了es集群，查了很多资料，请各位大佬指正。。。

maven的配置：


  &lt;dependency&gt;
    &lt;groupId&gt;org.elasticsearch.client&lt;/groupId&gt;
    &lt;artifactId&gt;elasticsear...]]></description><category></category></item><item><title><![CDATA[scrapy爬虫数据传入mysql以及处理数据缺失问题]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/89395670</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/89395670</guid><author>ZF98095</author><pubDate>Fri, 19 Apr 2019 14:35:12 +0800</pubDate><description><![CDATA[一、python的安装以及scrapy的安装

http://www.scrapyd.cn/doc/这是scrapy的中文文档，里面的scrapy的安装方法很好用，强烈推荐。

二、对于爬虫的编写、遇到的问题以及解决方法

按照scrapy中文网站的流程，创建项目，编写，css选择器，翻页，里面都有很详细的说明，如果数据想要写入txt文档，那很简单，但是我的需求是写入mysql，数据量不算大，但...]]></description><category></category></item><item><title><![CDATA[python scrapy框架 爬取网页页数多时，造成数据为空]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/87624578</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/87624578</guid><author>ZF98095</author><pubDate>Mon, 18 Feb 2019 15:58:10 +0800</pubDate><description><![CDATA[       在写爬虫时，发现一个问题（使用的时scrapy蜘蛛爬虫），获取某一个页面的数据时，使用css选择器，没有任何问题，但是当用到连续翻页时，页面张数大于5，就会出现，response正常，返回码为200，但是返回的数据为空，我在for循环中加入了time.sleep也没有用。

       百度原因，发现是因为scrapy中默认的页面请求速度与数据下载速度过快，造成服务器返回的数据为空...]]></description><category></category></item><item><title><![CDATA[项目小笔记2]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/81940020</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/81940020</guid><author>ZF98095</author><pubDate>Mon, 18 Feb 2019 15:28:03 +0800</pubDate><description><![CDATA[spark 知识点

https://www.cnblogs.com/liuliliuli2017/p/6809094.html

 

sparkstreaming 统计广告实时点击次数以及累加


从kafka获取即时数据，拆分，以点击的url为key进行reduce 
var a = stream.map(x =&amp;gt; (x.value().split(&quot; &quot;)(6) , 1))
    ...]]></description><category></category></item><item><title><![CDATA[关于腾讯锋刃 druid Impala 介绍]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/84849242</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/84849242</guid><author>ZF98095</author><pubDate>Thu, 06 Dec 2018 11:09:54 +0800</pubDate><description><![CDATA[https://www.infoq.cn/article/BDizxoQ766UKblld-E1u

 ]]></description><category></category></item><item><title><![CDATA[kafka详细配置]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/82991509</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/82991509</guid><author>ZF98095</author><pubDate>Wed, 10 Oct 2018 08:59:04 +0800</pubDate><description><![CDATA[https://www.cnblogs.com/alan319/p/8651434.html

 

编辑config/server.properties文件：

彻底删除topic配置 ： 

delete.topic.enable=true

 

 

再添加一个beeline 的详细参数设置

https://www.cnblogs.com/30go/p/8706850.html

 ...]]></description><category></category></item><item><title><![CDATA[kafka使用小结]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/81945709</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/81945709</guid><author>ZF98095</author><pubDate>Wed, 22 Aug 2018 16:40:02 +0800</pubDate><description><![CDATA[首先下载解压

编辑配置文件server.properties的broker.id（每个节点的唯一标识） 与 zookeeper.connect（zookeeper集群地址）

配置环境变量

 

二、启动

首先启动zookeeper ，kafka依赖与zookeeper

启动kafka

kafka-server-start.sh -daemon /usr/local/kafka/conf...]]></description><category></category></item><item><title><![CDATA[项目小笔记]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/81914696</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/81914696</guid><author>ZF98095</author><pubDate>Tue, 21 Aug 2018 21:12:36 +0800</pubDate><description><![CDATA[Scala之集合上常见的函数式风格的操作汇总

https://blog.youkuaiyun.com/bluishglc/article/details/53320654

 

flume官网

http://flume.apache.org/FlumeUserGuide.html

 

spark在线分析 基本配置


import java.time.LocalDateTime
import jav...]]></description><category></category></item><item><title><![CDATA[MapReduce 收集日志 分析访问量，点击流]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/81749588</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/81749588</guid><author>ZF98095</author><pubDate>Thu, 16 Aug 2018 22:16:49 +0800</pubDate><description><![CDATA[61.235.163.33 - - [12/Jul/2017:00:00:59 +0800] &quot;GET /good?shopId=4&amp;amp;goodId=10 HTTP/1.1&quot; 200 450 &quot;-&quot; &quot;Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/67.0.339...]]></description><category></category></item><item><title><![CDATA[spark处理文件 获取文件内容是每行为多个元组的处理方法]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/81712649</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/81712649</guid><author>ZF98095</author><pubDate>Wed, 15 Aug 2018 22:54:40 +0800</pubDate><description><![CDATA[
object text {
  def main(args: Array[String]): Unit = {


   var list = List((&quot;u1&quot;, &quot;r1,r2&quot;), (&quot;u2, u3&quot;, &quot;r3&quot;));
    
    list.flatMap(x =&amp;gt;{
    /*
    * 获取List里面每个元组的以 “,” 分割的内容
    * */
      va...]]></description><category></category></item><item><title><![CDATA[scala 命令]]></title><link>https://blog.youkuaiyun.com/ZF98095/article/details/81712621</link><guid>https://blog.youkuaiyun.com/ZF98095/article/details/81712621</guid><author>ZF98095</author><pubDate>Wed, 15 Aug 2018 22:48:13 +0800</pubDate><description><![CDATA[http://homepage.cs.latrobe.edu.au/zhe/ZhenHeSparkRDDAPIExamples.html#flatMap]]></description><category></category></item></channel></rss>