<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[s243471087的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/s243471087</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; s243471087]]></copyright><item><title><![CDATA[CDH6.2.1集群kafka配置外网访问配置]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/109328134</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/109328134</guid><author>s243471087</author><pubDate>Wed, 28 Oct 2020 10:50:09 +0800</pubDate><description><![CDATA[在Kafka每个节点中添加：

listeners=PLAINTEXT://0.0.0.0:9092,
advertised.listeners=PLAINTEXT://10.128.53.66:9092

选择KAFKA服务后，单独点击每个节点的配置

在每个节点配置下搜索高级，添加上面两行参数，advertised.listeners 为对应的ip

所有节点修改完后，重启kafka。
在Kafka节点执行如下命令，可以看到9092端口的监听地址从原来的本机IP变成了两个冒号（:::9092）或者是四个]]></description><category></category></item><item><title><![CDATA[oracle建表语句转为java实体类]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/107342720</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/107342720</guid><author>s243471087</author><pubDate>Tue, 14 Jul 2020 17:20:24 +0800</pubDate><description><![CDATA[https://java.bejson.com/generator/

]]></description><category></category></item><item><title><![CDATA[Flink Table API和SQL的分析及使用（二）]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/104537116</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/104537116</guid><author>s243471087</author><pubDate>Thu, 27 Feb 2020 15:23:18 +0800</pubDate><description><![CDATA[案例：读取Csv文件中的内容，打印到控制台

a.csv
zs,15
ww,18
ls,20

package com.example;

import org.apache.flink.api.common.typeinfo.TypeInformation;
import org.apache.flink.api.common.typeinfo.Types;
import org.apache....]]></description><category></category></item><item><title><![CDATA[Flink Table API和SQL的分析及使用（一）]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/104535746</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/104535746</guid><author>s243471087</author><pubDate>Thu, 27 Feb 2020 15:12:48 +0800</pubDate><description><![CDATA[Flink针对标准的流处理和批处理提供了两种关系型API：Table API 和 SQL。Table API 可以直接进行select、filter、join等操作；Flink SQL则是基于Apache Calcite实现标准的SQL，和SQL语言一致，适合大部分开发人员。
Flink Table API和SQL 捆绑在Flink-Table依赖中，如果要使用需要添加一下依赖：
以Flink 1...]]></description><category></category></item><item><title><![CDATA[Get 与 Post 的区别]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/103919225</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/103919225</guid><author>s243471087</author><pubDate>Fri, 10 Jan 2020 09:50:29 +0800</pubDate><description><![CDATA[Get 和 Post 是从客户端浏览器向服务器发送数据参数的 HTTP 方法。这些参数可以是表单的输入、搜索标签的查询等。每当网页需要响应给用户相应的响应，或者我们甚至将其称为用户交互网页，这些 HTTP 方法就扮演了一个重要的角色，为服务器提供用户特定的输入。但是你可能想知道为什么我们需要两个不同的方式来发送输入内容。为了回答这个问题，理解这些方法的工作原理是很重要的，这样你就可以更好的理解实际...]]></description><category></category></item><item><title><![CDATA[centos7配置可访问外网网络]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/103727684</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/103727684</guid><author>s243471087</author><pubDate>Fri, 27 Dec 2019 10:25:30 +0800</pubDate><description><![CDATA[修改ip地址
vim /etc/sysconfig/network-scripts/ifcfg-ens33

	TYPE=Ethernet
	PROXY_METHOD=none
	BROWSER_ONLY=no
	#这里设置为静态IP
	BOOTPROTO=static
	DEFROUTE=yes
	IPV4_FAILURE_FATAL=no
	IPV6INIT=yes
	IPV6_AUTOCON...]]></description><category></category></item><item><title><![CDATA[pom文件打包插件]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/103393601</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/103393601</guid><author>s243471087</author><pubDate>Wed, 04 Dec 2019 20:13:35 +0800</pubDate><description><![CDATA[&lt;build&gt;
        &lt;plugins&gt;
            &lt;!-- 编译插件 --&gt;
            &lt;plugin&gt;
                &lt;groupId&gt;org.apache.maven.plugins&lt;/groupId&gt;
                &lt;artifactId...]]></description><category></category></item><item><title><![CDATA[centos7静默（无图形界面版）本地离线安装oracle]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/102746283</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/102746283</guid><author>s243471087</author><pubDate>Fri, 25 Oct 2019 17:19:58 +0800</pubDate><description><![CDATA[系统版本为CentOS Linux release 7.6.1810 (Core)，私有云服务器
一、挂载iso文件及修改本地yum源
1.先在私有云web界面上挂载iso文件 CentOS-7-x86_64-DVD-1810.iso，虚拟机可以在光驱上选择iso文件
2.	将iso挂载到/media目录
mount /dev/cdrom /media


3.	进入etc下的yum.repos....]]></description><category></category></item><item><title><![CDATA[flink读取kafka数据保存到redis]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/98845962</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/98845962</guid><author>s243471087</author><pubDate>Thu, 08 Aug 2019 10:10:04 +0800</pubDate><description><![CDATA[测试阶段采用了三台虚拟机，一台为master，两台为slave，已经在集群安装好了flink，kafka，zookeeper，redis。flink没有采用高可用模式，所以不需要hadoop，需要注意redis因为没有安装集群模式，是在每一台机器上安装的，这样的话导致master中的redis不会被用到，而任务开始后，slave1或者slave2中的redis是由flink的任务来选择的。
服务开...]]></description><category></category></item><item><title><![CDATA[VMWare虚拟机中Ubuntu 16.04 (linux无桌面)配置静态IP上网]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/98197907</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/98197907</guid><author>s243471087</author><pubDate>Fri, 02 Aug 2019 13:54:38 +0800</pubDate><description><![CDATA[参考：https://www.cnblogs.com/ddbear/p/7743617.html

基础环境说明

虚拟机： VMWare 12.5.2
操作系统： Ubuntu 16.04 (无桌面)
物理主机操作系统： win 7 旗舰版

摸底

VMware在安装之后，会创建2个虚拟的网络环境：VMnet1和VMnet8。
其类型分别为：Host-only和NAT。其中，通过配置，NAT让...]]></description><category></category></item><item><title><![CDATA[Java多线程机制]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/85246568</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/85246568</guid><author>s243471087</author><pubDate>Tue, 25 Dec 2018 13:37:57 +0800</pubDate><description><![CDATA[进程：程序的一次动态加载过程，包括了代码加载，编译，执行，结束的一个完整过程
线程：线程是比进程更小的单位，行为很像进程，一个进程在执行过程中可以产生多个线程

多线程序机制：每个java程序都有一个主线程，当jvm加载代码，发现main方法，此时就会启动主线程，在mian方法执行过程中再创建的线程就是其他线程。
线程的四种状态：
新建状态：Thread类被创建
运行状态：执行run()方法
中断...]]></description><category></category></item><item><title><![CDATA[python术语表]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/84777918</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/84777918</guid><author>s243471087</author><pubDate>Mon, 03 Dec 2018 19:27:26 +0800</pubDate><description><![CDATA[交互模式：shell界面模式
脚本：.py文件程序
脚本模式：运行.py文件程序
模块：一个包含相关函数以及其他定义的集合文件
泛化：给函数添加参数的过程
接口：描述函数如何使用的说明
重构：重写函数，修改代码，改善接口以及代码质量的过程
无效代码：return之后的代码，即程序永远不会到达的地方
增量开发：程序开发过程，每次只增加少量的代码，加以测试（多使用print测试），来减少调试。

...]]></description><category></category></item><item><title><![CDATA[flume接收kafka数据，设置偏移量]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/84061536</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/84061536</guid><author>s243471087</author><pubDate>Wed, 14 Nov 2018 10:01:18 +0800</pubDate><description><![CDATA[kafka官方文档中对于它的偏移解释：
auto.offset.reset


解释：
What to do when there is no initial offset in Kafka or if the current
offset does not exist any more on the server (e.g. because that data
has been deleted)...]]></description><category></category></item><item><title><![CDATA[尝试flume配置文件从启动命令接收参数]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/83900388</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/83900388</guid><author>s243471087</author><pubDate>Fri, 09 Nov 2018 17:01:41 +0800</pubDate><description><![CDATA[接着上一篇flume接收数据传入hbase。
这次的目的是：
flume配置文件sink指定hbase的表名可以当成参数进行接收，以便于能随外部切换hbase不同的表。
例如在test.conf中
a1.sources = r1
a1.sinks = k1
a1.channels = c1

# Describe/configure the source
a1.sources.r1.type = ...]]></description><category></category></item><item><title><![CDATA[flume接收数据传入hbase，并生成指定的rowkey和column]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/83899506</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/83899506</guid><author>s243471087</author><pubDate>Fri, 09 Nov 2018 16:20:49 +0800</pubDate><description><![CDATA[接口源码文章：https://blogs.apache.org/flume/entry/streaming_data_into_apache_hbase
参考博客：https://blog.youkuaiyun.com/m0_37739193/article/details/72868456
目的：flume从event中取出数据作为hbase的rowkey
使用flume接收数据，再传入hbase中，要求中...]]></description><category></category></item><item><title><![CDATA[spark读取和存储jdbc数据库]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/83501710</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/83501710</guid><author>s243471087</author><pubDate>Mon, 29 Oct 2018 10:05:42 +0800</pubDate><description><![CDATA[框架
import java.sql.{DriverManager, SQLException}
import org.apache.spark.sql.DataFrame
     //读取数据(读取出来的数据为dataframe格式)
     //connection:jdbc的配置存储
     //source:读取的源表
      def read(source: String, c...]]></description><category></category></item><item><title><![CDATA[使用python生成数据导入linux中的mysql]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/82864838</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/82864838</guid><author>s243471087</author><pubDate>Thu, 27 Sep 2018 11:31:57 +0800</pubDate><description><![CDATA[使用jupyter工具：
用mysql创建一个数据库，模拟一张商品销量表，表字段和内容需求（需求不一定很明确，逻辑严谨是重点，mysql安装在自己电脑的vmware虚拟机中，虚拟机系统建议ubuntu）：
商品ID（模拟1000个商品）、商品卖出时间（建议2014-01-01 00:00:00:00到2015-03-01 00:00:00:00，间隔random(0,10)秒递增）、卖出价格（建议...]]></description><category></category></item><item><title><![CDATA[Hbase Table already exists的处理方法]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/82854374</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/82854374</guid><author>s243471087</author><pubDate>Wed, 26 Sep 2018 15:44:21 +0800</pubDate><description><![CDATA[hadoop重新格式化后，hdfs上没有了数据，在hbase中新建表。但是却出现了新的问题，新建表时，总是提示Table already exists。是因为以前建过同名的表，可是HDFS上和Hbase相关的东西都已经删除了。是zookeeper的原因导致，因为zookeeper保存有hbase表的地址。数据访问是通过zookeeper的地址转到hdfs上。这是hbase物理存储结构所决定的。
解...]]></description><category></category></item><item><title><![CDATA[Xshell 连接Linux虚拟机失败解决办法（未开放22端口）]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/80208985</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/80208985</guid><author>s243471087</author><pubDate>Sat, 05 May 2018 20:12:10 +0800</pubDate><description><![CDATA[原文地址 http://www.linuxdiyf.com/linux/16710.html

当我们安装好ubuntu，用ssh远程登录时，会出现如下错误。

[c:\~]$ ssh 192.168.142.84 
Connecting to 192.168.142.84:22… 
Could not connect to ‘192.168.142.84’ (port 22): Connecti...]]></description><category></category></item><item><title><![CDATA[selenium爬取bilibili热门视频排行榜]]></title><link>https://blog.youkuaiyun.com/s243471087/article/details/80139500</link><guid>https://blog.youkuaiyun.com/s243471087/article/details/80139500</guid><author>s243471087</author><pubDate>Sat, 28 Apr 2018 21:26:42 +0800</pubDate><description><![CDATA[爬取内容为：排名，标题，播放量，弹幕量，作者名 
 
结果如下： 
1   【梗百科43】梗百科完结？从不正眼看人的社会小猪！？真讲究！  吃素的狮子   15.8万   3362 
2   【纯黑】《战神4》最高难度无伤攻略解说 第二期 纯黑爺 35.5万   8324



注： if name == ‘main‘和def init (self), 这两个代码部分无法显示双下划线.需要在nam...]]></description><category></category></item></channel></rss>