<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[fancychuan的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/fancychuan</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; fancychuan]]></copyright><item><title><![CDATA[Flink on Yarn实战]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/121070944</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/121070944</guid><author>fancychuan</author><pubDate>Sun, 31 Oct 2021 22:29:00 +0800</pubDate><description><![CDATA[使用方式：flink的安装包解压之后，即可直接使用，而不需要额外的配置。 参考：flink部署说明文档

01 几点结论

1.yarn-session的方式，只能在运行了yarn-session.sh -d的机器上，才能通过命令行提交flink作业，因为flink run的时候需要根据/tmp/.yarn-properties-appuser这个文件的内容找到session

	使用echo "stop" | ./bin/yarn-session.sh -id application_1...]]></description><category></category></item><item><title><![CDATA[Centos7安装mysql5.6、mysql5.7和mysql8多个版本并共存]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/121066434</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/121066434</guid><author>fancychuan</author><pubDate>Sun, 31 Oct 2021 17:20:41 +0800</pubDate><description><![CDATA[参考：win10同时安装mysql5.6、mysql5.7以及mysql8多个版本



下载安装包

下载地址：https://downloads.mysql.com/archives/community/

注意，不要下载RPM包，而是下载编译好的二进制包，如下图：





解压并重命名


...]]></description><category></category></item><item><title><![CDATA[解决VMware虚拟机无法访问主机mysql的问题]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/121059544</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/121059544</guid><author>fancychuan</author><pubDate>Sun, 31 Oct 2021 01:51:38 +0800</pubDate><description><![CDATA[mysql已经开启了允许远程登录



那么虚拟机却无法访问，那大概率是主机防火墙的原因

验证端口是否能访问



发现3306端口可以访问，而3308端口无法访问

主机防火窗设置允许访问

windows 安全中心-&gt;防火墙和网络保护-&gt;高级设置






入站规则-&gt;新建规则








端口


选择下一步，然后输入 3308，之后一直下一步，规则名字定为 forVMware。

最终如下所示：





验证



发现可以访问了！
...]]></description><category></category></item><item><title><![CDATA[win10同时安装mysql5.6、mysql5.7以及mysql8多个版本]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/121059475</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/121059475</guid><author>fancychuan</author><pubDate>Sun, 31 Oct 2021 01:36:10 +0800</pubDate><description><![CDATA[说明

win10电脑中已经安装了mysql5.6，因为flink-cdc只支持5.7和8.0以上的mysql版本。因此在本地电脑同时安装多个版本的MySQL。



正文

下载 MySQL 所需要的安装包

  网址：https://downloads.mysql.com/archives/community/

以5.7.35版本的为例。下载安装包：





下载解压

假如解压到D:\ProgramData





增加配置文件

在两个本地的目录下，分别新增 my.ini ...]]></description><category></category></item><item><title><![CDATA[Hive实战：HiveServer2、HiveMetastore、Beeline与hive-site.xml配置文件的关系]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/119323077</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/119323077</guid><author>fancychuan</author><pubDate>Tue, 03 Aug 2021 01:14:51 +0800</pubDate><description><![CDATA[Metastore是元数据服务

HiveServer2是用于提供JDBC访问的服务端

Beeline是使用JDBC的方式访问HiveServer2的客户端



hive-site.xml是hive的配置文件，需要注意的是，不管是服务端还是客户端，均是从hive-site.xml读取配置项。因此，在配置hive-site.xml时，要注意配置项是用于服务端的还是客户端的。



1.Metastore与Hive-site.xml

主要关注的配置项：hive.metastore.uris


&lt;.]]></description><category></category></item><item><title><![CDATA[Flink报错 Cannot reference field by field expression on GenericType]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/119158879</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/119158879</guid><author>fancychuan</author><pubDate>Wed, 28 Jul 2021 02:06:38 +0800</pubDate><description><![CDATA[报错信息如下：


Exception in thread "main" org.apache.flink.api.common.typeutils.CompositeType$InvalidFieldReferenceException: Cannot reference field by field expression on GenericType&lt;cn.fancychuan.SensorReading&gt;Field expressions are only supported on POJ]]></description><category></category></item><item><title><![CDATA[【虚拟机上的centos】maven编译的时候报文件名过长的错误 Compilation failure (File name too long)]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/100585107</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/100585107</guid><author>fancychuan</author><pubDate>Fri, 06 Sep 2019 19:11:19 +0800</pubDate><description><![CDATA[报错信息如下：


INFO] BUILD FAILURE
[INFO] ------------------------------------------------------------------------
[INFO] Total time:  01:15 min
[INFO] Finished at: 2019-09-06T00:42:41-07:00
[INFO] ------...]]></description><category></category></item><item><title><![CDATA[superset个性化配置及权限调整]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/97294031</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/97294031</guid><author>fancychuan</author><pubDate>Fri, 06 Sep 2019 19:00:17 +0800</pubDate><description><![CDATA[superset默认使用的默认数据库是sqlite，我们要改成mysql


(superset_env) [appuser@hadoop03 ~]$ vim .conda/envs/superset_env/lib/python3.6/site-packages/superset/config.py 


QLALCHEMY_DATABASE_URI = 'mysql://user:passwo...]]></description><category></category></item><item><title><![CDATA[superset连接hive时报sasl错误]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/98735695</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/98735695</guid><author>fancychuan</author><pubDate>Wed, 07 Aug 2019 11:43:33 +0800</pubDate><description><![CDATA[superset通过hive://hadoop:hadoop@hadoop03:10000/default?auth=LDAP 访问hive的时候报错


Error in sasl_client_start (-4) SASL(-4): no mechanism available: No worthy mechs found

原因是superset运行的机器上缺少相关依赖

【解决方...]]></description><category></category></item><item><title><![CDATA[superset0.28.1安装、初始化、运行以及相关错误解决]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/96973054</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/96973054</guid><author>fancychuan</author><pubDate>Tue, 23 Jul 2019 11:20:29 +0800</pubDate><description><![CDATA[【安装方法】


# 1. 创建虚拟环境并指定python版本： 
conda create -n superset_env python=3.6

# 2. 直接安装superset
pip install -i https://pypi.tuna.tsinghua.edu.cn/simple superset

# 期间可能安装失败，比如prison提示失败，那么单独装上prison
pip...]]></description><category></category></item><item><title><![CDATA[Oozie出错任务日志追踪思路技巧]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/94637578</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/94637578</guid><author>fancychuan</author><pubDate>Thu, 04 Jul 2019 17:47:59 +0800</pubDate><description><![CDATA[几个概念的关系：

workflow &gt; application &gt; job &gt; task &gt; attempt



【sqoop推送失败排查案例】 任务地址：

http://hadoop01:8888/oozie/list_oozie_workflow/1808668-190626194816577-oozie-oozi-W/



=============...]]></description><category></category></item><item><title><![CDATA[Spark报错：No applicable constructor/method found for ... 常见类型和解决方法]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/89460784</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/89460784</guid><author>fancychuan</author><pubDate>Mon, 22 Apr 2019 21:00:05 +0800</pubDate><description><![CDATA[在学习SparkSQL的自定义聚合函数时，遇到了各种No applicable constructor/method found for的错误。


【错误一】No applicable constructor/method found for actual parameters "long"; candidates are: "public void common.Employee.setAge...]]></description><category></category></item><item><title><![CDATA[Kafka无法发送消息到broker的细节解读]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/89222512</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/89222512</guid><author>fancychuan</author><pubDate>Thu, 11 Apr 2019 23:19:57 +0800</pubDate><description><![CDATA[Kafka的java API模拟生产者发消息（带回调）。执行下面的函数控制台会立刻结束返回，但是并不会打印出回调函数返回的内容，而且消费者也无法消费到数据。


public class NewProducerCallback {
    public static void main(String[] args) throws InterruptedException {
        Pro...]]></description><category></category></item><item><title><![CDATA[maven工程下使用pyspark报错: key not found: _PYSPARK_DRIVER_CONN_INFO_PATH]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/89156641</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/89156641</guid><author>fancychuan</author><pubDate>Tue, 09 Apr 2019 18:16:46 +0800</pubDate><description><![CDATA[使用IDEA，安装了python插件，在Maven工程中使用pyspark。

执行下面这段代码的时候报错


# -*- encoding: utf-8 -*-
"""
Created on 16:07 2019/4/9

@author: fancyChuan
@email: 1247375074@qq.com
@desc: 向spark传递函数 示例
"""
from pyspark im...]]></description><category></category></item><item><title><![CDATA[java数据赋值的多种情况细节解读]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/88869224</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/88869224</guid><author>fancychuan</author><pubDate>Thu, 28 Mar 2019 14:59:57 +0800</pubDate><description><![CDATA[java数据赋值时，不同的形式不同的赋值细节


    public static void testArrayAssign() {
        String[] args = {"hello", "world", "hhh"};
        Object[] objs0 = args;
        Object objs1[] = args;
        Object objs...]]></description><category></category></item><item><title><![CDATA[使用windows的别名随时随地执行python2、python3命令]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/88802696</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/88802696</guid><author>fancychuan</author><pubDate>Mon, 25 Mar 2019 18:40:47 +0800</pubDate><description><![CDATA[当系统同时按照python2，python3时，打开CMD，想随意执行Python2，python3就显得要有点无力了。网上有很多人直接简单粗暴的把python.exe改为python2.exe或者python3.exe，虽然也能解决问题，但是总感觉不够优雅。



【解决思路】我们可以直接输入python.exe的绝对路径来打开相对应的python终端，那么就可以通过设置别名来达到目的。win...]]></description><category></category></item><item><title><![CDATA[django文件图片上传部署异常]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/82666524</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/82666524</guid><author>fancychuan</author><pubDate>Wed, 12 Sep 2018 19:01:03 +0800</pubDate><description><![CDATA[使用django的ImageField实现图片的上传功能，在本地开发测试通过，但是部署到Apache的时候，就报500的错误。

[Wed Sep 12 16:30:19 2018] [notice] Apache/2.2.15 (Unix) DAV/2 mod_wsgi/4.6.4 Python/3.6 configured -- resuming normal operations
Excep...]]></description><category></category></item><item><title><![CDATA[【疑问】Chrome浏览器和firefox浏览器在追踪http时居然不同]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/78665738</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/78665738</guid><author>fancychuan</author><pubDate>Wed, 29 Nov 2017 15:38:44 +0800</pubDate><description><![CDATA[在模拟登录的时候，使用浏览器的开发者模式跟踪浏览器和服务器的交互。发现，Firefox和Chrome的交互逻辑和顺序居然不一样。



如上图是Firefox的，直接在访问1的时候，重定向到2，2直接重定向到3。
而如下图是Chrome的，却是在访问了1也就是4以后，重定向到5。从5的HTML中提取出6的url，访问后再重定向到7也就是3。




从上面的逻辑看，Chrome]]></description><category></category></item><item><title><![CDATA[python在不同系统下的中文编码问题]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/78647066</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/78647066</guid><author>fancychuan</author><pubDate>Mon, 27 Nov 2017 17:19:06 +0800</pubDate><description><![CDATA[上周在做QQ邮箱的模拟登录，在调用邮件查找接口的时候，遇到了查询字符串下中文编码的问题，本质是python2环境下中文编码的问题。WindowsWindows下通过CMD打开python终端，默认的编码方式是gbk。C:\Windows\System32>python
Python 2.7.13 |Anaconda 4.4.0 (64-bit)| (default, May 11 2017, 13:]]></description><category></category></item><item><title><![CDATA[【爬虫】python解决QQ邮箱查询接口的中文编码问题]]></title><link>https://blog.youkuaiyun.com/fancychuan/article/details/78627441</link><guid>https://blog.youkuaiyun.com/fancychuan/article/details/78627441</guid><author>fancychuan</author><pubDate>Fri, 24 Nov 2017 19:00:22 +0800</pubDate><description><![CDATA[使用Python的requests来模拟登录QQ邮箱后进行邮件查找。因为requests的get方法支持params参数，能自动编码查询字符串。而且默认的是utf-8编码


QQ邮箱邮件搜索接口

    def _searchCredit(self, filter_name):
        url = 'https://mail.qq.com/cgi-bin/mail_list']]></description><category></category></item></channel></rss>