<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[wang972779876的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/wang972779876</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wang972779876]]></copyright><item><title><![CDATA[kaggle 泰坦尼克号数据预测]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/136349833</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/136349833</guid><author>wang972779876</author><pubDate>Thu, 29 Feb 2024 09:20:32 +0800</pubDate><description><![CDATA[对age空值处理，处理的方式为用名字的称谓的平均值填充age。Cabin空值太多没有太大的用，直接删除。对Embarked 填充，使用众数填充。]]></description><category></category></item><item><title><![CDATA[可视化报表平台superset2.0发布]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/125891807</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/125891807</guid><author>wang972779876</author><pubDate>Wed, 20 Jul 2022 14:38:46 +0800</pubDate><description><![CDATA[superset2.0发布]]></description><category></category></item><item><title><![CDATA[2022.5.21 Flink CDC Meetup ppt和视频地址]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/124997232</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/124997232</guid><author>wang972779876</author><pubDate>Fri, 27 May 2022 09:13:28 +0800</pubDate><description><![CDATA[Flink 中文社区 | 中文学习教程
]]></description><category></category></item><item><title><![CDATA[spark读写文件修改换行符]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/124375440</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/124375440</guid><author>wang972779876</author><pubDate>Sun, 24 Apr 2022 10:15:37 +0800</pubDate><description><![CDATA[spark修改换行符、hadoop inputformat]]></description><category></category></item><item><title><![CDATA[Hadoop 企业级生产调优手册]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/122403472</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/122403472</guid><author>wang972779876</author><pubDate>Mon, 10 Jan 2022 09:17:39 +0800</pubDate><description><![CDATA[一篇很不错的hadoop集群调优博客，留作记录方便以后查看

Hadoop 企业级生产调优手册
]]></description><category></category></item><item><title><![CDATA[centos7 增加虚拟磁盘]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/121233023</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/121233023</guid><author>wang972779876</author><pubDate>Tue, 09 Nov 2021 17:34:11 +0800</pubDate><description><![CDATA[dd if=/dev/zero of=/drive.img bs=1M count=10240
losetup /dev/loop1 /drive.img

losetup -a

fdisk -l
]]></description><category></category></item><item><title><![CDATA[数据倾斜问题处理-转载]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/121031530</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/121031530</guid><author>wang972779876</author><pubDate>Fri, 29 Oct 2021 11:40:16 +0800</pubDate><description><![CDATA[看到一篇问题处理数据倾斜的，做下备份，基本都是比较常用的方法，启用倾斜连接优化的方法是之前没有使用过的，以后出现数据倾斜的问题尝试下效果。

原文地址：实操 : Hive 数据倾斜问题定位排查及解决



多数介绍数据倾斜的文章都是以大篇幅的理论为主，并没有给出具体的数据倾斜案例。当工作中遇到了倾斜问题，这些理论很难直接应用，导致我们面对倾斜时还是不知所措。

今天我们不扯大篇理论，直接以例子来实践，排查是否出现了数据倾斜，具体是哪段代码导致的倾斜，怎么解决这段代码的倾斜。

当执行过程中任务卡在 99%，]]></description><category></category></item><item><title><![CDATA[hive 读取sparksql的orc文件报ArrayIndexOutOfBoundsException：6]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/121015955</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/121015955</guid><author>wang972779876</author><pubDate>Thu, 28 Oct 2021 17:13:07 +0800</pubDate><description><![CDATA[报错日志如下



可以看出报错的地方再OrcFile的WriterVersion的from方法，定位代码发生在下面代码的values[val]代码段。values的值从代码可以看出values的数据应该为5，见下图代码





而传过来的val是6，向上看代码，version来源是文件的meta，应该是spark版本的原因导致hive不支持的version。



解决

修改OrcFile文件的WriterVersion的内部类的from方法：


public static WriterVersio]]></description><category></category></item><item><title><![CDATA[debezium 采集oracle原理]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120676187</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120676187</guid><author>wang972779876</author><pubDate>Tue, 12 Oct 2021 16:27:35 +0800</pubDate><description><![CDATA[logminer

logminer的用途日志文件中存放着所有进行数据库恢复的数据，记录了针对数据库结构的每一个变化，也就是对数据库操作的所有DML语句。logminer 工具即可以用来分析在线，也可以用来分析离线日志文件，即可以分析本身自己数据库的重作日志文件，也可以用来分析其他数据库的重作日志文件。总的说来，logminer工具的主要用途有：
　1．跟踪数据库的变化：可以离线的跟踪数据库的变化，而不会影响在线系统的性能。
　2． 回退数据库的变化：回退特定的变化数据，减少point-in-time re]]></description><category></category></item><item><title><![CDATA[apache hadoop 升级]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120716878</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120716878</guid><author>wang972779876</author><pubDate>Tue, 12 Oct 2021 09:40:56 +0800</pubDate><description><![CDATA[hadoop版本apache:2.7.7-&gt;2.9.2

hadoop集群为非高可用集群

1.创建镜像回滚:hdfs dfsadmin -rollingUpgrade prepare

2.hdfs dfsadmin -rollingUpgrade query查看镜像回滚状态，直到显示Proceed with rolling upgrade状态

3.下载并解压hadoop-2.9.2

4.将hdfs-site.xml、core-site.xml 、yarn-site.xml拷贝到hadoop-.]]></description><category></category></item><item><title><![CDATA[从0构建大数据平台，该考虑哪些事情？]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120526429</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120526429</guid><author>wang972779876</author><pubDate>Tue, 28 Sep 2021 11:58:03 +0800</pubDate><description><![CDATA[之前从头开始搭建起大数据平台，中间有一些疑惑的事情，这篇文章解决了很多的疑惑，所以留作记录。文章地址：从0构建大数据平台，该考虑哪些事情？

01

公有云 or 私有云



我们在第一讲中介绍了大数据的基石——云计算。云计算分为公有云和私有云。那么在大数据平台选型时应该选公有云还是私有云，或是两者结合的混合云？我们认为有以下评估依据：









企业规模：小企业、创业公司建议使用公有云搭建大数据平台，甚至直接购买公有云提供的大数据PaaS和SaaS服务。中大型、超大型企业建议使用私有云或...]]></description><category></category></item><item><title><![CDATA[kafka connect +debezium实时采集postgresql]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120138243</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120138243</guid><author>wang972779876</author><pubDate>Mon, 06 Sep 2021 16:28:23 +0800</pubDate><description><![CDATA[使用pgoutput的方式

设置postgresql

修改postgresql.conf添加或者修改以下字段

wal_level = logical 

max_wal_senders = 1 

max_replication_slots = 1 

修改pg_hba.conf

local replication &lt;youruser&gt; trust 

host...]]></description><category></category></item><item><title><![CDATA[oracle 控制文件丢失解决办法]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120067619</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120067619</guid><author>wang972779876</author><pubDate>Thu, 02 Sep 2021 18:46:45 +0800</pubDate><description><![CDATA[不小心删除掉了备份文件导致oracle挂掉，报了控制文件丢失的问题

1.停止oracle

shutdown abort

2.nomount 启动oracle

startupnomount

3.修改控制文件的位置

alter system set control_files=$ORACLE_BASE/oradata/orcl/control01.ctl

4.启动oracle

startupmount
...]]></description><category></category></item><item><title><![CDATA[kafka-connect + debezium 实时采集oracle 11 xe]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120040091</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120040091</guid><author>wang972779876</author><pubDate>Wed, 01 Sep 2021 15:47:39 +0800</pubDate><description><![CDATA[oracle版本：11.2 xe

kafka版本1.1.1

准备：

1.下载oracle connect相关jar包 ：https://repo1.maven.org/maven2/io/debezium/debezium-connector-oracle/1.6.1.Final/debezium-connector-oracle-1.6.1.Final-plugin.tar.gz

2.并将解压到kafka connect的plugn 上详情参考上篇文章mysql的实时采集

3.下载oracle的]]></description><category></category></item><item><title><![CDATA[debezium+kafka connector 实时采集mysql]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/120002546</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/120002546</guid><author>wang972779876</author><pubDate>Mon, 30 Aug 2021 18:31:11 +0800</pubDate><description><![CDATA[配置mysql

创建用户并授权

创建用户

CREATE USER 'debezium'@'%' IDENTIFIED BY 'password';

授予权限

GRANT SELECT, RELOAD, SHOW DATABASES, REPLICATION SLAVE, REPLICATION CLIENT ON *.* TO 'debezium' IDENTIFIED BY 'password';

FLUSH PRIVILEGES;

启用二进制日志

1.检查是否支持二进制日志

SELEC]]></description><category></category></item><item><title><![CDATA[flink-cdc]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/119203919</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/119203919</guid><author>wang972779876</author><pubDate>Thu, 29 Jul 2021 10:14:24 +0800</pubDate><description><![CDATA[1.什么是CDC

变化数据捕获，简称CDC。CDC是建立实时数仓的关键技术

2.CDC的种类

CDC总的可以分成两类，侵入式的和 非侵入式的，侵入式的会对源系统产生性能影响，概括可以分成以下几类，基于时间戳的CDC、基于触发器的CDC、基于快照的CDC。非侵入式的CDC一般是基于日志的，比如比较常见的canal的CDC 通过获取binlog获取变化数据。下表是几种CDC类型的特点（参考https://blog.youkuaiyun.com/wzy0623/article/details/53896343）


	]]></description><category></category></item><item><title><![CDATA[hudi 测试程序]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/119115846</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/119115846</guid><author>wang972779876</author><pubDate>Tue, 27 Jul 2021 10:11:51 +0800</pubDate><description><![CDATA[向hudi中写入数据

1.添加maven依赖



        &lt;!-- https://mvnrepository.com/artifact/org.apache.httpcomponents/httpclient --&gt;
        &lt;dependency&gt;
            &lt;groupId&gt;org.apache.httpcomponents&lt;/groupId&gt;
            &lt;artifactId&gt;httpclie]]></description><category></category></item><item><title><![CDATA[java 读取压缩文件]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/118490158</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/118490158</guid><author>wang972779876</author><pubDate>Mon, 05 Jul 2021 15:04:32 +0800</pubDate><description><![CDATA[用作记录方便以后查找，用到的工具类：commons-compress

maven依赖


&lt;!-- https://mvnrepository.com/artifact/org.apache.commons/commons-compress --&gt;
&lt;dependency&gt;
    &lt;groupId&gt;org.apache.commons&lt;/groupId&gt;
    &lt;artifactId&gt;commons-compress&lt;/artifact]]></description><category></category></item><item><title><![CDATA[hudi学习一（初识hudi)]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/118089210</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/118089210</guid><author>wang972779876</author><pubDate>Mon, 21 Jun 2021 20:02:53 +0800</pubDate><description><![CDATA[什么是hudi

Hudi（发音为“hoodie”）摄取与管理处于DFS(HDFS或云存储)之上的大型分析数据集并为查询访问提供三个逻辑视图。

读优化视图 - 在纯列式存储上提供出色的查询性能，非常像parquet表。
	增量视图 - 在数据集之上提供一个变更流并提供给下游的作业或ETL任务。
	准实时的表 - 使用基于列存储和行存储(例如 Parquet +Avro)以提供对实时数据的查询
通过仔细地管理数据在存储中的布局和如何将数据暴露给查询，Hudi支持丰富的数据生态系统，在该系统中，外部数据源..]]></description><category></category></item><item><title><![CDATA[想要知道孩子的长相吗]]></title><link>https://blog.youkuaiyun.com/wang972779876/article/details/117772267</link><guid>https://blog.youkuaiyun.com/wang972779876/article/details/117772267</guid><author>wang972779876</author><pubDate>Thu, 10 Jun 2021 11:10:08 +0800</pubDate><description><![CDATA[想要预测你孩子的长相吗，通过BabyGAN预测你孩子的长相，github地址:https://github.com/tg-bomze/BabyGAN
]]></description><category></category></item></channel></rss>