YiRan_Zhao的博客

记一次问题解决方法：按照网上的教程都改了，nat，dns，都和网上的一样都不行，最中将ens33里的BOOTPROTO=static改成了dhcp就好了。

YARN 的资源管理器通知 Flink 的 ResourceManager，某个容器已经完成了它的生命周期，或者因为某些原因失败了。ResourceManager 需要处理这些已完成或失败的容器，从而移除它们所占用的槽。：当 TaskManager 因为某些原因被 YARN 容器管理系统终止时，它正在使用的槽会被移除。此时，ResourceManager 尝试向已不存在的 TaskManager 分配槽就会触发这个异常。：如果请求的资源长时间无法获得，或者资源不足导致容器被收回，也会导致槽被移除的情况。

思考：第二条语句只比第一个多一个炸裂函数，炸裂函数的作用是将数据炸开变成多行数据，为什么还会条数变少了呢？例如有20条a是空，那如果a都没有被分割，那就会生成80条数据，我这个a有被分割，所以生成了90条数据。经过各种资料查找，数据探索，发现当字段是空时，不会形成新的一行，而是会把这条数据过滤掉。查询该表结果为100行。查询下表条数为90行。

记录一个报错解决过程，finebi在连接外部mysql时，要把finebi里的表导入到mysql，但是如果mysql库不是utf8就会报错如下migrate table com.finebi.persist.impl.entity.PackageSubItemEntity failed。解决方法：用下面语句创建的库是可以成功连上finebi的，并且可以使用mysql里的数据。

在本地连接docker安装的clickhouse连接不上，telent ip 8123 也不通。记录一下bug，本clickhouse是测试用在虚拟机自己搭的。找到clickhouse的id。然后重启了docker服务。

解决此问题的关键在于确保您的UDF函数始终返回字符串类型的数据。如果您在处理逻辑中确实需要返回某个字段的原始整数值，那么应该将其转换为字符串格式，修改如下。这通常发生在您尝试将Python字典直接作为UDF的输出，而ODPS UDF在没有正确序列化的情况下无法直接处理字典类型的返回值。方法将字典转换为JSON字符串，确保输出符合预期的Unicode字符串格式，所以将代码里dict类型封装成了json返回的。这个错误说明您的UDF函数期望返回的是一个Unicode字符串类型（），但实际上返回了一个字典类型（

AttributeError: 'FilterCollectionExpr' object has no attribute 'group_by'

采坑

FROM (,2 nameUNION ALL,NULL name结果是1条数据。

{ "apiLog": null, "data": null, "errCode": 1108110622, "errMsg": "数据源查询失败:[PreparedStatementCallback;栏位索引超过许可范围：21，栏位数：20。上述示例中，:keyword 是传入的参数，使用 || 进行字符串拼接，将 _ 通配符与参数值拼接在一起，实现单个字符的模糊匹配。上述示例中，:keyword 是传入的参数，使用 || 进行字符串拼接，将 % 通配符与参数值拼接在一起，实现前后模糊匹配。

原因为资源配置后代码有变动，需放弃配置，重新生成，或者直接放弃配置，应用系统自动调优的方式。

这个报错是由于分母是0造成的，分母不能为0。

如果你的过滤条件只想作用于B表，那么LEFT JOIN B表的子查询结果；如果你的过滤条件需要作用于整行关联结果，那么直接LEFT JOIN即可。1，如果a表的所有数据都能在b表找到，那没有区别，如果不能，那结果不同。

链接:https://pan.baidu.com/s/1Mcm7QZO9J8ud6930MVFUng?出现这个问题的原因是我们在windows上模拟开发环境，但并没有真正的搭建hadoop和spark。放到任意的目录下，我这里是放到了E:\vacation\wutils\bin。在重启电脑之后-----在运行代码。

bug

bug

一、虚拟机NAT模式原理NAT模式在VMware下又称VMnet8。在这种模式下，宿主机有两块网卡，一块是真实的物理网卡（即NAT device），连接Network；一块是 VMware Network Adapter VMnet8，通过虚拟交换机（VMnet8）与虚拟机网卡进行通信。由于NAT device有网络地址转换功能，虚拟机网卡的数据通过 VMware Network Adapter VMnet8转发，进行地址转换后，由真实的物理网卡再转发到NetWork。此外，...

版本： sparkstreaming 2.2 kafka 0.10sparkstreaming 集成kafka后（Direct模式），同一个groupid下的多个spark-streaming consumer消费kafka中的数据时，会报错。（如何重现问题：把sparkstreaming集合kafka的程序，运行两次即可）报错如下：该主题下的数据不能访问。问题剖析：假定消费主题为he...

报错信息具体描述：1.读写HDFS文件程序def main(args: Array[String]): Unit = { // 如果在windows本地跑，需要从widnows访问HDFS，需要指定一个合法的身份 System.setProperty("HADOOP_USER_NAME", "hdfs") val logFile = "/user/zla/test" val spark = SparkSession .builder .appName("demo

由于本地测试和服务器不在一个局域网,安装的hadoop配置文件是以内网ip作为机器间通信的ip.在这种情况下,我们能够访问到namenode机器,namenode会给我们数据所在机器的ip地址供我们访问数据传输服务,但是返回的的是datanode内网的ip,我们无法根据该IP访问datanode服务器.报错如下Copy2018-06-06 17:01:44,555 [main] WARN [org.apache.hadoop.hdfs.BlockReaderFactory].

spark将结果存回hdfs时，如果使用9000端口，会报Protocol message end-group tag did not match expected tag，需要将端口就改为8020异常原文如下：Showing 4096 bytes of 7480 total. Click here for the full log.n.QueryExecution.toRdd(QueryExecution.scala:56) at org.apache.spark.sql.executio

原因：这些套接字流示例期望在启动flink作业之前已启动服务器(netcat)并将其绑定到端口.通常，这是通过

bug

图数据库bug处理

大数据采坑记录

ora-09925 ora01075

把--driver-memory 调大