- 博客(31)
- 收藏
- 关注
RSS订阅原创 doris使用使用broker从HDFS导入数据
"true"这个参数。由于默认是false，所以不管设置"dynamic_partition.start",这个参数为多大，历史分区建不起来，如果导入的数据分区时历史数据，需要带上这俩参数才能新建出来历史分区。使用SHOW PARTITIONS FROM demo.`table1`发现没有我导入数据所对应的分区。解决办法：用如下建表语句在新建时就把分区建好，其中比较关键的是。1.我测试环境的hive数据是用时间分区，在导入时总是报错。
2024-11-05 14:15:06
500
1
原创 安装CDH平台的服务器磁盘满了，磁盘清理过程记录
网上查到/tmp文件是临时文件，由于hiveserver2任务运行异常导致缓存未删除，正常情况下是会自动删除的。2.我的服务器上显示/tmp/hive/hive文件夹下的，一串字符串命名的文件特别大几乎把磁盘占满了。1.使用hdfs命令查看哪个文件占用最大。
2024-03-11 13:49:23
553
原创 通过sqoop把hive数据到mysql，脚本提示成功，mysql对应的表中没有数
2、手动往Mysql对应表中写入数据十几秒后被自动删除了。1、脚本执行日志显示脚本执行成功，读写数量不为0。正常情况下应该用InnoDB。
2024-03-08 16:05:08
532
原创 dolphinscheduler3.2.1搭建问题记录
解决办法：在环境变量文件/etc/profile增加两个环境变量：这两个环境变量对应的是HOME的路径，保存后source /etc/profile。2.使用datax同步数据报错，datax单独运行没有问题，用ds平台调起来报如下错误。行4: --jvm=-Xms1G -Xmx1G: 未找到命令。1.mysql、sqlserver数据源连接失败。
2024-03-05 10:59:18
978
1
原创 CDH6.3.2，不互通的cdh平台互导hive数据
1、先导出所有建表语句，在源CDH服务器命令行输入下面命令，该库下所有建表语句保存至hive目录中的tables.sql文件中，不知道具体路径可以全局搜索一下，拿到源库hive的建表语句后，稍微处理一下，去目标库把表建好。3、在目标库中新建不带分区的临时表（因为有分区不能直接导入，如果 没有分区的话可以直接跳过这步，去4步直接导入）5、将临时表数据写到正式表中 ,需要注意的是，select不能直接*，而是要把所有列列出来。4、将源库中导出的data文件复制到目标库服务器上，然后把文件加载到临时表。
2024-01-15 16:00:16
660
原创 CDH6.3.2平台kafka问题记录
解决办法：在kafka的配置界面手动勾选Enable Kerberos Authentication，猜测教程上都是统一先装平台再装kerberos，在平台启用kerberos的时候，这个选项自动被启用了，重装后原来的设置都没了，所以出现了这个问题。附加，另外/var/local/kafka/data，data目录保存kafka的全部数据，如果这些数据没用的话，可以把这个文件夹删掉，每次启动都会自动生成。会随机生成，meta.properties里面的还跟上一次一样，所以就启动不起来。
2023-12-29 09:14:40
516
原创 CDH集群kafka运行正常但是连接不上的问题
1、尝试了网上说：Kafka服务器启动的配置文件 server.properties 中正确配置 advertised.listeners。2、最终查到原因是需要链接的kafka的集群服务器时间与CDH集群不同步的问题。
2023-12-20 09:54:14
755
原创 数据库操作日期函数
问题记录：在学习日期操作函数时，用Dbeaver操作，一直报错，没有datediff关键字识别，最后发现原因是数据库链接断开。
2023-09-14 09:29:48
382
原创 运行yolov5_deepsort报错AttributeError: ‘Detect‘ object has no attribute ‘m‘
我自己训练的模型在自己的代码里面能进行预测，但是在运行yolov5_deepsort的时候报错AttributeError: 'Detect' object has no attribute 'm'报错详情：Traceback (most recent call last): File "L:/chen/yolov5_material/unbox_yolov5_deepsort_counting-main/main.py", line 83, in <module> bbox...
2021-05-18 11:15:01
6560
原创 yolov5报错AssertionError: Label class %g exceeds nc=%g in %s. Correct your labels or your model.
今天给数据集添加文件然后重新训练发现报错AssertionError: Label class 2 exceeds nc=2 in %s. Correct your labels or your model.错误原因1：标注中的类超了比如一共2个类标注中的类应该是0和1，结果出现了2也就是3个类修改方法：检查标注文件：附赠检查代码我是2个类所以是0和1如果更多请自行修改：import ospath = "目录路径"# 获取该目录下所有文件，存入列表中fileList = os.lis
2021-05-16 22:01:40
4323
5
转载 WIN10蓝屏崩溃原因查找
文章来源：https://jingyan.baidu.com/article/90bc8fc85aa780f653640cb9.html 电脑蓝屏后重启后，我们首先应该去查一下“事件查看器”看看电脑故障，非正常关机的事件日志。如图点击此电脑右键-管理-进入计算机管理。 在计算机管理中点击系统工具下面的事件查看器。 在Windows日志中，查看系统日志，以时间为准，找到刚刚蓝屏重启那一刻所出现的错误日志。 打开这些错误日志，可以看到系统意外关闭...
2021-04-21 16:29:15
50065
转载 RuntimeError:a leaf Variable that requires grad has been used in an in-place
原文链接：https://blog.youkuaiyun.com/weixin_43056332/article/details/115188116记录一下训练yolov5碰到的问题RuntimeError:a leaf Variable that requires grad has been used in an in-place在报错代码前加上with torch.no_grad():并且进行缩进！一定要缩进不然会有新的报错。...
2021-03-31 09:10:24
2354
3
原创 注册表学习笔记-注册表文件的组成
20180228 今天学习注册表文件的组成原文路径：http://www.bianceng.cn/film/regedit12.htmWindows 9x注册表的文件组成：1.system.dat文件中存储着当前计算机的配置，特别是各种即特即用设备的硬件配置，如设备的中断号、I/O地址及DMA等。2. 用户平台配置注册表文件user.dat也存在于Windows 9x的系统目录中，其属性也为只读和...
2018-02-28 19:33:06
1271
原创 注册表学习笔记-注册表的位置
20180228 今天学习注册表的位置文中说：在Windows 98/Me操作系统中，注册表主要由“system.dat”和“User.dat”这两个注册表数据库文件组成。通常是在“C:\Windows”中。System.dat包含系统硬件和软件的设置，User.dat则保存着与用户有关的信息。我现在用的是win10的系统，进到C:\Windows中只发现了“system.ini”和“User.i...
2018-02-28 09:49:06
1273
原创 注册表学习笔记-什么是注册表
2018年2月26日，正月初十，今天公司开工，制订了1个月的学习计划学习注册表基础，学习文档中一共29个小节，计划是每天看1节。学习文档的路径：http://www.bianceng.cn/film/regedit-index1.htm今天看第一节：什么是注册表知识点：1.注册表包括计算机系统和应用程序的配置信息、windows系统与应用程序的初始化信息、计算机硬件设备信息，以及各种状态信息和数据...
2018-02-26 17:36:56
618
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人