- 博客(49)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 关于obsidian的markdown基本使用
这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入欢迎使用Markdown编辑器你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Mar
2024-05-02 07:22:52
3045
原创 Error tokenizing data. C error: Expected 1 fields in line 4, saw 2
python pandas
2023-05-05 17:45:00
425
原创 flink页面提示Server Response Message:Internal server error
重要的不是问题的解决,是怎么找问题,可以查看flink的日志,具体什么错误,自己再去修改,
2022-06-16 23:18:04
1510
原创 Centos7开机之后连不上网 ens33:＜BROADCAST,ULTICAST＞mtu 1588 qdisc noop state DOWl group default qlen 1888
没有ip
2022-06-16 15:21:45
621
1
原创 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-
项目场景：问题描述：在执行hdfs命令的时候，会提示这个错误。原因分析：看了网上的好多博客，都说是：这个警告是说，Hadoop 没有成功加载你电脑的本地库，所以使用了内置的 Java 类库。本地库的作用：提升一些操作的性能（Java 不够快），并且弥补 Java 类库的不足，Hadoop 为某些组件提供了自己的本地实现，保存在一个独立的动态链接的库里，在 类 Uinux 平台上名为 libhadoop.so解决方案：#先执行export HADOOP_ROOT_LOGGER=DEBUG
2022-02-10 00:03:55
1744
原创 CentOS安装glibc-2.14
到http://ftp.gnu.org/gnu/glibc/或者去百度下载：链接：https://pan.baidu.com/s/1R3aWNLsaar4CI73L3nwacA?pwd=4ogm提取码：4ogm先看一下自己可以看到是因为系统的glibc版本太低，查看当前系统的glibc支持的所有版本strings /lib64/libc.so.6 |grep GLIBC_可以看到是因为系统的glibc版本太低，查看当前系统的glibc支持的所有版本发现没有安装，tar -xzvf gli
2022-02-09 23:52:53
2371
原创 clickhouse提示表不存在
项目场景：用CK查提示表不存在问题描述：今天在使用ck查询，使用的是左关联。左表是distributed 表，右表使用的是正常表。但是查询时一直提示右表不存在。后来发现。将左表使用（select * from 表名）而不是直接表名就可以解决...
2021-09-13 21:03:18
2151
原创 kettle（MalformedByteSequenceException: Invalid byte 2 of 2-byte UTF-8 sequence.）
项目场景：提示：这里简述项目相关背景：项目场景：在用kettle导入数据时提示错误问题描述：提示：这里描述项目中遇到的问题：大致说和：Invalid byte 2 of 2-byte UTF-8 sequence.有关，详细见报错信息2021/09/09 08:48:15 - General - ERROR (version 8.0.0.0-28, build 8.0.0.0-28 from 2017-11-05 07.27.50 by buildguy) : 当读共享文件时发生错误(继续加载
2021-09-09 09:40:30
1423
原创 kettle提示：ArrayIndexOutOfBoundsException
项目场景：例如：项目场景：其他的没有什么问题，回报Caused by: java.lang.ArrayIndexOutOfBoundsException: -32717 的错误问题描述：kettle启动就报错。原因分析：一次数据太多了，装不了。解决方案：将表输出中提交记录数量变小一点算不上是经验的经验：提交的数据一般我都是用一万除以字段数据，再取个差不多的整。...
2021-06-15 16:23:06
3442
2
原创 kettle表输出Oracle提示00911无效字符
项目场景：项目场景：将hana数据库的数据初始化到Oracle中问题描述：表输出的前面一切正常，可以查看到数据，但是表输出时就出错，详细的错误是：Caused by: java.sql.SQLException: ORA-00911: 无效字符 原因分析：经过一段一段的排查发现是字段的问题。采用暴力二分法，加回溯法，得到了有个字段是以_开头，关键是在表输入的时候能查到结果，就以为表输出能插入,结果是万万没想到。直接给我报了个“无效字符”，而且也不给一点提示。解决方案：进入表
2021-06-11 11:23:41
2978
原创 spark 运行报错:java.lang.IllegalArgumentException: Unsupported class file major version 55
项目场景：提示：这里简述项目相关背景：例如：项目场景：用win10启动spark,启动没有问题,问题描述：执行数据分析时报错了:报错如下 原因分析：提示：这里填写问题的分析：可能是jdk的版本问题,我用的是11版本,用了1.8的版本后没有问题解决方案：用了1.8的版本后没有问题# 对比：对比发现,用1.8的没有任何的警告.而且可以正常执行决定了数据的存储方式和位置,写到哪里以及从哪里读取数据支持哪些查询以及如何支持并发数据访问索引的使用(如果存在)是否可以执行多线程请求数据复制
2020-11-30 16:44:49
166
原创 clickhouse的报错集合(以错误状态码收集)
错误码目录项目场景(错误码:210, 279)：备用项目场景：项目场景(错误码:210, 279)：在使用Distributed的分布引擎时出现的报错 问题描述：先在3台节点上都创建t表,再在102上使用分布引擎创建表,合并这些表格,结果出现的错误是:↘ Progress: 0.00 rows, 0.00 B (0.00 rows/s., 0.00 B/s.) Received exception from server (version 19.7.3):Code: 279. DB::E
2020-11-30 16:35:47
8694
1
原创 掌握 clickhouse入门知识(数据类型)
学习目标：掌握 clickhouse入门知识文章目录学习内容创建枚举表插入数据查看表结构作用数组创建简单数组元组学习产出：学习内容创建枚举表hadoop102 :) create table enum (boo Enum8( 'true'=0,'false'=1))engine=TinyLog;插入数据# 插入数据没有问题hadoop102 :) insert into enum values ('true'),('false')#查询数据hadoop102 :) select *
2020-11-30 10:10:52
347
1
原创 ClickHouse的安装(单机,联机)
文章目录安装步骤一、查看环境 1.使用root用户 2.查看自己的centos的版本二、安装步骤安装前准备1.创建文件夹2.下载安装包3.安装软件4.启动服务器5.启动客户端卸载clickhouse安装步骤一、查看环境 1.使用root用户 2.查看自己的centos的版本cat /etc/redhat-release二、安装步骤安装前准备Centos取消打开文件数限制[root@hadoop103 6]# vim /etc/security/limits.conf [root
2020-11-30 01:48:05
1052
原创 centos的插件使用
centos的插件使用写一下关于centos的插件的使用的语法文章目录centos的插件使用一、yum语法选项参数安装更新和升级查找和显示删除程序清除缓存一、yumyum命令是在Fedora和RedHat以及SUSE中基于rpm的软件包管理器，它可以使系统管理人员交互和自动化地更细与管理RPM软件包，能够从指定的服务器自动下载RPM包并且安装，可以自动处理依赖性关系，并且一次安装所有依赖的软体包，无须繁琐地一次次下载、安装。yum提供了查找、安装、删除某一个、一组甚至全部软件包的命令，而且命令
2020-11-30 00:13:09
629
原创 centos下安装的小插件(待续)
系列文章目录linux系统软件(插件)安装系列文章目录系列文章目录前言一、安装mwget插件二、使用步骤1.引入库2.读入数据总结前言linux的centos系统有时需要装点小插件之类的需要记录好,方便下次安装一、安装mwget插件参考资料目的:使用wget下载文件时十分缓慢 可使用mwget进行加速 其中m代表多线程的意思1.安装mwgetwget http://jaist.dl.sourceforge.net/project/kmphpfm/mwget/0.1/mwget_
2020-11-29 01:33:51
417
原创 zookeeper的启动问题
项目场景：用jps查看的结果用./zkCli.sh -server 192.168.2.140:2182测试博报错[root@hadoop102 bin]# ./zkCli.sh -server 192.168.2.140:2182用./zkServer.sh status 查看没有启动[root@hadoop102 bin]# ./zkServer.sh status问题描述：1.注意上图中进图的是root用户,同时又进入了atguigu的用户,结果是jps,用kill -
2020-11-28 23:24:51
341
原创 spark在IDEA的本地无法使用saveAsTextFile存储文件
项目场景：结果中没有正确的值,却报错问题描述：而且还会报Java空指针等错误 原因分析：缺少winutils.exe文件,参考了:Scala项目中winutils.exe的作用解决方案：参考了:Hadoop或Spark运行缺少winutils.exe文件...
2020-10-20 23:57:28
1370
原创 kettle的简单清洗
记一次kettle的简单清洗目目的和Hive教程_(2019版)_一样的,文章目录前言一、pandas是什么？二、使用步骤1.转换的步骤2.文件输入3.过滤记录4.将多列合并成一行(concat)5.使用Java脚本总结前言表结构:目的:1.里面有没有空值,有空值需要去除2.将视频类别列需要将" & “变成”&"3.将相关视频ID用&连接放在一个列中提示：以下是本篇文章正文内容，下面案例可供参考一、pandas是什么？示例：pandas 是基于Nu
2020-10-18 20:19:36
2736
原创 Mysql事务以
第四节-Mysql事务以及锁原理讲解主参考2020年最新阿里数据库MYSQL面试题全集|周瑜（面试看这个就够了！）副参考MySQL技术内幕 InnoDB存储引擎 (第2版)提示：写完文章后，目录可以自动生成，如何生成可参考右边的帮助文档文章目录第四节-Mysql事务以及锁原理讲解主参考副参考前言一、事务是什么？定义二、四种特性(ACID)1.原子性(A):2.一致性('C):3.隔离性(I):4.持久性(D):三、事务的使用开启,提交事务中止事务,使用rollback查看自动提交()隐式提
2020-10-16 10:33:47
673
原创 dbeaver的Connection reset by peer: socket write error报错
项目场景：hive2dbeaver问题描述：使用dbeaver,长时间没有操作,或者电脑关盖后,dbeaver与虚拟机断开连接,后再连接虚拟机的hive仓库报错org.jkiss.dbeaver.model.sql.DBSQLException: SQL 错误 [08S01]: org.apache.thrift.transport.TTransportException: java.net.SocketException: Connection reset by peer: socket w
2020-10-12 10:26:54
5926
原创 dbeaver的连接超时(Connection timed out: connect)
项目场景：hiveserver2启动了,虚拟机 里能启动beeline,并且能连接hive2,但是就是连接不了win上的dbeaver问题描述：Could not open client transport with JDBC Uri: jdbc:hive2://192.168.2.104:10001/gmall;auth=noSasl: java.net.ConnectException: Connection timed out: connectjava.net.ConnectExcep
2020-10-11 22:18:16
18921
2
原创 kettle入门系列文章(七-查询)
kettle入门系列文章(七)自己学习kettle的笔记过程及注意过程文章目录kettle入门系列文章(七)一、查询是什么？二、使用控件1.[HTTP client](https://www.bilibili.com/video/BV1jE411B7J8?p=43)2.数据库查询3.数据库查询4.流查询总结一、查询是什么？查询是用来查询数据源里的数据并合并到主数据流中。二、使用控件1.HTTP clientHTTP client是使用GET的方式提交请求，获取返回的页面内容。在自定
2020-10-06 18:30:42
459
原创 kettle错误“Couldn‘t get field info from [select * from t2]“
Couldn't get field info from [select * from t2]You have an error in your SQL syntax; check the manual that corresponds to your MySQL server version for the right syntax to use near 'OPTION SQL_SELECT_LIMIT=DEFAULT' at line 1今天在输出表中,获取字段出现上面的错误,查原因,才
2020-10-03 05:20:39
5023
原创 Elasticsearch 的官网下载版本和插件
安装包下载1）Elasticsearch官网：已下载好的elasticsearch-5.2.2.tar.gz(邀请码:xmon)Elasticsearch head插件安装1）下载插件https://github.com/mobz/elasticsearch-headelasticsearch-head-master.zip(邀请码:po5j)2）nodejs官网下载安装包https://nodejs.org/dist/node-v6.9.2-linux-x64.tar.xz(邀请
2020-05-29 10:09:38
736
原创 虚拟机jdk的安装
卸载现有JDK1. 查询是否安装Java软件： rpm -qa | grep java2. 如果安装的版本低于1.7，卸载该JDK： sudo rpm -e 软件包3.查看JDK安装路径：which java安装JDK1. 导入jdk包提取码：lj372. 解压jdk解压到 /opt/module/文件下 tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/3. 配置jdk获取jdk路径(pwd)打开/etc/pr
2020-05-29 00:07:05
404
1
原创 虚拟机环境准备
虚拟机环境准备克隆虚拟机修改克隆虚拟机的静态IP修改主机名关闭防火墙创建**用户配置**用户具有root权限在/opt目录下创建文件夹
2020-05-28 06:42:04
176
原创 防火墙
Linux关闭防火墙命令问题:老是关闭防火墙太麻烦，所以选择彻底关闭防火墙，发现每次都记不住命令!下面是red hat/CentOs7关闭防火墙的命令!(centos 6 运行不了 systemctl 命令)1:查看防火状态systemctl status firewalldservice iptables status2:暂时关闭防火墙systemctl stop firewalldservice iptables stop3:永久关闭防火墙systemctl disable
2020-05-28 06:33:50
154
原创 查看CentOS版本信息
查看centos的版本cat /etc/issue转载:https://blog.youkuaiyun.com/shuaigexiaobo/article/details/78030008
2020-05-28 06:30:26
156
原创 Xshell6连接不上
今天一直连接shell6 连接不上然来是hadoop102主机名咩有配好解决方法:https://blog.youkuaiyun.com/qq_44833146/article/details/103778905
2020-05-24 22:28:03
548
原创 spring-boot-maven-plugin插件 报错
报的错误如下图：将鼠标放在plugin上，点击反键，选择Maven，点击Reimport（重新导入）完成后得到的结果
2020-02-05 10:27:25
985
数据,kettle.zip
2020-10-18
虚拟机同步到百度网盘
2022-02-12
TA创建的收藏夹 TA关注的收藏夹
TA关注的人