芮呆萌061511332-优快云博客

原创 Error: Cannot find module @rollup/rollup-win32-x64-msvc. npm has a bug related to optional dependenc

解决方法，删除package-lock.json 以及 node_modules,然后，重新npm install ，npm run dev 即可正常启动了。然后，在pack.json中添加，

2024-07-16 09:46:47 3755 4

原创 idea无法通过vpn 连接到数据库或者kafka

项目中 VM这一栏加上-Djava.net.preferIPv4Stack=true 就可以了。

2023-09-13 10:03:10 1362

原创 Invalid UTF-8 start byte 0xbf at 发送post请求错误

好久没写后端代码，这次接手了一个数据质量平台的后端代码，在本地开发调试时，发送post请求，数据到后端，服务是本地idea中启动的，报错如下：Invalid UTF-8 start byte 0xbf at [Source: (org.glassfish.jersey.message.internal.ReaderInterceptorExecutor$UnCloseableInputStream); line: 1, column: 11] (through reference chain: co

2022-05-07 14:50:01 4824

原创 spark读取json文件报错Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenc

Exception in thread "main" org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenced columns only include the internal corrupt record column(named _corrupt_record by default). For examp

2021-08-15 09:42:00 1315

原创 spark读取文件异常 AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed

spark读取json文件异常：Exception in thread "main" org.apache.spark.sql.AnalysisException: Since Spark 2.3, the queries from raw JSON/CSV files are disallowed when thereferenced columns only include the internal corrupt record column(named _corrupt_record b..

2021-08-12 11:15:53 866

原创 flink on yarn模式The main method caused an error: Could not deploy Yarn job cluster

Flink提交任务到yarn集群报错，The main method caused an error: Could not deploy Yarn job cluster本人的原因是：flink版本不一致造成的，本地开发环境使用了flink1.8.0,提交到yarn集群，是通过flink1.10.2安装包下的/bin/flink脚本提交的任务。。...

2021-07-06 14:02:27 2991

原创 MissingResourceException: Can‘t find bundle for base name config_dev, locale zh_CN 解决方式

异常如下：Exception in thread "main" java.util.MissingResourceException: Can't find bundle for base name config_dev, locale zh_CN at java.util.ResourceBundle.throwMissingResourceException(ResourceBundle.java:1573) at java.util.ResourceBundle.getBundleImpl(

2021-07-06 13:44:38 666

原创 Timeout of 60000ms expired before the position for partition could be determined踩坑flink消费kafka2.3.0

flink消费kafka2.3.0，时报错，分区分配的不对Kafka Client Timeout of 60000ms expired before the position for partition could be determined在网上找了一波，没找到原因，后面，误打误撞，发现，是因为，kafka的配置文件，server.properties,使用了主机名作为配置，在server.properties中添加host.name=192.168.0.30 （当前所在服务器的i.

2021-07-04 19:02:46 9768 7

原创 zk启动报错，zkServer.sh: 79: [[: not found -p: not found java i Error: JAVA_HOME is not set and java coul

安装zookeeper后，启动报错：zkServer.sh: 79: /opt/zk/apache-zookeeper-3.6.2-bin/bin/zkEnv.sh: [[: not found-p: not foundjava is /opt/jdk/jdk1.8.0_291/bin/javaError: JAVA_HOME is not set and java could not be found in PATH.我的原因是，conf目录下，需要zoo.cfg文件，一开始，没有

2021-05-11 16:23:46 299

原创坑爹的一次bug，ClassNotFoundException:yarn.server.resourcemanager.CapacityScheduler,(xml配置异常，隐蔽的错误)

cuowei在配置yarn-site.xml时，发生了很隐蔽的bug,由于在配置的标签中使用了换行，导致读取的类出现class not found exception，xml的value标签之间不要换行或者有空格Caused by: java.lang.ClassNotFoundException:org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler at java.n...

2020-12-29 16:26:57 892 1

原创 Phoenix查询报错，字段找不到。Error: ERROR 504 (42703): Undefined column. columnName=(state=42703,code=504)

Phoenix查询报错，字段找不到，根本原因，单引号和双引号的问题，对于常量字符串，使用单引号，对于表名，字段名的小写使用双引号！！Error: ERROR 504 (42703): Undefined column. columnName=studen000.18 (state=42703,code=504)org.apache.phoenix.schema.ColumnNotFoundException: ERROR 504 (42703): Undefined c..

2020-09-17 10:28:33 2941 1

原创 phoenix安装后启动报错File “./sqlline.py“, line 120, in ＜module＞ (output, error) = childProc.communicate

phoenix安装后，进入bin目录下，执行命令./sqlline.py hadoop001,hadoop002,hadoop003:2181启动很久后，ctrl + c 退出，发现报错如下：Traceback (most recent call last): File "./sqlline.py", line 120, in <module> (output, error) = childProc.communicate() File "/usr/lib64/p...

2020-08-02 16:47:28 1003

原创 anoconda创建虚拟环境报错 CondaHTTPError: HTTP 000 CONNECTION FAILED for url An HTTP error occurred when try

在使用anocoda创建虚拟环境时，报错，网上有个各再说法，包括：降低conda版本，更换镜像源，等楼主也尝试了，然并卵，报错似乎是url无法访问，但是，在浏览器上，可以访问清华的镜像。报错如下：Collecting package metadata (current_repodata.json): failedCondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://mirrors.tuna.tsinghua.e...

2020-06-03 15:28:07 2163 7

原创 Nginx反向代理与负载均衡配置，具体配置文件及具有演示，详细，简单（window下）

实现nginx反向代理与负载均衡演示案例，具体实现步骤如下：步骤一：服务器准备准备2个tomcat，一个nginx,步骤二：域名映射修改（修改hosts文件）win7修改hosts文件位置：C:\Windows\System32\drivers\etc步骤三：修改2个tomcat下的的（webapps\ROOT）ROOT下的index.jsp页面，以便，观...

2019-11-27 14:10:47 234

原创 BeanCreationException: Error creating bean with name 'fastJsonpResponseBodyAdvice'

spring boot项目启动报错：org.springframework.beans.factory.BeanCreationException: Error creating bean with name 'fastJsonpResponseBodyAdvice'Caused by: org.springframework.beans.BeanInstantiationExcep...

2019-06-27 18:33:50 1278

原创 spring boot启动报配置文件类找不到，狗血的bug，java.lang.IllegalArgumentException: Could not find class

原因：配置文件yml中，类后面中，多打了一个空格。。。。。

2019-06-21 15:05:55 4372

原创使用Java的lambda编程flink报错，Caused by: org.apache.flink.api.common.functions.InvalidTypesException:

楼主在使用Java的lambda表达式，进行flink编程时报错，如下：Caused by: org.apache.flink.api.common.functions.InvalidTypesException: The generic type parameters of 'Collector' are missingException in thread "main" org.apa...

2019-06-13 16:47:59 5943 1

原创 VirtualBox给CentOS虚拟机挂载磁盘扩大空间

VirtualBox给CentOS虚拟机挂载磁盘扩大空间楼主，发现虚拟机使用存储空间不够用的情况，需要改虚拟机挂载磁盘，扩容，在网上找了一波资料，于是整合记录操详细作如下：概要步骤如下：1、设置创建虚拟磁盘2、对磁盘进行分区及格式化操作3、创建新盘符或者已有盘符，指向新挂载的磁盘分区第一步，在关机状态下，具体...

2019-05-28 11:23:39 1772 1

原创 Elasticsearch -NoNodeAvailableException[None of the configured nodes are available:--异常

楼主在使用Elasticsearch ，java测试是，报错如下：NoNodeAvailableException[None of the configured nodes are available: [{#transport#-1}{6XeVerfGReC8-hsUOe0iHQ}{hadoop001}{10.20.134.10:9300}]在网上搜了一下，原因总结如下：配置文件...

2019-05-27 15:41:50 1039

原创 elasticsearch-5.4.3启动报错，bootstrap checks failed : system call filters failed to install;

楼主，在安装启动es是报错，启动失败，楼主使用的centos6.5，es版本是5.4.3，但在网上搜了一下，不影响使用，[2019-05-25T15:48:37,995][WARN ][o.e.b.JNANatives ] unable to install syscall filter:java.lang.UnsupportedOperationException...

2019-05-25 16:32:58 2756 1

原创测试es报错：ClassNotFoundException: org.elasticsearch.action.bulk.byscroll.AbstractBulkByScrollRequest

在做java，操作elasticsearch时，报错如下：Caused by: java.lang.ClassNotFoundException: org.elasticsearch.action.bulk.byscroll.AbstractBulkByScrollRequest at java.net.URLClassLoader.findClass(URLClassLoader.j...

2019-05-25 16:26:23 2399

原创 org.apache.flume.conf.ConfigurationException: brokerList must contain at least one Kafka brokerList

楼主在使用flume采集数据，sink到kafka中是，启动flume后报错，楼主在网上搜了一圈，说的原因是对的，就是flume1.8版本之后，要对应kafka0.9版本以上，另外配置文件的配置项也不同，楼主这里不再说明，更改完成后，依然，报错：WARN kafka.KafkaSink: The Property 'topic' is not set. Using the default t...

2019-04-20 13:44:11 660

原创 kafka启动报错： kafka.common.InconsistentBrokerIdException

kafka启动报错：FATAL Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer)kafka.common.InconsistentBrokerIdException: Configured broker.id 1 doesn't match stored broker....

2019-04-16 08:59:37 2888 3

原创使用winutils.exe，在windows开发环境下，调试下调试hadoop、spark程序

在使用idea开发，spark程序时，需要在开发环境模拟hadoop环境，不然，每次都要打jar去集群环境执行调试程序，严重影响开发效率。winutils.exe是在Windows系统上需要的hadoop调试环境工具，里面包含一些在Windows系统下调试hadoop、spark所需要的基本的工具类，下面说下具体使用;下载地址：https://download.youkuaiyun.com/d...

2019-03-23 17:15:45 13943

原创 Hive导入数据到分区中，报错及解决方法，Failed with exception MetaException(message:For direct MetaStore DB connections

使用hive导入数据到分区中报错如下：Failed with exception MetaException(message:For direct MetaStore DB connections, we don't support retries at the client level.)org.apache.hadoop.hive.ql.metadata.HiveException: M...

2019-03-11 11:30:22 5412 1

原创 java项目中日志分文件输出，log4j日志分离输出，

在开发项目时，日志往往需分离输出，比如，info,日志在一个文件中，erro信息在一个文件中，有的信息需要单独打到一个日志文件中，方便查询，比如，对外的接口，接受到的收据，报文，需要存下日志配置文件如下：log4j.rootLogger= ERROR, file, A1log4j.category.org.springframework = warnlog4j.appender.f...

2019-02-27 16:03:24 2026

原创 hbase学习笔记--shell操作

hbase 的shell操作：查看表（有哪些表）， list 命令1、创建表： 1、只指定列簇： #其中t1是表名，f1,f2,f3是列簇的名称：create 't1', {NAME => 'f1'}, {NAME => 'f2'}, {NAME => 'f3'}2、指定列簇和保留版本信息 # 创建了一个名为myHbase的表，表里面有1个列簇，名...

2019-02-25 14:47:55 253

原创 Restful规范--关于post请求，相关知识（结合SpringMVC）

今天在做接口测试是，突然懵逼了一下，关于请求参数使用postman ,测试接口，对方开发说使用json格式传输数据，我突然懵逼了。因为，我后台本来就是接受到字符串，然后，解析这个json字符串的，于是，打开postman测试工具，发现发送数据的几个选项，有form-data ，raw等，4个选项。如果，使用的是from-data这个选项，那么，其实是模拟表单提交的，后台的contr...

2019-02-22 15:13:14 4273

原创 shell脚本--ftp上传和sftp上传

使用shell脚本，上传文件到指定ftp服务器或者sftp服务器，代码如下：注意：第二个EOF,必须是顶格写，在一行的最开始位置，之前不可有空格，否则会报错核心代码如下：EOF 中，cd命令是操作远程机子上的，（ftp或者sftp）lcd是操作，本地机子上的命令：ftp服务器：#开发SFTP_HOST=10.19.105.122SFTP_PORT=21SFTP_US...

2019-02-22 10:49:07 6987

原创 hbase建表的异常bug：.RemoteException(java.io.IOException): ult/t1/5ad4f8bdcf65b535aa310647fc1cc860/.region

ERROR: java.util.concurrent.ExecutionException: org.apache.hadoop.ipc.RemoteException(java.io.IOException): ult/t1/5ad4f8bdcf65b535aa310647fc1cc860/.regioninfo could only be replicated to 0 nodes inst...

2019-02-21 18:52:25 521

原创踩坑--启动Hbse报错： Name or service not knownstname hadoop001

今天在启动Hbase 服务时，报错，Name or service not knownstname hadoop001，但是，在配置文件中已经，配置了Region Server，后面，想到可能是文件，格式有问题，是dos 不是unix 的因为，楼主使用了window环境编辑了该文件：vi regionservers;使用命令：set ff? 查看文件格式：set...

2019-02-17 14:22:50 1581 3

原创 Hive学习笔记，hive自定义函数的使用

本文参考自互联网，并进行结合后整理如下：Hive自定义函数，用于处理一些比较复杂的数据处理，比如有如下数据：27.19.74.143-[29/April/2016:17:38:20 +0800]-"GET /static/image/common/faq.gif HTTP/1.1"-200-1127110.52.250.126-[29/April/2016:17:38:20 +08...

2019-02-16 17:26:37 1420

原创 hive学习笔记--脚本化运行hive查询任务

使用shell脚本，运行hive命令：vi t_order_etl.sh （shell脚本）#!/bin/bashhive -e "select * from db_order.t_order"hive -e "select * from default.t_user"hql="create table default.t_bash as select * from db_ord...

2019-02-16 11:03:44 694

原创 Hive学习笔记，表的创建，删除与数据的导入导出

Hive建表：0 新建库：create database db_order;1、创建一般表：create table t_order(id string,create_time string,amount float,uid string)row format delimitedfields terminated by ',';2、创建带有特殊数据结构的表（字段有集...

2019-02-16 10:46:41 498

原创 hive学习笔记，hive内置函数的使用

Hive常用内置函数：1、类型转换函数，2、数学运算函数，3、字符串操作函数，4、时间操作函数5、表生成函数，6,、集合操作函数数，7、条件控制函数，8、json解析函数，9、分析函数（分组排序）其中： 1、类型转换函数包含：字符串转日期，字符串转int类型等操作 cast("2017-08-03" as date) ;cast("5" as int) ；...

2019-02-16 09:02:54 498

原创 Hive学习记录，使用 beeline 连接报错：No known driver to handle "jdbc:hive2//hadoop001:10000"

使用 beeline 连接 hiveServer2,报错No known driver to handle "jdbc:hive2//hadoop001:10000"楼主找了好多资料，并没有发现解决的方法，===》评论区给出的原因（补充一下，感谢！！）：==》抛出上面异常是因为"hive2//"中间少了个冒号而已。应该是"hive2://"但是，使用另一种连接方式...

2019-02-14 14:11:53 8678 8

原创 linux的常用文件操作cut ,awk，sed

cut命令;cut [选项] 文件名默认分割符是制表符选项： -f 列号：提取第几列 -d 分隔符：按照指定分隔符分割列eg:#cut -f 2 aa.txt 提取第二列默认是使用制表符切割（可以使用,隔开，指定提取多个列）eg:#cut -d ":" -f 1,3 /etc/passwd 以:分割，提取第1和第3列...

2019-01-24 13:38:29 552

原创 linux定时任务--Crontab定时任务使用

定时器--Crontab执行定时任务：执行命令：crontab -e 将定下的执行时间和命令，写入，保存退出即可。！！！！这里，注意！！！！注意：> 和 >> 的区别，> 会直接覆盖原文件到的内容，>> 是在原文件内容上进行追加内容一共5个星号，： crontab文件格式minute hour day-of-month ...

2019-01-24 09:54:10 239

原创使用maven将git下载的项目打包到本地仓库，安装项目到本地仓库

当我们从githup 上下载应用的项目后，需要引入其他工程中进行使用，此时，就需要将该项目打成jar包，安装到本地仓库中去，或者自己新建的jar工程，需要在其他工程引用，也需要将jar包，安装到本地仓库。如下演示;从github上下载项目代码，https://github.com/LeeKemp/UserAgentParser到开发环境Idea中，先执行如下操作，使得代码变为开发可编辑...

2019-01-15 13:27:59 2914 2

原创 springboot集成swagger

java的Web项目集成swigger后，可以方便的进行接口的测试，和传入参数，返回参数的审查。OpenAPI规范（OpenAPI Specification 简称OAS）是Linux基金会的一个项目，试图通过定义一种用来描述API格式或API定义的语言，来规范RESTful服务开发过程，目前版本是V3.0，并且已经发布并开源在github上。（https://github.com/OAI...

2019-01-15 10:17:51 489

空空如也

空空如也