- 博客(47)
- 收藏
- 关注
RSS订阅原创 Flink on yarn Ask timed out
Internal server error., <Exception on server side: akka.pattern.AskTimeoutException:Ask timed out on [Actor[akka://flink/user/dispatcher#-1774235985]尝试过修改配置文件增加超时时长，笔者的原因是JDK版本 ，升级JDK版本即解决了问题...
2020-05-19 00:38:26
517
原创 FastJson Access to protected constructor TypeReference not permitted because enclosing object Kafka
报错Access to protected constructor TypeReference not permitted because enclosing object KafkaSourceSinkHive in package kafkaToHive is not a subclass of class TypeReference in package fastjson where ta...
2020-04-23 13:47:15
555
原创 DBeaver 连接phoenix出错：class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.
class org.apache.hadoop.security.JniBasedUnixGroupsMappingWithFallback not org.apache.hadoop.security.GroupMappingServiceProvider本人的问题是JDK的问题本人的问题是JDK的问题解决方案：修改dbeaver.ini文件，增加如下内容-vmC:/Program Fi...
2020-04-07 17:45:42
13183
7
原创 Maven 打包全依赖
```java <build> <plugins> <!--(start) for package jar with dependencies --> <plugin> <artifactId>maven-assembly-plugin&l...
2020-01-13 23:25:37
852
原创 SparkShuffle文件寻址以及Executor的内存管理
SparkShuffle文件寻址在说文件寻址的时候先介绍下面几个对象MapOutPutTracker：管理磁盘文件的对象 ， MapOutPutTrackerMasterMapOutPutTrackerWorkerBlockManager：块管理BlockManagerMaster：DiskStore:管理磁盘文件MemoryStore：管理内存数据BlockTransf...
2019-11-14 09:43:30
313
原创 SparkSortShuffle
在Spark2.3中已经没有HashShuffle了，只存在SortShuffle。流程： 一个task会先写往一个5M的内存缓冲区会有一个估算机制，假如下次写入需要5.2的内存，那么他会申请 2*估算-当前+当前 也就是这块内存会变为10.4 当mapTask申请不到内存的时候，就会易写磁盘在易写之前内存结构中的数据会进行排序分区，写入一个内存缓冲，一个batch一写，默认是1万条，形...
2019-11-14 08:38:40
242
原创 Spark调优
SparkShuffle 调优程序调优； 首先，尽量减少 shuffle 次数； //两次 shuffle rdd.map().repartition(1000).reduceByKey(+,3000) //一次 shuffleRdd.map().repartition(3000).reduceByKey(+) 然后必要时主动shuffle，通常用于改变并行度，提高后续分布式运行速度；r...
2019-11-14 00:15:21
208
原创 Error occurred when executing command: npm run serve
[0] Error occurred when executing command: npm run serve[0] Error: spawn cmd.exe ENOENT[0] at Process.ChildProcess._handle.onexit (internal/child_process.js:264:19)[0] at onErrorNT (interna...
2019-10-26 15:16:22
2829
原创 cnpm : 无法加载文件 C:\Users\crGod\AppData\Roaming\npm\cnpm.ps1，因为在此系统上禁止运行脚本
以管理员身份运行 VSCODE输入set-ExecutionPolicy RemoteSigned再次 cnpm install OK
2019-10-25 18:46:35
1234
原创 OS7 下 操作 VSFTPD命令
启动systemctl start vsftpd.service或者systemctl start vsftpd新版本中启动是没有提示的关闭service vsftpd stop3.查看是否开启service vsftpd statusisRunning表示开启状态...
2019-10-21 23:45:28
307
原创 执行yum install 报错http://mirrors.tuna.tsinghua.edu.cn/centos/6.9/os/x86_64/Packages/nspr-4.13.1-1.el6.
http://mirrors.tuna.tsinghua.edu.cn/centos/6.9/os/x86_64/Packages/nspr-4.13.1-1.el6.x86_64.rpm: [Errno 14] PYCURL ERROR 6 - "Couldn't resolve host 'mirrors.tuna.tsinghua.edu.cn'"Trying other mirror....
2019-10-21 23:42:30
1499
转载 Jsp 执行原理
1 jsp的原理1 web容器通过jsp引擎将jsp先转换为java源文件;2 再把java源文件通过javac编译为class文件;3 最后,web容器通过类加载器把class文件载入内存,响应给客户端;2 JSP执行过程：1）首先，客户端发出请求(request )，请求访问JSP网页2）接着，JSPContainer将要访问的.JSP文件转译成Servlet...
2019-10-18 14:36:27
332
原创 spring boot整合Quartz 在Job类中注入其他对象报空指针异常java.lang.NullPointerException at com.sxt.quartz.QuartzDemo.e
情况在Job 类中注入RedisTemplate 报空指针异常原因：我们使用JobDetailFactoryBean 帮我们创建对象 实际上调用的是AdaptableJobFactory 下的这个方法，通过反射创建的那么我们这个对象的实例化就没有经过Spring的处理，也就不再IOC容器当中，因为Spring要求注入的对象和被注入的对象必须都要在IOC容器中解决：我们可以创建一个类继承...
2019-10-15 21:58:56
689
原创 Hive的安装 ---元数据保存在mysql的方式以及整合HBASE
Hive的安装 —元数据保存在mysql的方式以及整合HBASE1.安装mysqlyum install mysql-server2.启动mysql 服务service mysqld start3.mysql安装完成之后只允许本机访问 需要修改权限 在mysql库下的user报表可以查看修改mysql权限：允许所有地址访问GRANT ALL PRIVILEGES ON . TO ‘...
2019-10-09 11:13:41
225
原创 解决原子性问题
原子性问题原子性问题的源头是线程切换，如果能够禁用线程切换就可以解决原子性的问题，而操作系统做线程切换是依赖CPU中断的，所以禁用CPU发送中断就可以禁止线程切换。在单核时代很容易实现：但是在多核场景下，同一时刻有可能有两个线程同时在执行，一个线程执行在CPU1上，一个线程执行在CPU2上，此时禁止CPU中断，只能保证COU上的线程连续执行，并不能保证同一时刻只有一个线程执行。同一时刻只有一...
2019-09-27 19:25:01
324
原创 用synchronize实现等待-
java语言里，等待-通知机制可以有多种实现方式，比如java语言内置的synchronize配合 wait，notify，notifyAll 这个三个方法就可以实现下图中：左边有一个等待队列，同一时刻，只允许一个线程进入synchronize临界区，当一个线程进入临界区之后，其他的线程只能在左边等待队列里等待。这个等待队列和互斥锁是一对一的关系，每个互斥锁都有自己独立的等待队列在并发程序...
2019-09-27 19:23:59
246
原创 volatile
VolatileVolatile关键字并不是java语言的特产，古老的C语言也有，它最原始的意义就是禁用CPU缓存。我们先开下面一个列子我们只用volatile关键字修饰了布尔类型的V，在执行write的方法时会将变量“V=true”写入内存，那么我们执行reader方法的时候，会从内存中读取变量v，V=true，那么此时变量X的值是多少呢？这个要看java版本，如果在低于1.5版本上运...
2019-09-27 19:23:28
183
原创 hive执行sql报错FAILED: ParseException line 1:50 character ' ' not supported here
select user_id, (t1.s-t2.low_carbon)/t3.low_carbon from(select user_id,sum(low_carbon)sfrom atguigu.user_low_carbon where date_format(regexp_replace(data_dt,"/","-"),"yyyy-MM") < "2017-10"group ...
2019-09-26 19:50:01
2131
原创 hive Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083
org.apache.thrift.transport.TTransportException: Could not create ServerSocket on address 0.0.0.0/0.0.0.0:9083. at org.apache.thrift.transport.TServerSocket.<init>(TServerSocket.java:109) at o...
2019-09-25 08:50:09
745
原创 SparkSession中出现Exception in thread "main" java.lang.AbstractMethodError
spark core 和 spark sql ,spark streaming 版本不一致的问题
2019-09-21 16:32:08
410
原创 Kafka 关闭失败 No kafka server to stop
使用bin 目录下的./kafka-server-stop.sh 出现No kafka server to stop将PIDS=$(ps ax | grep -i ‘kafka.Kafka’ | grep java | grep -v grep | awk ‘{print $1}’)修改为PIDS=$(jps -lm | grep -i ‘kafka.Kafka’ | awk ‘{pri...
2019-09-19 20:16:53
1516
原创 Caused by: java.lang.ClassNotFoundException: backtype.storm.topology.IRichSpout
java.lang.NoClassDefFoundError: backtype/storm/topology/IRichSpout at java.lang.Class.getDeclaredMethods0(Native Method) at java.lang.Class.privateGetDeclaredMethods(Class.java:2701) at java.lang.C...
2019-08-12 15:14:29
276
原创 安装CDH
1.需要完成本地的基本配置网络配置JDK免密钥安装配置mysql下载第三方依赖包 yum install -y chkconfig python bind-utils psmisc libxslt zlib sqlite cyrus-sasl-plain cyrus-sasl-gssapi fuse fuse-libs redhat-lsb2.安装 Cloudera Manager ...
2019-08-09 22:16:38
188
1
原创 CDH仅完成 0/3 个步骤。首个失败：主机 node6 (id=2) 上的客户端配置 (id=1) 已使用 1 退出，而预期值为 0。
CDH仅完成 0/3 个步骤。首个失败：主机 node6 (id=2) 上的客户端配置 (id=1) 已使用 1 退出，而预期值为 0javaHome出现了问题AVA_HOME并不是根据环境变量来获取，而是在它列举的几个目录下寻找，创建软连接ln -s /usr/java/jdk /usr/java/default所有节点都需要这样做一下即可解决问题...
2019-08-09 21:41:41
2713
原创 ssh-copy-id node6 ERROR: No identities found
ssh-copy-id node6 ERROR: No identities found原因：缺少公钥路径 ssh-copy-id -i ~/.ssh/id_dsa.pub user@ip
2019-08-09 14:41:28
529
原创 解决Navicat连接linux下mysql数据库卡顿的问题
解决Navicat连接linux下mysql数据库卡顿的问题进去到 etc目录下vi my.cnf添加 skip-name-resolve 取消名臣检测
2019-08-05 11:30:39
1159
原创 Hive连接beeline报错没有权限
Permission denied: user=anonymous, access=EXECUTE, inode="/tmp":root:supergroup:drwx------由于Hive没有hdfs:/tmp目录的权限，赋权限即可：hdfs dfs -chmod -R 777 /tmp
2019-07-24 10:06:35
1264
转载 hadoop
版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.youkuaiyun.com/gwd1154978352/article/details/81095592一.hadoop是什么Hadoop被公认是一套行业大数据标准开源软件，在分布式环境下提供了海量数据的处理能力。几乎所有主流厂商都围绕Hadoop开发工具、开源软件、商业化工具和技术服务。今年大型IT公司，如EMC、Micr...
2019-07-11 22:38:46
131
原创 SpringBoot整合solr集群版
1.引入Maven坐标 <!-- solr--> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-data-solr<...
2019-07-04 14:08:00
1046
原创 Caused by: java.lang.IllegalStateException: Ambiguous mapping. Cannot map 'com.ali.serveice.Consumer
Caused by: java.lang.IllegalStateException: Ambiguous mapping. Cannot map ‘com.ali.serveice.ConsumerTrade’ methodpublic abstract void com.ali.service.TradeService.add(com.ali.pojo.Trade)原因在controll...
2019-06-22 16:29:33
501
原创 java.lang.NoSuchMethodError: org.springframework.boot.builder.SpringApplicationBuilder.<init>([Ljava
14:41:36.788 [main] ERROR org.springframework.boot.SpringApplication - Application run failedjava.lang.NoSuchMethodError: org.springframework.boot.builder.SpringApplicationBuilder.<init>([Ljava...
2019-06-22 14:44:34
805
原创 SpringBoot2.0x整合TurBine遇到的坑！！
1.原本整合的时候情况如下：无论怎么尝试一直ping不到数据，后面发现SpringBoot 2.0之后需要多配置一些东西：这个版本默认路径不是/hystrix.stream,而turbine默认路径是这个,所以要修改一下,可以有两种修改方式:@Configurationpublic class A { @Bean public ServletRegistrationBean...
2019-06-20 21:45:44
1396
1
翻译 SpringBoot2.x优雅关机
1.POM文件 <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-actuator</artifactId> </dependency>...
2019-06-17 20:40:40
1133
原创 com.fasterxml.jackson.databind.exc.InvalidDefinitionException: Cannot construct instance of `com.ali
There was an unexpected error (type=Internal Server Error, status=500).Type definition error: [simple type, class com.ali.eurekaprovider.pojo.User]; nested exception is com.fasterxml.jackson.databind...
2019-06-17 16:15:08
1071
原创 There was an unexpected error (type=Method Not Allowed, status=405). Request method 'PUT' not suppor
**如图 在Controller中声明的PutMapping 但还是报错不持支Put请求 **检查了大半天最后发现少了一个斜杠 / 加上即可解决
2019-06-13 11:15:05
2003
翻译 org.springframework.orm.jpa.JpaSystemException: No default constructor for entity: : com.ali.archit
org.springframework.orm.jpa.JpaSystemException: No default constructor for entity: : com.ali.architect.pojo.T_User; nested exception is org.hibernate.InstantiationException: No default constructor fo...
2019-06-12 16:41:18
402
原创 org.thymeleaf.exceptions.TemplateInputException: Error resolving template [index.html], template mig
在学习SpringBoot的时候报错org.thymeleaf.exceptions.TemplateInputException: Error resolving template [index.html], template might not exist or might not be accessible by any of the configured Template Resolve...
2019-06-11 18:52:14
1401
原创 SpringBoot遇到找不到Mapper映射文件的问题
1.如果你注解都检查过了,并且你用的IDEA,那么可以能是在打包后的目录中没有xml文件,在pom文件中加入如下内容即可<resources> <resource> <directory>src/main/java</directory> <include...
2019-06-10 16:31:17
5464
转载 Circular view path [ok]: would dispatch back to the current handler URL [/user/ok] again. Check your
最近在学习SpringBoot的时候遇到：Circular view path [ok]: would dispatch back to the current handler URL [/user/ok] again. Check your ViewResolver setup! (Hint: This may be the result of an unspecified view, due ...
2019-06-10 15:56:03
1466
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人