- 博客(26)
- 收藏
- 关注
RSS订阅原创 解决IntelliJ IDEA 控制台中文乱码问题
解决方法： Help->Edit Custom VM OPtions中加 -Dfile.encoding=utf-8，重启idea参考：https://blog.youkuaiyun.com/qq_39136928/article/details/81240894
2020-06-10 12:49:15
451
原创 安装pip报错解决
目录1.pip安装过程中发生如下错误：2.解决办法： 1.获取具体版本的pip，我本机为2.6.6 2.运行刚才获取的pip文件1.pip安装过程中发生如下错误：_blocking_errnos = {errno.EAGAIN, errno.EWOULDBLOCK}2.解决办法： 1.获取具体版本的pip，我本机为2.6.6 ...
2019-06-10 16:38:14
998
原创 解决"com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2"
目录问题描述：问题原因：解决方法：问题描述： 开发环境为spark2.0 运行sparksql时发生如下错误： com.fasterxml.jackson.databind.JsonMappingException: Incompatible Jackson version: 2.9.2 at com.fasterxml.jac...
2019-04-24 16:28:25
2835
转载 解决:Intellij idea导入MyEclipse Web项目时,服务器搭建运行正常,但无法访问WebRoot下的页面
转自：https://blog.youkuaiyun.com/qq_38887189/article/details/74790622目录 问题描述： 解决办法：问题描述： SpringMVC项目报错:java.io.FileNotFoundException: Could not open ServletContext resource [/WEB-INF/x...
2019-04-15 17:06:01
1022
转载 Spark 优化
本文转自：https://blog.youkuaiyun.com/ainidong2005/article/details/53141822 目录1、引言2、数据序列化3、内存优化4、其他建议官网地址：http://spark.apache.org/docs/latest/tuning.html1、引言提到Spark与Hadoop的区别，基本最常说的就是Spark采用基于内...
2018-08-13 19:43:50
190
原创 gradle 解决依赖冲突
1.查看依赖关系 gradle XXX:dependencies. XXX表示你想打印的module的name 2.使用传递(transitive)\排除(exclude)\强制(force)解决冲突：compile('org.hibernate:hibernate:3.1') { // 冲突时优先使用该版本 force = true// 依据构建名称排除//exclude modul...
2018-05-20 21:54:07
2212
原创 ambari 出现“Filedescriptor out of range in select”的错误解决
问题描述： yarn有一个节点无法启动，并且ambari有错误信息“Filedescriptor out of range in select”问题原因： 经查找分析，怀疑可能是某个进程打开文件句柄数量过多导致。解决方案： 使用命令lsof|awk '{print $2}'|sort|uniq -c|sort -nr|more ，找到打开文件句柄最大的进程，发现是amb...
2018-04-21 00:28:33
1939
原创 Anaconda安装错误“faild to add anaconda to the system path” 解决
Anaconda安装快要结束时报错 “faild to add anaconda to the system path”，通过搜索发现可能是安装路径有问题，因此按照默认路径进行安装，问题得到解决，在此做个简单记录。参考：1.https://blog.youkuaiyun.com/Debatrix/article/details/56024008...
2018-04-20 23:27:36
5292
转载 Spark写ES的遇到的坑
本文转自：https://blog.youkuaiyun.com/u013709270/article/details/70132756完整的项目：https://github.com/JeemyJohn/SparkToEs.git 由于项目需要，最近搞Spark Streaming做数据分析，并最终将分析完的数据写入ElasticSearch。我们项目使用的是Spark 2.1.0，而我们公...
2018-04-19 11:22:41
2741
1
转载 Java8中计算日期时间差
一.简述在Java8中，我们可以使用以下类来计算日期时间差异：1.Period2.Duration3.ChronoUnit二.Period类主要是Period类方法getYears（），getMonths（）和getDays（）来计算.示例:package insping;import java.time.LocalDate;import java.time.Month;import ...
2018-04-12 23:23:20
1008
原创 解决hdfs SNameNode 无法启动
问题描述:hdfs SNameNode 无法启动,报错信息如下： java.io.FileNotFoundException: /stderr (Permission denied) 解决方法: 1.修改/stderr,/stdout权限为755 2.权限解决后有部分错误信息入到stderr,发现50090端口被占用，关掉占用的程序,重启SNameNode即可...
2018-02-27 23:28:08
1109
原创 sparkStreaming消费kafka时发生"java.lang.NoSuchMethodError: net.jpountz.util.Utils.checkRange"的解决办法
问题描述：开发环境为spark2.0 + kafka0.8，spark-streaming-kafka-0-8-assembly_2.11.jarsparkStreaming消费kafka时遇到如下错误： 18/02/27 10:19:17 WARN ReceiverSupervisorImpl: Reported error Error handling message; exiting - j...
2018-02-27 23:03:35
2386
转载 Linux系统下安装rz/sz命令及使用说明
对于经常使用Linux系统的人员来说，少不了将本地的文件上传到服务器或者从服务器上下载文件到本地，rz / sz命令很方便的帮我们实现了这个功能，但是很多Linux系统初始并没有这两个命令。今天，我们就简单的讲解一下如何安装和使用rz、sz命令。1.软件安装（1）编译安装root 账号登陆后，依次执行以下命令：1cd /tmp
2018-02-01 13:05:45
206
原创 Hdfs java API 使用注意
1.添加jar包 org.apache.hadoop.hadoop-hdfsorg.apache.hadoop.hadoop-common2.相关配置方法1:拷贝core-site.xml和hdfs-site.xml到当前工程下resources目录方法2:配置 fs.defaultFS(旧版本为:fs.default.name)如：Co
2017-11-04 11:33:24
272
转载 Azkaban的AJAX的RestFul接口调用事例
转自：http://blog.youkuaiyun.com/qq_20641565/article/details/72379506azkaban是一个开源的调度工具,可能需要自己修改源码或者自己调用azkaban后台提供的restFul接口进行定制化的开发,在azkaban的官方文档上有接口的详细文档,具体参考:http://azkaban.github.io/azkaban/docs/latest
2017-10-28 08:56:04
738
转载 spark 应用程序性能优化｜12 个优化方法
原文：http://litaotao.github.io/boost-spark-application-performance写在前面本系列是综合了自己在学习spark过程中的理解记录 ＋ 对参考文章中的一些理解 ＋ 个人实践spark过程中的一些心得而来。写这样一个系列仅仅是为了梳理个人学习spark的笔记记录，所以一切以能够理解为主，没有必要的细节就不会记录了
2017-09-29 23:12:27
587
原创 IDEA Maven Project 视图找不到解决
尝试使用以下两种方式打开： 方法1.File - Settings - Plugins - Maven Integration 方法2.View -> Tool Windows > Maven Projects
2017-09-26 10:32:35
27811
5
转载 Spark Q&A : Spark利用databricks读取CSV文件报错 CSVFormat NoClassDefFoundError
原文链接：http://blog.youkuaiyun.com/edin_blackpoint/article/details/72638015Q: Spark使用databricks进行csv文件读取的时候报错java.lang.NoClassDefFoundError: org/apache/commons/csv/CSVFormat,找不到对应的CSVFormat类.A: 根据kevin
2017-09-21 15:32:08
1043
原创 Ambari Server安装失败解决
1.问题描述： Ambari Server启动失败,通过ambari-server.log发现如下信息： 10 Jul 2017 12:22:57,596 ERROR [main] DBAccessorImpl:106 - Error while creating database accessor com.mysql.jdbc.e
2017-07-12 13:03:26
1730
原创 Ambari 安装agent失败解决
1.问题描述： Ambari 安装agent失败,通过ambari-server.log发现如下信息： 1. error： 12 Jun 2017 18:11:26,144 ERROR [qtp-ambari-client-87] AbstractResourceProvider:280 - Caught AmbariException when creating a resour
2017-06-14 17:55:50
8290
转载 Spark性能优化指南——高级篇
文章转自：http://tech.meituan.com/spark-tuning-pro.html前言继基础篇讲解了每个Spark开发人员都必须熟知的开发调优与资源调优之后，本文作为《Spark性能优化指南》的高级篇，将深入分析数据倾斜调优与shuffle调优，以解决更加棘手的性能问题。数据倾斜调优调优概述有的时候，我们可能会遇到大数据计算中一个最棘手
2017-06-01 13:15:26
445
转载 Spark性能优化指南——基础篇
前言在大数据计算领域，Spark已经成为了越来越流行、越来越受欢迎的计算平台之一。Spark的功能涵盖了大数据领域的离线批处理、SQL类处理、流式/实时计算、机器学习、图计算等各种不同类型的计算操作，应用范围与前景非常广泛。在美团•大众点评，已经有很多同学在各种项目中尝试使用Spark。大多数同学（包括笔者在内），最初开始尝试使用Spark的原因很简单，主要就是为了让大数据计算作业的执行速
2017-05-19 12:56:08
318
原创 spark on yarn运行产生缺jar包错误及解决办法
1.问题描述：使用spark 集成elasticSearch时，--jars 来添加依赖的jar包，使用local模式程序正常，使用yarn模式时会出现找不到jar包的情况。报错信息如下： 1.java.lang.NoSuchMethodError: com.google.common.util.concurrent.MoreExecutors.directExecuto
2017-05-05 23:21:44
3975
原创 解决elasticsearch -在Hive external table 无法读取 date 字段
1.问题描述 对于@timestamp字段，在es中类型为date，创建hive外表时如果使用类型仍为date,操作时会报如下错误 Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.ap
2017-04-24 19:31:38
2852
原创 解决 Failed to get schema version when starting Hive Metastore Service
1.启动Hive Metastore 时，报错信息如下resource_management.core.exceptions.Fail: Execution of 'export HIVE_CONF_DIR=/usr/hdp/current/hive-metastore/conf/conf.server ; /usr/hdp/current/hive-metastore/bin/schemat
2017-04-19 14:22:38
12129
3
转载 Hive如何添加第三方JAR
以加入elsaticsearch-Hadoop-2.1.2.jar为例，讲述在Hive中加入第三方jar的几种方式。1，在hive shell中加入[java] view plain copy[hadoop@hadoopcluster78 bin]$ ./hive Logging initialized using config
2017-04-19 10:38:35
5222
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人