u010824946的专栏

以jdk来举例，当我们需要 更高版本的jdk时，而默认的环境引用的是低版本的jdk，会引发如下错误： Exception in thread "main" java.lang.UnsupportedClassVersionError: com/iteblog/mobile/UserMobileInfo : Unsupported major.minor version 52.0 ...

1：spark运行过程中出现与driver链接异常，并存在磁盘读写一场:java.io.IOException: Failed to delete: /mnt/sd04/yarn/nm/usercache/hdfs/appcache/application_1570683010624_24827/blockmgr-24356fee-b578-49a1-8e97-9588d2d1180e...

最近碰到了一个问题，挺有意思，是在使用spark过程中需要用到pyspark，而本地接口机的python版本太低，只有python 2.6版本，需求需要python 2.7版本甚至python 3版本。但是在使用过程中不允许修改主机自带的python。怎么办呢。只能手动下载指定。其中又分为 anaconda 版本的python，还有直接python官网下载python包安装。其中ana

最近发现了一个做事很认真的做算法同事，身上很多优点值得我学习，推荐使用了一种360的开源工具，可以将tensoeflow提交至yarn里面。这个工具感觉解决了很多问题。我这个人比较懒，大部分工作都是我那个同事研究成功的，然后我坐享其成，等着验证结果。特此在这里将他的成果记录下来：参考网址:https://github.com/Qihoo360/XLearning/blob/master/R

问题现象：hive查询时生成了大量的map，损耗了过多的cpu资源，参数调配没有生效问题分析：hive的map数 是由设定的inputsplit size来决定，hive封装了hadoop给出了inputformat的接口，用于描述输入数据的格式，并交由hive.input.format参数所决定，其中包含了两种主要使用类型：1：HiveInputFormat 2：CombineH...