- 博客(64)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 电商创业三年后失败了，现在又重新回来做程序了！人生如梦!想凭一己之力突破层级的禁锢太难了！！！
18年从电信研究院辞职，风风火火和小伙伴到深圳开公司创业。如今三年已过，没赚到钱，这三年来，没有休息过一天！！！还是打工好啊！
2021-07-22 23:15:11
147
转载 hbase的过滤 Filter 之SingleColumnValueFilter
scan的操作：hbase(main):002:0> scan 'scores'ROW COLUMN+CELL zkb ...
2018-08-05 08:39:59
1209
转载 HBase内置过滤器的一些总结
HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选的数据能够细化到具体的一个存储单元格上（由行键，列明，时间戳定位）。通常来说，通过行键，值来筛选数据的应用场景较多。 1. RowFilter：筛选出匹配的所有的行，对于这个过滤器的应用场景，是非常直观的：使用BinaryCompara...
2018-08-05 08:39:28
314
转载 实现表单form提交前进行确认提示 表单提交 确认对话框
博主文章https://blog.youkuaiyun.com/lanmanck/article/details/46355709
2018-08-04 15:53:37
6345
转载 java用POI操作excel——随便写一下，最基础的东西
前两天部门实施在做一个东西，需要把客户放在Excel中的数据导入到Oracle数据库中，我就想着直接写一个模板，必要的时候改一下实体类应该可以解放实施同事的双手，不过在实际写的过程中，还是碰到很多问题，最需要解决的应该是数据类型的问题。首先说一下和POI相关的导入和导出，这也是在实际应用中用的最多的部分，如果后续有时间话，我会把包括jdbc操作Oracle的代码也贴上来，以后用的时候直接来博客...
2018-08-03 15:13:25
295
转载 windows下调用系统命令 CreateProcess error=2, ϵͳÕҲ»µ½ָ¶
代码如下String makeDir = "md " + dirName;Runtime.getRuntime().exec(makeDir);1 2报错 CreateProcess error=2, ϵͳÕҲ»µ½ָ¶解决办法： String makeDir = “cmd.exe /C md ” + dirName;...
2018-07-28 11:49:15
1592
转载 Eclipse各版本代号一览表以及官网上有很多版本的eclipse，下载哪个版本比较合适呢？
Eclipse各版本代号一览表Eclipse的设计思想是：一切皆插件。Eclipse核心很小，其它所有功能都以插件的形式附加于Eclipse核心之上。Eclipse基本内核包括：图形API（SWT/Jface），Java开发环境插件（JDT），插件开发环境（PDE）等。官网下载地址：http://www.eclipse.org/downloads/packages所有版本列表：...
2018-07-27 17:08:14
21054
转载 hive入门学习：join的三种优化方式
hive入门学习：join的三种优化方式 hive在实际的应用过程中，大部份分情况都会涉及到不同的表格的连接，例如在进行两个table的join的时候，利用MR的思想会消耗大量的内存，良妃磁盘的IO，大幅度的影响性能，因为shuffle真的好令人担心啊，总之，就是各种问题都是由他产生的。下面介绍一下涉及hive在join的时候的优化方式。 第一：在map...
2018-07-11 15:12:37
609
转载 B、Bit、Byte、KB、MB(M)、GB(G)、分别指的是什么？都是一些单位，容易混淆
bit (binary digit) 位 位是计算机数据中最小单元。位的值只会是0或1。虽然计算机也提供对位的判断和操作，但是计算机指令一般以字节为单位。在大多数的计算机系统中，八位是一个字节。一位的值通常以存储电容是否带电来衡量。 半个字节在英语中叫nibble。在一些系统中，octet代表8位，而不用字节；而在另一些系统中，octets组成32位字，在这些系统中，指令长度以全字（32位）或半字...
2018-07-11 14:26:13
17768
转载 Hive中的数据倾斜（转载）
1. 什么是数据倾斜mapreduce中，相同key的value都给一个reduce，如果个别key的数据过多，而其他key的较少，就会出现数据倾斜。通俗的说，就是我们在处理的时候数据分布的不均，导致了数据大量集中在某一点。造成了数据的热点。其实在mapreduce分析的时候最怕的就是数据倾斜，通常会出现下面的情况：map阶段处理比较快，reduce阶段处理比较慢。其实reduce阶段不应该很慢，...
2018-07-10 17:43:58
196
转载 Scala中的Map使用例子
Map结构是一种非常常见的结构，在各种程序语言都有对应的api，由于Spark的底层语言是Scala，所以有必要来了解下Scala中的Map使用方法。（1）不可变Map特点：api不太丰富如果是var修饰，引用可变，支持读写如果是val修饰，引用不可变，只能写入一次值，其后只读var a:Map[String,Int]=Map("k1"->1,"k2"->2)//初始化构造函数 ...
2018-06-12 10:46:24
1042
转载 Java并发编程：线程池的使用
Java并发编程：线程池的使用 在前面的文章中，我们使用线程的时候就去创建一个线程，这样实现起来非常简便，但是就会有一个问题： 如果并发的线程数量很多，并且每个线程都是执行一个时间很短的任务就结束了，这样频繁创建线程就会大大降低系统的效率，因为频繁创建线程和销毁线程需要时间。 那么有没有一种办法使得线程可以复用，就是执行完一个任务，并不被销毁，而是可以继续执行其他的任务？ 在Java中可以...
2018-06-08 17:21:22
199
转载 Parquet与ORC：高性能列式存储格式（转）
背景随着大数据时代的到来，越来越多的数据流向了Hadoop生态圈，同时对于能够快速的从TB甚至PB级别的数据中获取有价值的数据对于一个产品和公司来说更加重要，在Hadoop生态圈的快速发展过程中，涌现了一批开源的数据分析引擎，例如Hive、Spark SQL、Impala、Presto等，同时也产生了多个高性能的列式存储格式，例如RCFile、ORC、Parquet等，本文主要从实现的角度上对比分...
2018-06-03 15:51:02
537
转载 Java判断坐标点是否在片区内—代码备份
package com.sun4j.module.util;import com.daoles.module.entity.Area;import com.daoles.module.entity.AreaInfo;import com.daoles.module.service.AreaInfoService;import com.daoles.module.service.AreaServic...
2018-06-01 14:25:03
494
原创 win10更新后ping不通centos的虚拟机的原因
最大的一个原因就是不在同一个网段上面了如我的win10是但是我的虚拟机的网段是192.168.216.1解决的办法就是从vmware中，选择菜单：edit->virtual network editor，选择nat，点击左下角的”restore Default“，然后就正常了。...
2018-05-31 21:22:13
1684
转载 matplotlib绘图基础(转)
http://blog.youkuaiyun.com/pipisorry/article/details/37742423matplotlib介绍 matplotlib 是python最著名的绘图库，它提供了一整套和matlab相似的命令API，十分适合交互式地进行制图。而且也可以方便地将它作为绘图控件，嵌入GUI应用程序中。它的文档相当完备，并且Gallery页面 中有上百幅缩略图，打开之后都...
2018-05-23 21:46:03
368
转载 Jupyter Notebook 的快捷键
Jupyter Notebook 的快捷键Jupyter Notebook 有两种键盘输入模式。编辑模式，允许你往单元中键入代码或文本；这时的单元框线是绿色的。命令模式，键盘输入运行程序命令；这时的单元框线是灰色。命令模式 (按键 Esc 开启)Enter : 转入编辑模式Shift-Enter : 运行本单元，选中下个单元Ctrl-Enter : 运行本单元Alt-Enter : 运行本单元，在...
2018-05-20 21:02:47
189
转载 java借助PriorityQueue实现小根堆和大根堆
首先，明确概念：堆是一种经过排序的完全二叉树，其中任一非终端节点的数据值均不大于（或不小于）其左孩子和右孩子节点的值。根结点(亦称为堆顶)的关键字是堆里所有结点关键字中最小者的堆称为小根堆。 根结点(亦称为堆顶)的关键字是堆里所有结点关键字中最大者，称为大根堆。借助类PriorityQueue 可以实现小根堆和大根堆。对于PriorityQueue ，观察帮助文档，可以发现，这是jdk1.5以后引...
2018-05-16 13:58:40
2397
转载 解决：Exception java.lang.SecurityException: class "javax.servlet.FilterRegistration"
异常说明java.lang.SecurityException: class “javax.servlet.FilterRegistration“‘s signer information does not match signer information of other classes in the same package解决误区在ideal中运行本地spark出现class “javax....
2018-05-15 11:29:32
692
转载 Scala版本冲突--java.lang.NoSuchMethodError:scala.collection.immutable.HashSet$.empty()Lscala/collection/
问题描述Run 代码的时候报错Exception in thread "main" java.lang.NoSuchMethodError:scala.collection.immutable.HashSet$.empty()Lscala/collection/immutable/HashSet;1解决办法将Scala2.11.x更换为Scala2.10.x操作如下:File –> Othe...
2018-05-15 11:18:29
3612
转载 Python——Django配置问题1：syncdb
Python——Django配置问题1：syncdb在配置完数据库mysite/settings.py后，通常需要运行python manage.py syncdb为数据库中每个应用建立一个数据库表。 然而如果你安装的Django Version >= 1.9，那么会出现如下问题：gzxultra@gzxultraPC:~/django_try/mysite$ python manage.p...
2018-05-14 20:15:21
333
转载 Scrapy运行ImportError: No module named win32api错误
windows系统上出现这个问题的解决需要安装Py32Win模块，但是直接通过官网链接装exe会出现几百个错误，更方便的做法是pip install pypiwin32
2018-05-13 16:40:07
84
转载 centos下安装pip时失败
centos下安装pip时失败：[root@wfm ~]# yum -y install pipLoaded plugins: fastestmirror, refresh-packagekit, securityLoading mirror speeds from cached hostfile* base: mirrors.tuna.tsinghua.edu.cn* extras: mirro...
2018-05-07 13:06:04
423
原创 yum clean all 给自己挖的大坑！！！！！！！！
执行yum clean all 之后按照网上一堆大神的方法，接着执行 rpm --rebuilddb这个命令然后我发现执行完之后。。还是报错！！！！！如果没报错的不用理，报错的话。。。在必应上面找到了这一篇文章https://discuss.pivotal.io/hc/en-us/articles/217763087--Error-requested-datatype-primary-not-av...
2018-05-07 12:03:27
29411
7
转载 如何修改CentOS默认yum源为国内yum镜像源
有时候CentOS默认的yum源不一定是国内镜像，导致yum在线安装及更新速度不是很理想。这时候需要将yum源设置为国内镜像站点。国内主要开源的开源镜像站点应该是网易和阿里云了。修改CentOS默认yum源为mirrors.163.com1、首先备份系统自带yum源配置文件/etc/yum.repos.d/CentOS-Base.repo1[root@localhost ~]# mv /etc/y...
2018-05-07 09:54:55
281
转载 YARN, MR History Server和Spark History Server
YARN, MR History Server和Spark History Server三者的区别:今天听到有人说, "Yarn自带的History Server"如何如何之类的。看来还有很多人把history server当做是为YARN的应用提供服务的功能。所以我想，还是有必要梳理一下YARN, YARN中的history server，以及spark的history server。YARN是...
2018-05-02 17:55:50
443
原创 关于java字符串格式化：String.format()方法的使用
今早在公司看到一个format的使用，感觉不熟悉，特地去试了一下可以发现，这些参数是对应后面的字符的，简单明了。。附上转载的一个说明常规类型的格式化String类的format()方法用于创建格式化的字符串以及连接多个字符串对象。熟悉C语言的读者应该记得C语言的sprintf()方法，两者有类似之处。format()方法有两种重载形式。l format(String format, Obj...
2018-04-27 10:18:48
195
转载 mysql截取字符串substring_index(str,oat,index)
category_search_name类似如下0-123:服装鞋帽 0-123-137-202:服装鞋帽-0速食品-0方便面第一个-与第二个-(:)之间的数为一级类目ID（123） substring_index(substring_index(substring_index(category_search_name, '-', 2), '-', -1), ':',1)s...
2018-04-23 14:28:52
328
转载 运行Maven项目时出现invalid LOC header (bad signature)错误
说明Jar包出现了问题。那么接下来就要找哪个jar包出现了问题：方法1、可通过右击项目名 -> Run as -> Maven test ，这时控制台会报哪个jar包出错。 （也可以打开DOS命令窗口，切换至项目目录，运行mvn test命令，和Eclipse的控制台输出信息一致）方法2、如果方法1未出现任何错误信息，那么就使用笨办法。打开项目中的pom.xml文件，在自己的Mave...
2018-04-12 21:18:05
3567
转载 快速失败(fail-fast)和安全失败(fail-safe)（最容易懂！！！）
一：快速失败（fail—fast） 在用迭代器遍历一个集合对象时，如果遍历过程中对集合对象的内容进行了修改（增加、删除、修改），则会抛出Concurrent Modification Exception。 原理：迭代器在遍历时直接访问集合中的内容，并且在遍历过程中使用一个 modCount 变量。集合在被遍历期间如果内容发生变化，就会改变modCount的值。每...
2018-04-04 09:05:55
194
转载 java静态与非静态区别
这里的静态，指以static关键字修饰的，包括类，方法，块，字段。非静态，指没有用static 修饰的。静态有一些特点：1.全局唯一，任何一次的修改都是全局性的影响2.只加载一次，优先于非静态3.使用方式上不依赖于实例对象。4.生命周期属于类级别，从JVM 加载开始到JVM卸载结束。可参考 ：http://blog.youkuaiyun.com/zhandoushi1982/article/details/8...
2018-03-31 20:20:33
147
原创 逆序对问题 ---面试题
package second;import java.util.ArrayList;import java.util.Arrays;import java.util.Iterator;import java.util.List;public class LeftBRight { public static void smallsSum(int []arr) { if(arr==null ...
2018-03-31 11:17:28
302
转载 什么是序列化，为什么要序列化
转自：网络--（忘记从哪看到的了）整理：Bob在学习分布式计算的时候，老师上课提到序列化这个概念。当时有些懵逼，不知道什么是序列化，下来查了一下，原来在Java里面，序列化就是和Serializable接口相关的东西。以下是我从网上找到的关于，什么是序列化，为什么要序列化解释的比较好的一篇博文。====================================================...
2018-03-22 16:05:54
632
转载 scala通过mkString方法把一个集合转化为一个字符串
Problem 如果你想要把集合元素转化为字符串，可能还会添加分隔符，前缀，后缀。Solution 使用mkString方法来打印一个集合内容，下面给一个简单的例子：scala> val a = Array("apple", "banana", "cherry")a: Array[String] = Array(apple, banana, cherry)scala>...
2018-03-20 15:09:04
3197
转载 ！！scala 【经典】一步一步推导！！高阶函数，类型推断
[sql] view plain copy--函数返回函数 scala> def fun1(name1:String) = (name2:String) => println(name1+" "+name2) fun1: (name1: String)String => Unit --等号=左边是函数，右边返回值是匿名函数。函数返回函数 scala> val...
2018-03-19 16:14:28
245
原创 关于hbase的hmaster启动不了的问题
我刚开始出现的是zookeeper的数据没有了于是我过去看zookeeper的数据发现数据是存在的。。然后应该不是这个问题我又去看hmaster的log发现是没能split接着看到了这个大哥的分析我看了一下我的磁盘空间。。果然是满了。。然后把一些remove掉在启动。。成功！！分享给大家...
2018-03-11 20:22:34
1925
原创 在xshell中远程打开服务器的图形界面的方法
刚开始用的是secureCRT,百度。。。好多步骤。。改用为xshellxshell去官网下个教育版的就行免费。。。安装好后。如下我们在启动的时候记得把这里选上，然后。。在下载需要的包。。必须先安装“xorg-x11-xauth”软件包。yum install xorg-x11-xauth）服务器要没有桌面环境，会报如下错误[17:18:41] Start timer (TIMER_SHUTDOW...
2018-03-10 18:59:47
56031
原创 tomcat端口改成80，localhost页面无法打开
这个问题，嗯。。折磨了好久。。。解决方法如下1、确认80端口没有被其它应用占用2、确认tomcat使用root用户启动的，因为非root用户不能使用低于1024的端口。...
2018-03-10 11:45:24
2602
转载 Maven查看JAR包的依赖关系
如果是用命令行，可进入项目所在目录，然后输入： mvn dependency:tree ，来查看jar包依赖关系。另外还可以在eclipse操作，如下图所示：点击run后，开始输出JAR包依赖树。 我在执行这步的时候报了下面的异常：Caused by: java.lang.ClassNotFoundException: org.sonatype.aether.graph.DependencyNod...
2018-03-08 19:14:44
6964
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人