- 博客(27)
- 收藏
- 关注
RSS订阅原创 mongodb 实现group by 多个key having count(*) >1
db.sysRequestWrapper.aggregate( {"$group": {_id:{card:"$card",account:"$account"}, "count": { "$sum": 1 } } }, {"$match": {"_id" :{ "$ne" : null } , "count" : {"$gt": 1} } })
2017-08-31 15:35:46
5585
原创 ieda 怎么解决引入版本过多导致的no class found(因为它蒙圈了)
需求背景:一个用spring旧的版本写的项目中接入了新的版本写的日志监控平台，引入了其他版本的写的自定义脱敏依赖包，导致了项目现在启动不起来，爆出的错误如下:java.lang.NoSuchMethodError: org.springframework.expression.spel.SpelParserConfiguration.然后双击shift键搜索SpelPars
2017-08-16 16:58:26
901
原创 hadoop 二次排序join的实现
需求背景：提供一批卡号，去提取这批卡号的流水(lzo格式的交易流水)模拟实现逻辑：大致流程图配置文件如下：#!/bin/bashhadoop fs -rmr card_match_2/outputhadoop jar ~/koulb/softjar/hadoop-streaming-2.0.0-mr1-cdh4.7.0.jar
2017-08-16 09:49:11
673
原创 spark 中map 和flatmap 的区别
需求背景：统计相邻两个单词出现的次数。val s="A;B;C;D;B;D;C;B;D;A;E;D;C;A;B"s: String = A;B;C;D;B;D;C;B;D;A;E;D;C;A;B val data=sc.parallelize(Seq(s))data.collect()res0: Array[String] = Array(A;B;C
2017-08-16 09:45:33
608
原创 apache http ssl模块NoC…
需求背景:项目中有链接https接口的请求所以使用了,apache的httpcomponents中的httpclient,但是启动测试的时候报错，NoClassDefFoundError:org/apache/http/ssl/TrustStrategy ，然后找了下该类竟然出现在三个版本的包中，使用mvndependency:tree >temp,找到了dubbo、disconf中也有出现，
2017-08-16 09:32:21
351
原创 shell在指定行插入文本
需求背景:在指定行插入特定文本sed -i '第几行i文本内容' 文件会直接编辑文件。特殊用法：插入一个只有一个空格的空行在第三行sed -i '3i\ ' a
2017-08-16 09:32:19
4816
原创 git commit 怎么撤销
需求背景:当你不小心提交错某个文件或者或者多提交了某些文件，并且还没有push，这时，可以使用如下步骤来回退到提交前的状态（ps:每次提交先stash,pull,stashpop 然后再commit,push）git log 会打印出所有的提交历史。然后定位到自己想要回退到的对应版本,找到其hash值。commit 0c17bf55de2054ffd6bd67714c75c0861618
2017-08-16 09:32:16
1699
原创 ubantu16.04怎么彻底移除mysql
sudo apt purge mysql-*sudo rm -rf /etc/mysql/ /var/lib/mysqlsudo apt autoremove
2017-08-16 09:32:13
344
原创 java 请求Hbase时报错NoClassDefFoundError: org/apache/htrace/Trace
需求背景:使用，但是启动的时候报错Caused by: java.lang.NoClassDefFoundError: org/apache/htrace/Trace问题分析：client解析连接的是3.0.4版本的htrace，而真正需要的是3.1.0-incubating这个版本的导致找不到，我们所需要做的就是单独再引入一次htrace,配置如下,放在pom配置的最上面:org.ap
2017-08-16 09:32:10
2154
原创 gnome连接mysql workbench时…
在Store inKeychain时出现了gnome-keyring-daemon错误，不能保存密码，也就连不上数据库。修改/usr/bin/mysql-bench。将#WB_NO_GNOME_KEYRING=1改成exportWB_NO_GNOME_KEYRING=1，保存并重启应用，就可以保存密码，并正确连接数据库。
2017-08-16 09:32:07
331
原创 spark 项目启动的时候报出如下错误
解决错误“class "javax.servlet.FilterRegistration"'s signer informationdoes not match signer information of other classes in the samepackage”从字面意思可以看出是因为ｐｏｍ中有多个jar包中出现了该类，在程序中或者依赖的程序去使用该类的时候导致无法唯一确定ja
2017-08-16 09:32:04
1000
原创 跨平台的电子书阅读神器(最主要是…
虽然像亚马逊Kindle 这样的电子书阅读器在购买和阅读上体验都比较出色，但很多时候，我们电脑上还会收集有很多网上下载的电子书的，如果数量较多，加上格式各异的话，管理起来还是比较麻烦的。Calibre是一款开源免费的跨平台全能电子书阅读、格式转换与管理工具，它支持打开阅读各种主流格式的电子书，支持众多格式转换、支持编辑图书属性数据(书名、作者、出版商等)、调整字体大小、检测章节目录、插入图
2017-08-16 09:32:02
2404
原创 如何在ubantu中设置任务栏和菜单中…
一些应用程序（例如很多.sh程序）如果想在Ubuntu中添加到Dashhome中进行快速的启动，则需要找到/usr/share/applications这个目录，其中存放的全部是dash中的启动器，将你需要的程序xxx添加其中即可。具体操作步骤为：命令行操作内容：cd /usr/share/applicationssudo gedit xxx.desktop打开需要编辑的文本
2017-08-16 09:31:59
582
原创 awk 按照某个key分发文件的妙用
需求背景：本来的需求是提取一个月的数据，但是出来以后产品又要拆分为每天的量，本来打算使用pythonfor去解决，但是想到以前用过awk处理过类似的问题，乍一看日期后面还有时分秒，必然又用到了substr，妙的是awk也支持，脚本如下：awk -F ',' '{print $3 >substr($2,1,10)".csv"}' sy*.txt;完美的解决了我的问题，第二列是时间(带有
2017-08-16 09:31:56
360
原创 shell 获取上个月或者上一年…
lastMonth=`date -d "1 month ago" +%Y_%m`lastYear=`date -d "1 year ago" +%Y_%m`
2017-08-16 09:31:50
3323
1
原创 aws s3 递归上传和下载
上传aws s3 cp MyFolder s3://bucket-name -- recursive [--regionus-west-2]下载aws s3 cp s3://bucket-name [--region us-west-2] localfilePath --recursive
2017-08-16 09:31:48
2769
原创 python 怎么随机生成15位随机数字
需求背景：需要生成一批idfa设备号"".join(random.choice("0123456789") for i in range(15))手机号:random.choice(['139','188','185','136','158','151'])+"".join(random.choice("0123456789")for i in range(8))
2017-08-16 09:31:45
5876
原创 ubantu 下chrome 崩溃的解决办法
公司昨天晚上断电，电脑没有关掉，早上过来，重启电脑，chrome插件各种崩溃，提示重启应用可以点击了没有任何反应和启动的迹象。处理方式：rm -rf~/.config/google-chrome/然后又是一个赞新的浏览器页面出现可以用了。
2017-08-16 09:31:42
2195
1
原创 kafka初步认知
kafka：分布式消息系统，由linkedin使用scala编写，用于活动流以及运营数据处理管道的基础支持，具有高水平扩展和高吞吐量的优势。kafka的使用场景：作为数据管道或者消息系统来使用与其他几种mq的对比：组成部分概述：一些概念：topic：类似于新闻板块中的体育，财经，娱乐之类的分类概念，实际业务中通常是一个业务对应一个主题。分区(partition):一个topi
2017-08-16 09:31:39
291
原创 hadoop 建立多级目录 报错误…
需求背景：在shell脚本想建立多层ｈｄｆｓ目录时，报错。在HDFS中创建多级目录，然而总是报错：mkdir:`/user/a/bb': No such file or directory。 在StackOverflow上面某牛说是命令本身有问题，应该是$HADOOP_HOME/bin/hadoop fs -mkdir -p/user/hive/warehouse，使用该命令，不再报错
2017-08-16 09:31:36
1081
原创 scrapy 入门
最近在自学python中的scrapy爬虫模块，以下是一些我的理解：scrapy有自己的模块组成，入门" TITLE="scrapy 入门" />流程：自定义的spider通过请求链接访问，scheduler模块负责封装url请求的一些参数然后带着封装好的request对象去请求下载保存链接返回的资源(middlewares控制下载时候的参数:eg:设置代理),然后将Response交
2017-08-16 09:31:33
337
原创 spring jpa no pro…
触发原因：一般爆出这种错误，会明显提示那个持久化类和那个实体类，也会告诉你那个实体类中的字段未找到，触发错误的关键在于，你已经从实体类中删除了某个字段映射，但是在持久化类中还有用到包含该字段的方法，从而导致方法解析到sql语句时，找不到对应的数据库表字段（实际情况可能到不了这一步）。解决办法：检查是否存在以上描述的问题，并删除或者注释掉引发该问题的方法块，重启项目，正常运行，不报错。
2017-08-16 09:31:30
257
原创 python 填坑之旅
今天帮同事调试一个脚本，同事用的是Python中uuid这个模块，但是输出的时候使用uuid.uuid1(),一直提示uuid模块中没有uuid1这个方法，查了api用法没错，但是我试了下脚本也是一样，后来发现是命名的问题，他把脚本名称也写为uuid了，因为Python中模块名称都是以py结尾，这样同名称的使用结果是把uuid模块污染，当在脚本中调用的时候调用的是自身（uuid.pyc），找不到这
2017-08-16 09:31:18
399
转载 腾讯云免流搭建教程免流服务…
原文地址：腾讯云免流搭建教程免流服务器搭建教程流控搭建自动安装作者：免流搭建-免流服务器搭建看本教程前先确保你的服务器上已经用最新适配centos7.0的一键脚本搭建了云免服务器推荐使用 阿里云或腾讯云现在适配某汪的一键云免搭建脚本 现在可用的是网易蜂巢Docker（Centos7.0 效果同6.7）和Centos7.0综合脚本然后用 xhell 连接你的服务器 软件可以去百度下载
2017-08-16 09:31:13
41361
2
转载 Myeclipse断点调试
最基本的操作是： 1, 首先在一个java文件中设断点，然后运行，当程序走到断点处就会转到debug视图下， 2, F5键与F6键均为单步调试，F5是step into,也就是进入本行代码中执行，F6是step over， 也就是执行本行代码，跳到下一行， 3,F7是跳出函数 step return 4,F8是执行到最后。========================
2014-01-12 21:49:55
514
转载 weblogic显示原来ip怎么修改到新的ip
Weblogic 9 的默认IP是本地localhost, 默认端口为7001,修改它们，需要进入Weblogic 9的安装目录下的user_projects\domains\base_domain\config\找到config.xml 即可，打开之后查找标签,对其进行相应的修改就OK啦。
2014-01-08 18:01:34
6731
转载 如何用PLSQL从ORACLE中导入导出数据
如何使用PLSQL Developer从oracle数据库 导入导出数据 用pl/sql developer导出表的数据时有三种方式：Oracle Export，Sql Insert，pl/sql developer 只有“Oracle Export”方式导出再导入后，表结构和索引结构没有发生变化，另两种方式都改变了索引类型。另外 Sql Insert的那个可以
2014-01-08 12:36:13
749
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人