- 博客(44)
- 收藏
- 关注
RSS订阅原创 AQS系列之起始篇-volatile和unsafe理解和使用
我来填坑，第一篇先不讲AQS,打算先说清楚AQS的一些相关知识。这样后续再看AQS会比较容易理解；如果内容有误，麻烦留言斧正，有疑问请关注公众号私信交流共同成长！这一篇主要讲vloatile关键字和Unsafe类。volatile 关键字我们都知道volatile关键字，是通过内存屏障实现了两个特性：可见性：假设两个线程A和B同时从主内存中读取了同一个变量c，线程A修改了变量c，会及时写...
2020-01-19 23:32:46
1139
1
原创 前端json传参，后端spring如何承接
第一篇公众号就讲个很简单的问题吧。前些天重构中前端传过来的参数突然就接受不到了。究其根本就是前端同学统一换了参数的提交格式，从 application/x-www-form-urlencoded 更换成 application/json。一句话解释本文就是 application/json 需要搭配 @RequestBody 使用。一点点唠叨一直在想第一篇文章应该写什么，写点最近踩得坑还是最...
2020-01-11 16:46:16
945
原创 shell中嵌入SQL查询
个人博客https://kongdada.github.io/这两天在做一个hadoop升级的事情。分配到我的任务就是在新的集群测试项目中的脚本，保证能够在新集群跑得通，并产生正确的数据。那么数据正不正确怎么个比较法呢，因为暂时是新旧集群一起运行此项目，项目最后产出的数据量也不大，十万过一点，四五个文件。干脆down下来用beyond Compare这个软件比较一下算了。但在down下来的过程...
2019-01-22 20:31:34
2109
原创 在RedHat5.8上安装jira
个人博客https://kongdada.github.io/在某个抓耳挠腮写不出代码的傍晚，老大那个时常是灰色的头像开始疯狂跳动，正好处于转正前夕。我有点紧张了，点开了对话框。“XX，下周你看一下JIRA，搭建个平台出来，如果需要Linux机器的话，找我要一下。”“想了想，打了好几个字，然后删除，在对话框输入’好的‘，Enter”言归正传，聊一下怎么搭建这个平台，分享一些我的低级失误，...
2019-01-22 20:30:55
508
原创 Hadoop Streamig 和 Hadoop Distcp的简单介绍
个人博客https://kongdada.github.io/今天总结一下经手的一个项目中用到的Hadoop工具；距离上一篇文章不知不觉快4个月过去了，期间经历了毕业，入职这些事儿。一直想写个求职总结，错过了当初那份激情，现在已经有点淡忘那种真真切切的朝不保夕的感受。看后来有没有心情在更吧。我毕设也挺好玩，挺简单的一个东西，有时间也可以写写。这都是后话。Hadoop Streaming...
2019-01-22 20:29:55
403
原创 在Spring中创建切面，使用AspectJ
个人博客https://kongdada.github.io/看了网上一些AspectJ的例子，大多一塌糊涂。说完这句话有点慌张，如果后续在学习中发现是我错了，再来打脸也不迟。说说我的理解，目前我所学习到的实现AOP(切面)的方式大致可以分为两类，SpringAOP与AspectJ.关于SpringAOP的实现前两篇文章已经写过小例子了，欢迎查看。这篇用AspectJ实现AOP的小例子。代码...
2019-01-22 20:29:18
400
原创 在Spring中创建切面，通过切面引入新功能-使用配置XML
个人博客https://kongdada.github.io/上一篇博客中记录了使用Java注解方式开发一个切面的小例子，这一篇记录使用XML配置的方式开发一个切面的例子，同时也完成通过配置XML新增功能。实现切面定义特定的方法首先定一个接口package aopXML;public interface Performance { void perform();}...
2019-01-22 20:27:37
693
原创 在Spring中创建切面，通过切面引入新功能-使用JAVA注解方式
个人博客https://kongdada.github.io/最近在看《Spring实战》，在这儿使用注解完整的实现一个切面的例子，也实现通过注解引入新功能；实现切面关于切面相关概念这篇不提，可以大致理解成，只要调用某个特定的方法，这个调用信息会被切面拦截，然后执行切面定义的逻辑，之后才能顺利的调用该方法。我这个是一个maven项目所有代码写在同一个包下面，测试类除外。关于切面...
2019-01-22 20:26:38
1483
原创 mapreduce进程ruduce端内存溢出，解决方法和探索
个人博客https://kongdada.github.io/昨天碰到一个pig任务执行过程中发生了内存溢出。写点文字记录一下解决过程，顺便整理一下自己的思路。一 错误信息2018-08-15 05:20:24,102 [main] INFO org.apache.pig.backend.hadoop.executionengine.mapReduceLayer.MapReduceLa...
2019-01-22 20:25:29
1356
原创 HbaseImportTSV
个人博客https://kongdada.github.io/这个也是最近经手的一个项目中涉及到的一个可以将HDFS上的数据直接导入HBASE表中的命令行工具。这个属于HBASE所以与上一篇Hadoop中的工具分开来写。Hbase importTsv概述和使用步骤：ImportTsv是Hbase提供的一个命令行工具，可以将存储在HDFS上的自定义分隔符（默认\t）的数据文件，通过一条命...
2019-01-22 20:24:16
288
原创 一点资讯技术面总结
个人博客地址https://kongdada.github.io/感谢一点资讯给的面试机会；以前文章提到过的不在赘述，记录新的知识点。LinuxLinux命令用法查询网站：Click to jumpwcwc统计文件里面有多少单词，多少行，多少字符。语法:[root@www ~]# wc [-lwm]选项与参数：-l ：仅列出行；-w ：仅列出多少字(英文单字)；-m...
2019-01-22 14:56:33
10931
原创 校招vivo技术面试总结
稀里糊涂过了笔试，很幸运的得到了面试机会，背着我的小书包，挤着地铁就去了西土城面试；自我介绍这部分就不多说了，我说的也不好，大致介绍了一下个人的基本情况；数据结构给100W个区间，不重叠。给出一个数N，求这个数在那个区间。空间复杂度要求我看到了，但估计我太菜了，人家没问; 给出想法：把所有区间的右边界，用一个数组存起来;给数组排序;二分查找，找到最后一个区间，返回...
2018-03-30 11:31:03
9429
2
原创 Get与Post的区别
先说结论：他们的本质区别在语义上，Get是获取资源，Post是处理资源。 由此延伸出来的区别就是：Get是安全的，幂等的，可缓存的。Post不安全的，不幂等的，不可缓存的。 安全的：是指他不对服务器资源做任何修改，是一个只读请求，对服务器来说这个请求就是安全的。 幂等的：执行一次和多次，效果相同，不对服务器上资源做修改。 可缓存：这个我不知道怎么解释。 至此Get与Post的区别就完了。
2017-12-08 14:37:16
379
原创 从Hive导出数据到Oracle数据库--Sqoop
始发与个人博客：https://kongdada.github.io/ 实习老大让我把Hive中的数据导入Oracle数据库。摸索成功后记录如下： 首先解释一下各行代码：sqoop export# 指定要导入到Oracle的那张表（通常与hive中的表同名）--table TABLE_NAME # host_ip:导入oracle库所在的ip:导入的数据库--connec...
2017-12-04 13:28:37
10840
3
原创 Hive常用命令
始发与：https://kongdada.github.io/Hive常见命令显示所有数据库 show databases;指定使用某个数据库 use database_name;显示所有表 show tables;查询表结构 desc table_name;显示表的详细信息 describe extended table_name;显示分区信息 show partition
2017-12-04 13:18:15
868
原创 hexo+github搭建博客过程
个人理解：简单说一下个人对搭建理解： - github相当于是服务器 - hexo替生成漂亮的页面 - 通过hexo命令将生成的页面部署（就是上传）到github, github替你将这些页面保存起来。有人访问你的博客，github 就自己发给他。搭建过程：博客搭建详细教程：神秘链接next主题配置教程：神秘链接搭建过程有上面两个教程就足够了，但是也不妨看看文档。Hexo文档：
2017-12-04 13:15:49
474
原创 hadoop2.8.0 安装与环境搭建
详细教程这儿有篇宝典，简单有效，相见恨晚：点击打开宝典 安装SSH，配置SSH的无密码登录。记得先更新一下APT：sudo apt-get update安装个Vim ：sudo apt-get install vim安装SSH服务：sudo apt-get install openssh-server安装后登陆一下本机： ssh localhost这时候是需要密码的，然后退出准备配置
2017-12-04 13:10:27
381
转载 Markdown
欢迎使用Markdown编辑器写博客本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：Markdown和扩展Markdown简洁的语法代码块高亮图片链接和图片上传LaTex数学公式UML序列图和流程图离线写博客导入导出Markdown文件丰富的快捷键快捷键加粗 Ctrl + B 斜体 Ctrl + I 引用 Ctrl
2017-11-29 17:32:07
320
原创 栈的应用，括号匹配，后缀表达式计算，有趣的汉诺塔--python实现
三个例子很简单，都来自数据结构课本上的例子。但简单才好玩嘛。第一个：括号匹配，就是找左括号有没有相匹配的右括号，反之亦然。代码：# -*- coding:utf-8 -*-# 栈的应用：括号匹配def MatchPairs(str): arr = list(s) stack = [] for x in range(0, len(arr)): if arr[x] == "(
2017-10-04 17:12:13
728
原创 丑数--python实现
笔试的时候遇到这个题，当时没做出来。参考资料：大佬传送门,传送门二。题目：我们把只包含因子2、3和5的数称作丑数（Ugly Number）。例如6、8都是丑数，但14不是，因为它包含因子7。习惯上我们把1当做是第一个丑数。 求按从小到大的顺序的第1500个丑数方法一：简单粗暴，分解每一个数，看他的因数是不是只有2，3，5。代码：import timedef findugl
2017-10-03 14:08:57
6700
1
原创 线性筛选素数--python
首先知道：合数一定可以分解为几个素数的积，既然是几个素数，就一定有最小的一个。我们将这个最小素数因子叫最小素因子， 那么是我们可以知道任何一个合数都有唯一的一个最小素因子。我们要做的事就是用素因子筛选出其对应的合数， 然后 标注为合数。筛选出所有的合数，那么剩下的当然是素数。代码如下：# -*-coding:ut
2017-09-29 15:40:59
1616
1
原创 python3 一些经常使用的数据结构和内置方法。
（一）输出print(a,b,c,sep="$",end="*") # 参数sep指定输出分隔符，参数end指定输出结尾，默认是换行。（二）数字int('111', n) # 按照 n 进制将一个字符串转换为整数。默认十进制。bin() # 转换为二进制oct() # 转换为八进制hex() # 转换为十六进制complex(实部，虚部)
2017-09-16 14:58:56
458
原创 对HDFS分布式文件系统的简单理解。
最近在交叉看几本书，对阅读做个记录。《精通hadoop》《hadoop实战》《hadoop技术详解》（一）标准的HDFS集群由3个守护进程组成。（1） NameNode（NN），一个集群一个， 储存文件系统的源数据，储存文件与数据块的映射，提供文件系统的全景图。（2）次NameNode，一个集群一个，处理NameNode内务日志检查点。（3）DataNode，（DN）一个集群多
2017-09-15 20:22:25
699
原创 狄克斯特拉算法，解决加权最短路径问题--python实现
问题：寻找从起点到终点的最短路径。关系图如下：解决思路：建立三张散列表。graph 存储关系图；costs 存储各个节点的开销（开销是指从起点到该节点的最小的权重）； parents 存储各个节点的父节点是谁。 创建一个数组用来存储已经处理过的节点 processed.
2017-08-13 12:11:29
3344
原创 图的广度优先搜索--python实现
最近在看《算法图解》，第六章中的广度优先搜索中的题目。自己实现一遍，算是做个记录吧。关系网络图如下：目的：找到朋友与朋友的朋友这些人中，谁是 Seller。 大体思路： 首先使用散列表实现图中关系，然后按关系的远近（关系梯度），按顺序将人名字放着一个队列里，最后按队列一个个 判断是不是我们要找的人。结果：找到朋友中的 Seller，或
2017-08-12 22:57:29
1928
转载 白话经典算法系列
链接：http://blog.youkuaiyun.com/MoreWindows/article/category/859207
2017-08-09 23:47:26
424
原创 几种常用的排序算法（二）--python实现
接着上一篇。5. 折半插入排序，时间复杂度O（n*logn）,算法稳定。 思路：假设将新元素，插入已经排好序的数组当中，寻找插入位置的时候，采用了二分查找，折半插入排序也叫二分插入排序。 为数组排序时，也是将第一个元素作为已经排好序的数组，循环数组 若元素 arr[i] 小于 arr[i-1] 则为要插入的元素。 利用二
2017-08-09 15:24:37
423
原创 几种常用的排序算法（一）--python实现
1. 选择排序，时间复杂度O（n^2），算法不稳定。 思路：（1）循环整个数组 arr，选出最大的数，将它放在空数组 new_arr 的第一个位置。 （2）将刚刚选出的数字从 arr 中去掉。 （3）循环前两个步骤，直到 arr 中没有数字。下面我写了两个函数，当然写在一起也是可以的。# -*- coding:utf
2017-08-08 23:06:26
791
原创 二分查找的两种实现方式(递归和非递归)--python实现
二分查找是我第一次面试时的编程题。非递归方式：# 二分查找非递归实现def binary_search(list, item): low = 0 high = len(list) - 1 while low <= high: mid = (low + high)//2 guess = list[mid] if guess == item : return mid
2017-08-07 10:48:04
1060
转载 python+selenium+PhantomJS爬取网页动态加载内容
原文网址 ：http://www.cnblogs.com/chenice/p/6994111.html以下为复制粘贴内容。一般我们使用python的第三方库requests及框架scrapy来爬取网上的资源，但是设计javascript渲染的页面却不能抓取，此时，我们使用web自动化测试化工具Selenium+无界面浏览器PhantomJS来抓取javascript渲染的页面，下面
2017-08-06 15:04:40
1235
原创 抓取爱问知识人问题，保存至数据库。
新手上路，欢迎批评。博客暂时只为记录学习过程。抓取结果：整体思路：1.链接数据库并建好一张表。要存储以下信息，问题，回答者，回答时间，回答内容。def createtable(): # 打开数据库连接 db = pymysql.connect("localhost","root","sql123","likelearn", charset='utf8' ) # 使用 curs
2017-06-11 10:56:55
528
转载 windows 10 下MySQL 5.7.18安装教程
以下是连接：http://blog.youkuaiyun.com/vincentlmeng/article/details/70160475补充一点：环境配置时：配置的环境变量是 用户环境变量 PATH " ;C:\Program Files\MySQL\MySQL Server 5.7\bin " 记得前面加分号，后面不加。
2017-05-29 13:10:39
402
原创 Python爬取百度贴吧帖子
首先贴自己遇到的问题：'gbk' codec can't encode character '\u20af' in position 566: illegal multibyte sequence解决办法：http://www.cnblogs.com/feng18/p/5646925.html 这个文章很清晰。这个解决了 print 问题，但解决不了 wirte 问题。只抓取楼主
2017-05-29 10:14:13
1121
原创 Python爬虫爬取糗事百科段子
代码有可能出现以下错误：'gbk' codec can't encode character u'\xa0' in position 3621: illegal multiby网页编码问题，所学有限暂不能完全解决。 但实验发现利用 " gb2312"解码不会出现以上问题，但是无法正常输出。利用 " utf-8" 解码有可能会出现以上问题。所实现的功能，爬取了糗事百科的文字类的段
2017-05-27 21:16:34
658
原创 urllib 与 requests 分别搭配 beautifulsoup 的不同写法
使用 urllib ，代码如下：from urllib import requestfrom bs4 import BeautifulSoup url = 'http://www.qiushibaike.com/text/page/1'req = request.Request(url)req.add_header('User-Agent', 'Mozilla/4.0 (compa
2017-05-27 00:07:35
1001
原创 我的第一个爬虫
# 环境python 3.5.2 + beautifulsoup # 准备工作:了解 python 自带的模块 urllib + beautifulsoup 的网页解析#爬取了一个图片网站的部分图片from urllib import requestfrom bs4 import BeautifulSoupimport osimport os.pathimport retry: r
2017-05-24 13:06:12
573
转载 Sublime Text 3 快捷键汇总
来自：http://blog.youkuaiyun.com/u012771929/article/details/30030249/选择类Ctrl+D 选中光标所占的文本，继续操作则会选中下一个相同的文本。Alt+F3 选中文本按下快捷键，即可一次性选择全部的相同文本进行同时编辑。举个栗子：快速选中并更改所有相同的变量名、函数名等。Ctrl+L 选中整行，继续操作则继续选择下一
2017-05-20 21:53:54
327
原创 hadoop 安装与环境搭建
1. 在终端使用 wget +"hadoop 下载地址"，下载安装包。hadoop-1.2.1.tar.gz 下载地址：http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-1.2.1/hadoop-1.2.1.tar.gzhadoop-3.0.0-alpha1.tar.gz 下载地址：http://
2017-05-18 12:17:54
674
原创 ubuntu 安装 jdk 与 环境配置
1. 打开终端，键入 javac 会有 jdk 版本提示，使用命令 apt-get install + "对应的 jdk 版本" 2. 使用命令 vim /etc/profile 打开配置文件，在文章头部非注释下一行添加以下语句：export JAVA_HOME=/usr/lib/jvm/java-9-openjdk-amd64 （默认是安装在这个路径的，请自行检查）export
2017-05-18 12:12:45
550
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人