- 博客(48)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 客户端传递数据过大导致服务端抛异常
今天碰到一个服务端抛出的一个异常如下：Failed to read HTTP message: org.springframework.http.converter.HttpMessageNotReadableException: Required request body is missing在客户端看到的异常为：java.io.IOException: Server returned ...
2020-01-20 14:31:10
1288
原创 java 客户端通过post传过去的数据的 数据编码问题
在java客户端访问rest服务时候采用post的方式提交访问请求在客户端传递的参数本来是{“features”:[“amily”,“dawei”,“bofeite”],“mapKey”:“name”}；但是在服务端收到的数据格式如下：%7B%22features%22%3A%5B%22amily%22%2C%22dawei%22%2C%22bofeite%22%5D%2C%22mapKey%...
2020-01-17 14:29:32
1768
原创 Spark报错java.lang.IllegalStateException: User did not initialize spark context!
这种错误往往让人摸不着头闹，日志完全看不出点在哪：以下是错误信息：java.lang.IllegalStateException: User did not initialize spark context! at org.apache.spark.deploy.yarn.ApplicationMaster.runDriver(ApplicationMaster.scala:512) at ...
2019-06-04 10:42:31
7077
原创 Typora 段落如何快速首行缩进两个字符
Typora 段落如何快速首行缩进两个字符在typora中其他快捷方式很多教程，但是首行缩进却很少，今天就和大家分享一下这个工具的快捷缩进方式；换行后首先按一下空格键，前面出现一个点，然后在按TAB键，这样就能实现首行，两个字符的缩进；...
2019-03-06 01:07:39
22440
1
原创 Mac idea添加内存
网上很多教程都是在Application中的打开包含Contents\bin中修改idea.vmoptions，其实这个文件在idea启动的时候并未加载，所以更改之后并没有什么作用；因此找了好多才发现，在mac中启动的时候加载的配置文件并非为那个Contests中的配置文件,加载的是/Users/XXX/Library/Preferences/IntelliJIdea2018.1/，这个目录下的...
2018-11-15 17:23:36
2612
原创 Linux环境和crontab环境运行结果不一样
Linux环境和crontab环境运行结果不一样这个问题主要是由于在脚本中存在类似与hadoop等需要添加额外环境变量的命令，因此，在引用此命令之前需要将hadoop等相关环境引入到shell中，因为crontab的运行环境和个人用户的运行环境会有所区别的。虽然在shell 的crontab 中不会报错，但是运行结果也并非我们所期待的那样，会...
2018-10-08 20:11:49
600
转载 vim 常用 NERDTree 快捷键
vim 常用 NERDTree 快捷键 ctrl + w + h 光标 focus 左侧树形目录 ctrl + w + l 光标 focus 右侧文件显示窗口 ctrl + w + w 光标自动在左右侧窗口切换 ctrl + w + r 移动当前窗口的布局位置o 在已有窗口中打开文件、目录或书签，并跳到该窗口 go 在已有窗口 中打开文件、目录或书签，但不跳到该窗口 t 在新 Ta...
2018-08-22 19:45:01
1767
转载 Kafka Consumer
转载通过之前的架构介绍，对Consumer有了一个初步的了解。这里再深入一点来了解一下Consumer。1、Consumer Group 与 topic 订阅每个Consumer 进程都会划归到一个逻辑的Consumer Group中，逻辑的订阅者是Consumer Group。所以一条message可以被多个订阅message 所在的topic的每一个Consumer Group，也...
2018-08-11 07:29:19
1023
原创 论文页眉设置奇数偶数页不同页眉，奇数页为各章题目，偶数页为论文题目
正文页眉：奇数页为各章题目，偶数页为论文题目1 首先要设置文章分节一般论文可分为多节，包括摘要，目录，正文，参考文献致谢等等，在word中每一页的末尾添加分隔符下一页开始新节，如下图： 2 分节之后，在每一节编辑页眉的时候一定要将链接到前一条页眉取消，不然很蛋疼，默认是选中的，再点击一下就可以了变成如下图：3 需要勾选奇偶页不同，然后在正文章节偶数页填入论文题目xxxxxx，奇...
2018-03-20 16:44:22
121110
2
原创 ES集群超时timeout,以及批量插入数据
ES集群出现timeo=10ms的问题在es进行批量插入的时候，默认的超时设置的10ms，有时候并不能满足要求可以手动修改，可以在程序中添加如下配置：es = Elasticsearch(“IP”,timeout=30)另外在集群出问题的时候需要关注目录下的日志文件，一般都会标明问题的所在，批量插入的是bulk接口：利用action的json结构，如下代码：import o...
2018-03-05 17:21:31
18429
原创 顺序遍历docx文档
顺序遍历doc文档的核心代码如下：from docx import Documentfrom docx.document import Document as _Documentfrom docx.oxml.text.paragraph import CT_Pfrom docx.oxml.table import CT_Tblfrom docx.table import _Cell, Tab
2017-12-27 14:16:22
1369
1
原创 python关于正则匹配无效问题
在linux状态下，有些在正则中的特殊字符无法看见，比如\n,一定要记得替换掉。 另外一个就是字符编码的问题，要统一改成utf-8模式取匹配中文，str(xxxx).decode(‘utf-8’),在正则中则多添加一个u ，如正则’关于.宣告.’ 改成u(‘关于.宣告.‘)
2017-12-27 14:04:33
3757
原创 配置Hanlp
菜鸟如我开始使用Hanlp中文分词中文分词中有众多分词工具，如结巴、hanlp、盘古分词器、庖丁解牛分词等；其中庖丁解牛分词仅仅支持java，分词是HanLP最基础的功能，HanLP实现了许多种分词算法，每个分词器都支持特定的配置。接下来我将介绍如何配置Hanlp来开启自然语言处理之旅，每个工具包都是一个非常强大的算法集合，所以小编以后将花一些时间去看看里面源码如何。下载jar、property和d
2017-12-11 22:17:00
3104
原创 excel 使用小技巧
在数据分析中我们需要excel来对小规模数据量的数据进行分析所以掌握一些excel小技巧是非常有必要的，今天我就来整理一下，我最近所用到的且非常实用的小技巧。快速复制公式 我们用公式的计算结果往往要在每一行应用，如果说行数不多那么我们只需要一直按着拖下去就可以达到复制公式的目的，如果行数太多的话就可以采用一下方式：首先快速选择当前列，选中首个单元格，按住shift键到最后一个单元格，选中期间所
2017-12-11 17:06:46
231
原创 在linux中执行shell脚本，当前用户执行没有问题，设置为定时任务却报错
在linux中执行shell脚本，当前用户执行没有问题，设置为定时任务却报错，有可能的原因有主要原因是crontab执行和当前用户的执行权限和配置环境不一样，所以导致你的配置环境在crontab用户上还得重新配置一次，只需要在开头的时候引用一下配置环境的脚本就可以了。比如：我的一个shell脚本中会有一条命令：`hadoop fs -get xxxxx ./`我在当前用户运行脚本没有问题，但是在配
2017-12-09 22:45:00
3280
原创 Hadoop 中找回误删的文件
hadoop是目前常用的分布式文件存储系统，如果说是不小心误删了文件如何恢复呢？在删除的时候通常可以看到如下：Moved: 'hdfs://xxxxx/stock_1023' to trash at: hdfs://xxxxx/.Trash/Current然后你转到后面的那个目录中就可看到被删除的文件，然后只需要用hadoop mv命令恢复的指定文件目标位置就可以。trash 文件夹是定期清理的，具
2017-11-26 14:46:33
1012
原创 在shell脚本中如何调用hadoop 命令
我们在shell脚本中可能会用到hadoop或者其他命令，而这些命令可能是一个整体，如果我们只是简单的写入到shell脚本中，可能会被分解成其他的各个子字段，即有可能会分成两部分去执行，这样就会导致命令执行失败。 hadoop fs -get /XXXXXX 上面这个就会分成hadoop fs 和get两部分这样就执行不成功了所以在shell脚本中应该用反引号“括起来，注意这个事反引号不
2017-11-01 16:09:27
7101
原创 linux中文本编码转换
Linux中中文编码转换命令查看文件编码格式为 ： file -i filename 转换编码格式命令为： enconv -L zh_CN -x UTF-8 filename 文件转中文编码
2017-10-09 16:38:19
949
转载 Spark-scheduler原理剖析
分布式运行框架Spark可以部署在多种资源管理平台，例如Yarn、Mesos等，Spark本身也实现了一个简易的资源管理机制，称之为Standalone模式。由于工作中接触较多的是Saprk on Yarn，不做特别说明，以下所述均表示Spark on Yarn。Spark部署在Yarn上有两种运行模式，分别为client和cluster模式，它们的区别仅仅在于Spark Driver是运行在Cli
2017-09-21 11:44:07
431
原创 MapReduce Pig Bug
问题，在运行pig代码时候出现以下错误，强制类型转换的错误，但是在pig中并没有出现强制转换的语句（引用了UDF）。AttemptID:attempt_1499336294438_15015_m_000001_0 Info:Error: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String
2017-09-21 10:52:58
456
转载 大数据环境下的数据安全
与传统数据安全相比，大数据安全有什么不同传统数据安全技术的概念是基于保护单节点实例的安全，例如一台数据库或服务器，而不是像Hadoop这样的分布式计算环境。传统安全技术在这种大型的分布式环境中不再有效。另外，在大规模的Hadoop集群中，各服务器和组件的安全配置出现不一致的机率将大大增加，这将导致更多的安全漏洞产生。大数据平台存储着各种各样的数据，每一种数据源都可能需要有其相应的访问限制和安全策略。
2017-08-30 16:50:46
3714
原创 传统数据库安全性问题
传统数据库安全性问题由于上次面试被问及数据库的安全性的问题，因此这几天搜寻了一些数据库安全性方面的字资料SQL注入什么是SQL注入所谓SQL注入，就是通过把SQL命令插入到Web表单提交或输入域名或页面请求的查询字符串，最终达到欺骗服务器执行恶意的SQL命令。具体来说，它是利用现有应用程序，将（恶意的）SQL命令注入到后台数据库引擎执行的能力，它可以通过在Web表单中输入（恶意）SQL语句得到一个存
2017-08-30 16:28:13
3391
原创 java常用线性数据结构及用法
java常用线性数据结构及用法queue的使用Queue接口与List、Set同一级别，都是继承了Collection接口。LinkedList实现了Queue接 口。Queue接口窄化了对LinkedList的方法的访问权限（即在方法中的参数类型如果是Queue时，就完全只能访问Queue接口所定义的方法 了，而不能直接访问 LinkedList的非Queue的方法），以使得只有恰当的方法才可以使
2017-08-16 11:28:49
1270
原创 运行Topology
运行Topology在生产环境集群中运行topology的方式与本地模式非常相似，主要包括以下几个步骤：1) 定义拓扑（如果使用 Java 进行开发就可以使用 TopologyBuilder）2) 使用 StormSubmitter 向集群提交拓扑。StormSubmitter 接收拓扑名称、拓扑配置信息以及拓扑对象本身作为参数，如下所示：Config conf = new Config();co
2017-08-16 09:25:30
537
转载 数据库范式
范式E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的，范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1NF），第二范式（2NF），第三范式（3NF）。下面就简单介绍下这三个范式。◆
2017-08-16 08:58:44
212
转载 计算机网络三次握手和四次挥手
计算机网络三次握手和四次挥手三次握手所谓三次握手（Three-Way Handshake）即建立TCP连接，就是指建立一个TCP连接时，需要客户端和服务端总共发送3个包以确认连接的建立。在socket编程中，这一过程由客户端执行connect来触发，整个流程如下图所示：（1）第一次握手：Client将标志位SYN置为1，随机产生一个值seq=J，并将该数据包发送给Server，Client进入SYN
2017-08-07 11:43:01
614
原创 java InputStreamReader中文乱码
java InputStreamReader中文乱码在网上查阅了好多关于 InputStreamReader或者BufferedReader中文乱码的问题也尝试了好多没结果发现，都没有什么改进，于是乎随便尝试了一下编码格式的更更改，结果发现可以了。所以在碰到这种情况下，可以先尝试UTF-8然后再试试GB2312,所以InputStream中文乱码可尝试以下两种方式解决： InputStream in
2017-08-07 09:20:20
20423
5
原创 NIO 实例demo-Server
NIO 实例demo-Server下面是NIO编程的一个简单的demo ，总共包括四部分，Client，ClientHandler，Server和ServerHandler首先是Server端。
2017-08-05 20:54:04
459
原创 java NIO几个重要的概念
java NIO几个重要的概念在当下比较流行的分布式系统（中间件或者计算框架）中，底层高并发的基础实现都用到netty，netty和mina很类似，但是netty比mina稳定，虽然效率没有mina高，相对来说Netty的社区发展比较活跃，而且有丰富的文档供大家学习，所以netty发展比mina快很多。java NIO是Netty高并发的基础。在前面java IO小节中粗略的讲了一下什么是NIO，本
2017-08-05 18:46:54
942
1
原创 Maven package 跳过测试用例
Maven package 跳过测试用例在实际应用中，当我们已经写好了测试用例，并且单个测试已经通过，所以在package的时候不希望再运行一遍测试用例，一个可能是会出一些不必要的错误，因为有些东西我们已经删除了，再去删除，或者说数据库清空了会出现一些规则的错误，无法打包，因此要比亚麻这些问问题。方法一在集成环境中，这里以idea为例，你可以在你的pom文件中添加以下代码：<build> <
2017-08-04 10:18:35
7650
原创 Spark存储体系
Spark存储体系无论是spark的任务提交还是，任务执行，在这过程中始终离不开spark的存储体系。spark为了避免hadoop读写磁盘的IO操作成为性能瓶颈，优先将配置信息、计算结果等数据存入内存，当内存存储不下的时候，可选择性的将计算结果输出到磁盘，为了保证性能，默认都是存储到内存的，这样极大的提高了spark的计算效率。
2017-08-03 10:43:33
758
原创 读取idea resources 文件并且按行读取文件里面的内容
读取idea resources 文件并且按行读取文件里面的内容我要去读取一个resources文件夹下面的的dura_dist.txt文件，在resource文件夹下新建这个文件里面填一些信息，随便添加几行数据InputStream in = SetPlace.class.getClassLoader().getResourceAsStream("dura_dist.txt");InputStr
2017-08-02 11:26:09
8775
转载 Storm应用中遇到的问题与解决方案
Storm应用中遇到的问题与解决方案本文收集和参考了一些其他博客的内容Worker 进程在启动时挂掉而没有留下堆栈跟踪信息的问题可能出现的现象：拓扑在一个节点上运行正常，但是多个 worker 进程在多个节点上就会崩溃解决方案：你的网络配置可能有问题，导致每个节点无法根据 hostname 连接到其他的节点。ZeroMQ 有时会在不能识别 host 的时候挂掉 进程。如果是这种情况，有两种可行
2017-07-31 08:09:07
1868
原创 excel中VLOOKUP的使用
excel中VLOOKUP的使用当我们要从一个表单中查询一个属性值对应的另一列时，我们需要用到excel中的vlookup函数假如我们有两张表如下第一张表是详细信息和地址ID对应表：： 福田区车公庙泰然四路105栋南北药行旁简先生果汁小镇 1 福田区福田下沙村五坊六号，做早市，七点半之前送到 2 福田区求是大厦东座一楼 3 福田区求是大厦东座一楼 4 龙岗区龙城街道
2017-07-28 18:04:08
863
原创 GitHub 上传及下载代码
GitHub 上传及下载代码github是开源的代码管理工具，同时也是一个很好的开源学习平台，学习如何使用github也是非常重要的
2017-07-27 17:52:54
470
原创 重启Storm时，启动Supervisor 启动后自动退出
重启Storm时，启动Supervisor 启动后自动退出在启动storm集群时，某个节点启动Supervisor 进程后后自动退出
2017-07-27 11:22:04
6706
2
原创 java常用数据结构的比较
java常用数据结构的比较java中有很数据结构如key value中有haspmap，treemap，LinkedHashMap ，那么这些数据结构有何区别，我们如何根据应用场景去选择合适的数据结构，合适的数据结构将能够有效的提高程序的运行效率和提升程序的安全性正确性。
2017-07-26 21:16:23
817
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人