anx50588-优快云博客

转载 jvisualvm远程调试

远程服务器端(1)设置jstatd.all.policy 文件grant codebase "file:${java.home}/../lib/tools.jar" { permission java.security.AllPermission; };（2）启动jstatdjstatd -J-Djava.security.policy=...

2017-03-07 21:15:00 394

转载两个不同于LR和jmeter的性能测试工具

LR图形界面，更利于使用jmeter采用java，也能够扩展相对于上两款工具，下面两款性能测试工具都采用了异步IO模型，扩展性都更强速度也更快gatling：基于scala，速度相比更快性能压力更大，gatling的Actors模型的性能在高并发的情况下性能大大优于jmeter和LR的Threads模型，gating采用的是自己的一套DSL语言；locustio： loc...

2016-12-12 11:56:00 293

转载一个基于集成jenkins的测试平台

（一）先看测试业务的情况：有各种各样的任务包括代码构建、部署搭建、单元测试、功能自动化测试（包括许多模块的功能自动化测试，有十几个居多），性能测试、正确性验证；复杂一点的是这些任务在不同的测试阶段中都必须部署一套，一般测试至少都需要有三套环境：dailyrun环境、两套test环境用来测试不同版本。日常每天有每日构建环境，正式版本发布有发布环境。要做到持续集成，则每天晚...

2016-11-29 14:05:00 281

转载 sparkR原理

　　sparkR在spark2.0里面，RDD后端代码位于org.apache.spark.rdd中，R语言相关的位于org.apache.spark.api.r中。从入口开始，./bin/sparkR里面只有四句话，调用的是这个exec "$SPARK_HOME"/bin/spark-submit sparkr-shell-main "$@"spark-s...

2016-11-28 14:20:00 163

转载 Python 出现需要使用fPIC重新编译的问题

在已经存在python安装环境的情况下，当安装第三方的包的时候出现报错提示/usr/bin/ld: .../lib/libpython2.7.a(abstract.o): relocation R_X86_64_32 against 'a local symbol' can not be used when making a shared object; recompile wi...

2016-10-24 17:16:00 784

转载 eclipse中使用jython

通过maven配置加载这个包，目前比较稳定的是python2.7的，见 <dependency> <groupId>org.python</groupId> <artifactId>jython</artifactId> ...

2016-09-13 21:09:00 189

转载 R中逻辑运算

一、是否相等的判断的方法（1）判断字符串是否相等is.null(x)（2）判断x的每个元素是否在y中出现：x %in% y（3）判断判断每个相对应的元素是否相等：x == y（4）判断近似相等：all.equal(x,y)含有一个哦按点近似相等的参数，近似的参数还有identical(x,y)二、R语言逻辑运算：基本运算符号是 <，<=...

2016-09-10 17:44:00 510

转载 R语言的一些笔记

（1）包中函数必须在NAMESPACE中进行标记导出，否则就不认识了：例如叫做rtest.Model.LogisticreRression就能识别，而叫做Model.LogisticreRression就不认识了（2）从本地安装：sudo R CMD INSTALL target/RTEST_1.5.tar.gz（3）从远程websit安装install.pac...

2016-09-08 20:02:00 117

转载 Distributed R

R语言的分布式目前有这几个产品：（A）RHadoop：对hadoop族系的产品，其中提供了以下的组件A.1rhdfs 浏览读取增加修改hdfs上面的文件数据；A.2rhbase浏览读取增加修改hbase中的文件数据；A.3plyrmr用mr方式在hadoop中提供类似于plyr/reshape2这样的数据操作的功能；需要安装到每个节点上面；A.4rmr2...

2016-09-01 17:22:00 111

转载 R语言和大数据

#安装R语言R3.3版本会出现各种so不存在的问题，退回去到R3.1版本时候就顺利安装。在安装R环境之前，先安装好中文（如果没有的话图表中显示汉字成框框了）和tcl/tk包(少了这个没法安装sqldf)sudo yum install fonts-chinese tcl tcl-devel tclx tk tk-devel -y安装中文字体后重新加载 service xfs reloa...

2016-08-01 18:11:00 197

转载 configure: error: zlib library and headers are required

configure: error:zlib library and headers are required（1）直接看是zlib没安装导致的，yum list |grep zlib* 看到的是全部都安装好的；（2）直接打开configure，这个是一个shell脚本，找到报错的这一行；设置set -x结果发现一大串的日志输出，并没有什么有效的信息；（3）打开conf...

2016-07-29 15:57:00 2291

转载 letcode刷题之两数相加

letcode里面刷题，坑还是链表不熟，（1）头结点还是有必要设置，否则返回的时候找不到位置；（2）先设置next到新节点再next到下一个节点；都是基础知识/* * * You are given two linked lists representing two non-negative numbers. * The digits are stored in ...

2016-07-25 19:48:00 89

转载 Scala的Option类型

Scala的Option类型为了让所有东西都是对象的目标更加一致，也为了遵循函数式编程的习惯，Scala鼓励你在变量和函数返回值可能不会引用任何值的时候使用Option类型。在没有值的时候，使用None，这是Option的一个子类。如果有值可以引用，就使用Some来包含这个值。Some也是Option的子类。None被声明为一个对象，而不是一个类，因为我们只需要它的一个实例。这样，它...

2016-07-25 17:55:00 127

转载 Flume用来收集日志，zeppelin用来展示

Flume：Flume是一个分布式，可依赖的，用于高效率的收集、聚类、移动大量数据的服务。Flume使用基于流数据的简单而且可扩展的架构。由于拥有可调的依赖机制和许多故障恢复机制，Flume是健壮而且容错的。Flume使用简单的可扩展的数据模型，能够用于在线数据分析。官网：http://flume.apache.org/index.htmlzeppelin:一个能够用来...

2016-06-23 15:18:00 109

转载 Flink 另外一个分布式流式和批量数据处理的开源平台

Apache Flink是一个分布式流式和批量数据处理的开源平台。Flink的核心是一个流式数据流动引擎，它为数据流上面的分布式计算提供数据分发、通讯、容错。Flink包括几个使用Flink引擎创建应用程序的编程接口：1.DataStream API 集成在Java和Scala中中的流数据格式；2.DataSet API集成在JAVA、Scala、Python中的静...

2016-06-23 14:30:00 299

转载 Presto: 可以处理PB级别数据的分布式SQL查询引擎

2012年秋季Facebook启动了Presto，Presto的目的是在几百PB级别数据量上面进行准实时分析。在摒弃了一些外部项目以后，Facebook准备开发他们自己的分布式查询引擎。Presto的语法基于ANSI SQL，大多数分布式查询引擎需要用户去学习一种新的语法，有的语法类似SQL，但是没有一种是和真正的SQL一样被人们所熟悉，并且有详尽的文档。Facebook希望这个决...

2016-06-22 18:04:00 239

转载 Hadoop中的RPC

基于hadoop2.6.4，RPC相关的实现位于hadoop-common这个project中hadoop-common-project/hadoop-common/src/main/java的包package org.apache.hadoop.ipc中而在hadoop-common-project/hadoop-common/test/main/java的包package org...

2016-06-21 20:22:00 64

转载 java中动态反射

java中动态反射能达到的效果和python的语法糖很像，能够截获方法的实现，在真实方法调用之前和之后进行修改，甚至能够用自己的实现进行特别的替代，也可以用其实现面向切片的部分功能。动态代理可以方便实现AOP，AOP将应用系统分为两部分，核心业务逻辑（Core business concerns）及横向的通用逻辑，也就是所谓的方面Crosscutting enterprise conce...

2016-06-21 17:45:00 124

转载 yarn资源管理器高可用性的实现

资源管理器高可用性. The ResourceManager (RM) is responsible for tracking the resources in a cluster, and scheduling applications (e.g., MapReduce jobs). Prior to Hadoop 2.4, the ResourceManager is the s...

2016-06-16 19:41:00 377

转载 crontab没有正确重定向导致磁盘inode节点空间满

通常是发现磁盘没有满但是无法写入文件。提示“no space left on device” 用df -i 查看，应该会发现相应的分区是100% 一般都是crontab的job有问题,造成/var/spool/clientmqueue中产生许多的零碎文件。处理方法：用rm -rf *会不能删除，并会有相应的提示，大意是参数太多。 (1)在/var/spoo...

2016-06-15 10:52:00 305

转载 JVM内存管理基本概念

java中是否存在内存泄露?在Java中，内存泄漏就是存在一些被分配的对象，这些对象有下面两个特点，首先，这些对象是可达的，即在有向图中，存在通路可以与其相连；其次，这些对象是无用的，即程序以后不会再使用这些对象。如果对象满足这两个条件，这些对象就可以判定为Java中的内存泄漏，这些对象不会被GC所回收，然而它却占用内存。在C++中，内存泄漏的范围更大一些。有些对象被分配了内存空...

2016-06-13 20:03:00 110

转载 Cannot open your terminal '/dev/pts/4' - please check.

使用screen命令的时候出现了下面的错误Cannot open your terminal '/dev/pts/4' - please check.可以使用script命令来记录这个终端会话,执行script/dev/null这样就可以使用screan来建立多个窗口，进行操作转载于:https://www.cnblogs.com/laodageblog/p/5...

2016-06-12 19:18:00 335

转载 linux建立信任关系

(1)、切换到需要建立信任关系的用户(2)、执行命令：ssh-keygen -d,然后一直回车.该命令会在用户home目录下生成一个隐藏的.ssh目录。目录里面有两个文件：id_dsa、id_dsa.pub这两个是密钥文件，id_dsa是密钥，id_dsa.pub是公钥(3)、在.ssh目录下建立文件：authorized_keys(4)、在主机vm2上面执行步骤1~3(5)、将vm1...

2016-05-06 10:20:00 151

转载搭建hive到eclipse里面

（1）下载源码git clone https://git-wip-us.apache.org/repos/asf/hive.gitgit clonehttps://github.com/apache/hive.git（2）编译cd hivemvn clean install -DskipTestsmvn eclipse:cleanmvn eclips...

2016-04-29 11:50:00 107

转载 mybaits不能出现小于号

org.xml.sax.SAXParseException; lineNumber: 146; columnNumber: 54; The content of elements must consist of well-formed character data or markup.配置文件如下 <select id="selectLastestBuildByGrou...

2016-04-19 17:28:00 121

转载结合rpyc使用python实现动态升级的方法

动态升级，就是程序不退出的情况下，将其代码更新的策略。假设集群含有多个机器，然后每个机器部署一套程序，当升级的时候就要去所有的上面部署一把。（1）有个包装程序专门负责接口并检查是否需要更新，当需要更新的时候，下载下来。（2）动态引用，将实质程序放到独立文件和文件夹下面，通过动态引用，调用的时候reload；客户端代码：import rpycimport sys...

2015-02-12 21:37:00 231

转载 secureCRT使用小贴士

（一）使用WIN键盘在securecrt界面：工具→键映射编辑器，在弹出的键盘中点击“home”，会弹出一个窗口，在“发送字符串”中输入：\033[1~另存为securecrt安装根目录下的Keymaps目录里即可，后缀是key结尾的文件，例如我的是home.key。用编辑器打开home.key文件，依次修改如下键值即可：//下面是标准的键效果E VK_END...

2015-01-29 22:17:00 165

转载大数据的实时技术

目前实时或者是准实时的大数据模型越来越多，技术是否先进并非流行的首要原因，社区圈子的繁荣与否才是最重要的。主要有Redshift-亚马逊出品的一款MPP支持PB级别数据库Hive-基于hadoop 上面的SQL引擎，将sql翻译为Map-Reduce任务；Shark- 基于spark计算框架，与Hive SQL兼容的SQL引擎；Impala- 通过类MP...

2015-01-15 17:43:00 174

转载 gnuplot使用

直接用yum安装gnuplot即可，例如sudo sh -c "yum install gnuplot.x86_64 "安装以后就可以使用了编写gnuplot脚本1 # grphist.conf2 set terminal png truecolor3 set output "grpimage.png"4 set grid5 set xtic rota...

2015-01-13 20:32:00 127

转载 Python3.4使用MySql

如何在Django1.6结合Python3.4版本中使用MySqldjango默认的mysql连接是Mysqldb，悲催的是此版本只支持到python2.7，oracle官方的mysql-connector也只有python2.7版本，你妹幸亏还有pymysql其他配置都一样，注意需要在app的__init__添加配置import pymysqlpymysql....

2014-12-26 14:29:00 116

转载 Hive 的排序

全排序：order by对全部所有的数据进行排序，在实现的时候是放到一个reduce中进行的，可以想象这样做效率是比较低的；局部排序：sort by对数据进行分组，然后在组内进行排序，每个reduce分别进行自己的排序；row_num()函数:row_num函数通常用over(partition by id)，把后面相同id的划分为一组，对这一组内的数据来进行排列；...

2014-11-12 13:08:00 138

转载 linux下date命令实现时间戳与日期的转换

1.查看指定时间的时间戳查看当前时间#date +%s查看指定时间#date -d 2008-01-01 +%s1199116800#date -d 20080101 +%s11991168002.将时间戳转换成date#date -d '1970-01-01 UTC 1199116800 seconds'2008年...

2014-08-22 15:06:00 155

转载 bcov进行覆盖率统计

kcov是在bcov基础上进行的，bcov已经很久没有维护了；首先需要下载依赖库libdwraft,然后在configure时候进行指定：./configure --with-libdwarf=/usr/local/lib然后make;make install(1)悲催的是编译过程中出现了错误‘PTRACE_O_TRACECLONE’ was not declared...

2014-07-18 16:50:00 148

转载对c++服务端进行覆盖率统计

（1）首先需要为每个被测程序的所有编译文件增加选项，如果文件太多，这无疑是灾难，可利用spec文件达到目的1 sed -i '$ a\export LD_PRELOAD=/usr/local/bin/ccover_tool/gcov_out.so' /home/ads/.bash_profile2 SPECFILE=`dirname $(g...

2014-07-16 17:57:00 297

转载 github基础命令

github被zf断断续续的墙掉，只能多试几次;习惯用svn了，作为git新手，把svn跟git命令对比了一下，瞬间发现好方便记忆了；（1）获取代码仓库克隆：https://github.com/cobbxia/cppcheckII.git这个命令相当于svn co $codebase（2）增加新文件到代码仓库中git add *相当于svn add（3）增...

2014-07-14 18:02:00 69

转载 gcc编译参数-fPIC问题 `a local symbol' can not be used when making a shared object;

gcc -shared -o hack.so hack.c/usr/bin/ld: /tmp/ccUZREwA.o: relocation R_X86_64_32 against `a local symbol' can not be used when making a shared object; recompile with -fPIC/tmp/ccUZREwA.o: could ...

2014-07-14 16:24:00 709

转载 namenode启动参数

namenode启动参数：-Xmx153600m -Xms153600m -Xmn4096m -verbose:gc -Xloggc:$LOG_DIR/namenode.gc.log -XX:ErrorFile=$LOG_DIR/hs_err_pid.log -XX:+PrintGCDateStamps -XX:+PrintGCDetails -XX:+HeapDumpOnOutOfMe...

2014-07-08 20:02:00 351

转载用gtest实现数据驱动的单元测试

//使用gtest进行数据驱动的单元测试#include <gtest/gtest.h> #include <iostream>#include <vector>#include <string>#include <fstream>#include "BuildAttrDesc.h"usin...

2014-07-04 10:18:00 287

转载 core文件找不到了

开始以为是core文件太大，设置ulimit -c unlimited 以后，再次访问，显示./a.out Segmentation fault (core dumped)但是却找不到这个文件的地方，最后sysctl kernel.core_patternkernel.core_pattern = /apsara/tubo/corefile/core-%e-%p-%t...

2014-06-25 19:07:00 2385

转载乐视的神刷新

乐视又在搞刷新了，乐视在打七伤拳，不是你死就是我活，超级电视对于乐视来说已经是必须成功的项目，否则乐视就只有倒闭这条路了。在6月10号之前，疯传的是乐视网勾搭360，实际这是乐视网的新品发布会。以s40为例，原来价格是1499+490=1989 新款s40 air，现在的价格是999+980=1979 乐视的升级产品主要出于下面三个目的：...

2014-06-10 22:46:00 192

空空如也

空空如也