- 博客(139)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 从小数据算法说起
说到算法工程师，大家的印象首先是学历要高，工资很高。从事的高端的工作，比如人工智能，比如机器学习什么的。目前流行的是大数据算法工程师，基于大数据的。但生活中往往有些东西没有大数据，只有小数据。基于这些小数据怎么来设计算法，怎么来提升某一行业的产品效果，目前没有一个清晰准备的思路。无意间翻到管理大师的德鲁克的著作，心有所感，谈谈小数据的算法来如何做，在我看来，小数据的算法其实应该比大数据的算法更另人心动。 小数据的算法是什么呢？简单来说，一个企业要提升目前和将来业绩，那要从营销和创新做...
2020-10-13 17:36:44
291
原创 Elasticsearch内存高问题解决整理
主要进行配置进行，调整如下：1、设置ES_HEAP_SIZE环境变量，保证JVM使用的最大和最小内存用量相同。如果设置的最小和最大内存不一样，这意味着当jvm需要额外的内存时（最多达到最大内存的大小），它会阻塞java进程来分配内存给它。结合使用旧版本的java情况就可以解释为什么集群中的节点会停顿、出现高负载和不断的进行内存分配的情况。elasticsearch团队建议给es设置50
2017-02-16 18:43:39
10557
转载 HBase概念及表格设计
1. 概述（扯淡~）HBase是一帮家伙看了Google发布的一片名为“BigTable”的论文以后，犹如醍醐灌顶，进而“山寨”出来的一套系统。由此可见： 1. 几乎所有的HBase中的理念，都可以从BigTable论文中得到解释。原文是英语的，而且还有不少数学概念，看了有点儿懵，建议网上找找学习笔记看看，差不多也就可以入门了。 2. Google确实牛X。 3. 老外也
2017-02-16 11:02:31
1197
原创 spring bean重新加载问题解决
背景：1、tomcat工程启动比较慢，会导致很长的一段时间无法对外提供服务。2、服务器数量比较多，更新一次运维会花比较长的时间。描述：对系统框架进行调整，把会频繁更新的功能，做成spring jar包，放在web站点，然后tomcat部署的系统自动向web站点请求最新的spring jar包。实现关键代码：1、jar包解析myClassLoader =
2016-04-22 16:21:11
8270
原创 git主库和子库的操作（submodule）
1、与主库关联$ git submodule add git@github.com:test/hdtlib.git modules/externlibmodules是表示主库当前目录中其中一个文件夹。这里的关联的意思是把modules/externlib与hdtlib子库关联起来。 2、更新所有子库的内容到本地主库$ git submodule foreach --rec
2015-08-12 12:12:00
1662
转载 hello samza不容易
为什么说不那么容易说hello呢，因为在整个过程中，你不仅要等待将近一个小时下载yarn、kafka、zookeeper，还且你还会遇到2个让你无法顺利执行的状况。借助原文，我会进行说明。Hello SamzaThe hello-samza project is a stand-alone project designed to help you run your first Sa
2015-06-28 13:42:49
1166
转载 git工作流
首页最新文章在线课程业界开发IT技术设计创业IT职场投稿更多 »- 导航条 -首页最新文章在线课程业界开发- Web前端- Python- Android- iOS- Java- C/C++- PHP- Ruby- GoIT技术- Linux- UNIX- MySQL- NoSQL- 数据库- Git- 算
2015-04-28 16:34:21
709
原创 windows下使用git拉取源码文件编码问题
如题，在进行拉取的时候，发现原先unix格式，会变成dos格式，后来发现使用git config --global core.autocrlf false或者直接改git的全局文件，设置false。当然如果原先就是要dos格式的话，那就把此选项改成true。
2015-04-28 14:37:56
5978
原创 gmock
My favorites ▼ | Sign ingooglemockGoogle C++ Mocking Framework Project HomeDownloadsWikiIssuesSourceExport to GitHubSearch Sea
2015-03-24 18:53:39
2849
原创 git svn --ignore-paths 注意点
--ignore-paths='(abc/Log|^*aa/Log)'1、正则不能太复杂2、只有第一个目录支持正则，其他子目录不支持正则，。
2015-02-28 15:56:03
1770
转载 gitlab升级脚本
cd /home/git/gitlabsudo -u git -H bundle exec rake gitlab:backup:create RAILS_ENV=productionsudo service gitlab stopcd /tmp/rubycd ruby-2.0.0-p481sudo make installsudo gem install bund
2015-02-25 17:05:36
736
原创 使用gitlab7.7.2需要注意的一些点
1、系统必须是6.0以上。2、gitlab中的配置。a、需注意的是gitlab.yml，注意https和非https的区别 b、unicorn.rb中的listen "127.0.0.1:8080", :tcp_nopush => true。 c、application.rb中的一些细的配置。 d、database.yml中用host配
2015-02-15 22:58:21
2435
转载 centos 6下安装gitlab，使用apache作为webserver
时间 2014-08-12 01:41:47 dzone.com: unix-linux 相似文章 (0)原文 http://hungred.com/how-to/installing-gitlab-centos-6-apache-server-cpanel-dns-server/Please
2015-02-12 11:12:17
3845
原创 centos5.6下testlink1.9.12安装
安装前准备：1、php5.4.37版本编译安装 2、yum install httpd&yum install httpd-devel3、yum install mysql&yum install mysql-devel&yum install mysql-server&yum install mysql-embedded(-devel)安装：1、从开源软件上下载
2015-02-04 16:57:27
2364
原创 centos5.6下php5.4最新版的安装
安装命令：./configure --prefix=/usr/local/php5.4 --with-apxs2=/usr/sbin/apxs --disable-debug --enable-safe-mode --enable-trans-sid --with-xml --with-mysql=/usr --with-libdir=lib64 --enable-short-tags --
2015-02-02 13:39:47
1057
转载 CentOS 5.5使用yum安装Apache+PHP+MySQL
一、安装centos5.5操作系统CentOS 开发社区已发布了新的 5.5 版本。CentOS 5.5 基于 Red Hat Enterpris Linux 5.5.0，其中包括 Kernel 2.6.18、Apache 2.2、PHP 5.1.6、MySQL 5.0、PostgreSQL 8、GNOME 2.16、KDE 3.5、OpenOffice.org 2.3、Firefox 3.0
2015-01-27 17:48:56
583
转载 真实的TDD
目前我正在教授一个为期两周的“敏捷开发实践”速成课，参加培训的团队成员都是非常传统的企业级Java开发者。要将社区中15年的进展浓缩到8个半天的实践课程中非常具有挑战性：在严格地时间约束下，教授什么思想和实践才能对这些开发者的职业生涯提供最大帮助呢？经过几天断断续续的思考，我至少得出了一个结论：传统上会介绍给新人的测试驱动开发（TDD）将不会出现在我的课程里。通常的TDD介绍存在着
2015-01-16 16:27:19
909
转载 单元测试中的 gtest and googlemock
单元测试概述测试并不只是测试工程师的责任，对于开发工程师，为了保证发布给测试环节的代码具有足够好的质量（ Quality ），为所编写的功能代码编写适量的单元测试是十分必要的。单元测试（ Unit Test ，模块测试）是开发者编写的一小段代码，用于检验被测代码的一个很小的、很明确的功能是否正确，通过编写单元测试可以在编码阶段发现程序编码错误，甚至是程序设计错误。单元测试不
2014-11-22 21:21:06
2116
转载 ios录制并写视频文件
转自：http://flhs-wdw.blog.sohu.com/207300574.html iphone提供了AVFoundation库来方便的操作多媒体设备，AVAssetWriter这个类可以方便的将图像和音频写成一个完整的视频文件。甚至将整个应用的操作录制下来，也不是什么困难的事情。 这里先说一下如何将录像的视频写到指定文件中去： 首先先准备好
2014-11-08 23:08:14
11085
转载 ios camera
1，ACCaptureSession： 用于组织Device，input和output之间的连接，类似于DShow的filter的连接。如果能够将input和output连接，则在start之后，数据将冲input输入到output。 主要的几个点： a)ACCaptureDevice 用于设备的定义，既camera device。 b)AV
2014-11-06 19:17:31
881
原创 iphone处理gb2312的网页
NSStringEncoding enc = CFStringConvertEncodingToNSStringEncoding(kCFStringEncodingGB_18030_2000);
2014-10-23 10:58:55
530
原创 linux 截取文件内容脚本
cat 1.log | while read line; do echo $line|tr -d '"'|awk '{if((match($0,"idfa") == 0)&&(match($0,"mac") > 0)){print substr($0,match($0,"mac"),17),substr($0,match($0,"clientIpAddress"),33)}}'|awk '{pri
2014-09-29 12:28:38
1425
转载 如何将app打包成deb包供越狱iphone在cydia源上下载安装
http://liang8305.github.com/ios/如何将app打包成deb包供越狱iphone在cydia源上下载安装/修改编译选项重新打包在工程的Build Settings -> Code Signing -> Code Signing Identity 选项, 将 Debug 和 Release 下的 Any iOS SDK 都设置为 Don't
2014-08-28 12:59:08
4367
转载 mac上如何添加dpkg命令
1: 先 安装 Macportshttp://www.macports.org/install.php ps:有可能会卡在最后一分钟，需要重启后断网安装即可。 2: 安装 dpkg sudo port -f install dpkg 等待
2014-08-28 12:58:06
7974
转载 ios上越狱开发，root权限获取
首先，只有在越狱的ios设备上才可以获取root权限，未越狱就不用考虑了！思路：用具有普通权限的app引导具有root权限的app。假设你的应用程序为Demo，引导程序为Start。具体步骤如下：1、在Demo工程main.m文件开头添加一句：setuid(0);编译你的程序。进入Demo.app文件把Demo的执行文件改名为Demo_2、在Start工程main.
2014-08-28 12:55:31
984
转载 ios上启用root特权
接触iOS开发还不到一个星期，看了O'Reilly出版的一本《Cocoa and Objective-C: Up and Running》作为入门书，描述的比较简单，很适合初学者入门。我看书基本上就是找重点看，找疑惑的地方着重理解，边理解也边开着XCode实践一下。所以，还是一天把它吸收了，第一次看至少能消化一半，回头看应该还能再理解透一点。我相信每个人一开始都会觉得objc的扩展语法很奇怪，不过
2014-08-28 12:54:50
1209
转载 puppet与nagios的结合
为了方便与puppet结合着用，所以接下去原本用源码编译的，统统改成用rpmbuild打包完，在放进自己建的源里面，本文也将说明本地源如何创建。 文中软件包nrpe，和nagios-plugins均由上篇文章的spec生成。 老规矩，先上架构图(ps:其实都差不多- -)：1.init.ppimport "*" 2.web.ppclass nag
2014-08-11 12:09:53
653
转载 移动调研
摘要：调查显示：移动研发团队规模整体偏小，大多数团队都是2到5人，移动应用平均开发周期主要在3个月以内，当前移动团队近5成的移动团队尚无收入，对盈利满意的只占到7.36％。网页游戏如今很流行，其最热门技术是HTML5。继之前发布《2014中国软件开发者调查（一）：Java最受欢迎 第二语言JS使用比例最高》和《2014中国软件开发者调查（二）：Java、.NET、Web、云计算技术应用
2014-06-24 16:23:27
980
原创 tcpcopy-0.6.5的使用
测试机： TCPCopy server （root用户执行） 1）启动内核模块ip_queue (modprobe ip_queue) 2）设置要截获的端口，并且设置对output截获 iptables -I OUTPUT -p tcp --sport port
2014-04-22 13:40:39
818
转载 Storm集群安装部署步骤【详细版】
启动Storm各个后台进程最后一步，启动Storm的所有后台进程。和Zookeeper一样，Storm也是快速失败（fail-fast)的系统，这样Storm才能在任意时刻被停止，并且当进程重启后被正确地恢复执行。这也是为什么Storm不在进程内保存状态的原因，即使Nimbus或Supervisors被重启，运行中的Topologies不会受到影响。以下是启动Storm各个后台进程的方式：
2014-02-17 12:05:40
3133
原创 centos下zeromq和jzmq的安装
zeromq： yum install uuid-devel yum install libuuid-devel jzmq： 安装完zermq之后。 设置好java_home的环境变量。（root用户下/root/.bash_profile，命令source /root/.bash_profile）
2014-02-17 12:03:41
1809
转载 不用轻易使用kill -9
Perl语言专家Randal Schwartz在一篇短文里这样写：no no no.不要使用kill -9.它没有给进程留下善后的机会：1) 关闭socket链接2) 清理临时文件3) 将自己将要被销毁的消息通知给子进程4) 重置自己的终止状态等等。通常，应该发送15，等一两秒钟，如果没效果，发送2，如果还不行，发送1。如果还不行
2014-02-10 15:16:02
955
原创 linux 调试相关(core dump)
1、设置core dump文件路径修改文件/proc/sys/kernel/core_pattern，可设置core dump文件路径和格式。例如：/data/coredump/core-%e-%p-%t 2、设置生成core dump文件修改文件/etc/profile，可设置生成core dump文件。可在文件中增加以下文本：ulimit -S -c unlimited
2013-12-09 10:10:24
573
原创 windbg符号文件路径设置
系统自动下载符号文件路径：srv*d:\symcachel*http://msdl.microsoft.com/download/symbols，完整的符号文件路径：c:\pdb;srv*d:\symcache*http://msdl.microsoft.com/download/symbols
2013-07-17 09:41:01
2944
转载 C/C++代码覆盖率工具：gcov和lcov的使用入门 .
一下文章摘自 http://magustest.com/blog/whiteboxtesting/using-gcov-lcov/ gcov是一个可用于C/C++的代码覆盖工具，是gcc的内建工具。下面介绍一下如何利用gcov来收集代码覆盖信息。想要用gcov收集代码覆盖信息，需要在gcc编译代码的时候加上这2个选项 “-fprofile-arcs -ftest-coverage
2013-06-21 17:55:09
1108
转载 CentOS下安装使用start-stop-daemon
CentOS是没有start-stop-daemon的，因为start-stop-daemon在debian的dpkg包里。要安装的话，需要自己折腾。相关命令如下：wget http://developer.axis.com/download/distribution/apps-sys-utils-start-stop-daemon-IR1_9_18-2.tar.gztar z
2013-06-20 10:59:42
4953
1
原创 linux常用命令整理
1、内存和CPU查看。top -b -n 1 |grep 进程名|awk '{print "cpu:"$9"%","mem:"$10"%"}'2、RSS-------------进程实际占用物理内存大小；VSZ--------------任务虚拟地址空间的大小ps -aux|grep 进程名3、进程详细信息cat /proc/进程id/status4、检查所需要
2013-04-17 09:56:57
585
原创 voltdb3.0和redis单节点的性能比对
目标：在相同的硬件和软件环境下，比较voltdb3.0和redis存取的性能。硬件环境：800M内存，单核。软件环境：CentOS6.0 64位。Voltdb：运行voltdb中自带的例子程序voltkv来得到其性能数据。redis：运行redis中对应的benchmark来获取其性能数据。voltdb性能测试结果：-----------------
2013-02-17 10:09:38
3752
转载 http://blog.youkuaiyun.com/redroot/article/details/1473009
我装的系统是Ubuntu linux，在自己装了java1.4，装了Firefox的java插件后系统有三个版本的java，写的Java串口程序在终端可以运行但是放到网页中就不行了，经常报no rxtxSerial in java.library.path的错误，由于我在/etc/profile中也有设置java路径，所以一直到处试都不能解决整个问题，也不知道系统当前的java.library.p
2013-01-16 17:58:48
786
原创 hadoop学习笔记
hadoop主要是由HDFS(分布式文件系统)和MapReduce（分布式计算系统）两大部分组成。HDFS是分布式文件系统，它把文件安装一定大小（64M）分成多份，每份复制多块分布在不同数据节点上，例如：hadoop系统是分布在两个不同机架（机房）上的，每块文件复制3份的话，1份放在不同机架，两份则放在经常读取的机架。这样做即提升了性能，又保证了数据的安全行。MapReduce则是先把数据进行一定
2013-01-16 16:12:03
473
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人