zhanqixuan22的博客

原创 golang抓取AWS月度账单

抓取AWS账单，可按月按天等进行聚合

原创 Elasticsearch +Kibana+logstash 搭建简记

[下载地址：][1] [1]: https://www.elastic.co/downloads首先下载并解压ES: wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-6.5.0.tar.gz tar -zxvf elasticsearch-6.5.0.tar.gz...

原创 linux 下安装并运行logstash 且导入mysql数据到Elasticsearch

先找到官方下载地址：[https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz][1] [1]: https://artifacts.elastic.co/downloads/logstash/logstash-6.2.2.tar.gz这里请酌情修改：然后解压 ：tar -zxvf logstash-6...

原创 elasticsearch: max virtual memory areas vm.max_map_count [65530] likely too low, increase to at leas

解决方案：把虚拟内存设置大点 sudo sysctl -w vm.max_map_count=262144

原创 通过kibana修改已经建好的索引的字段类型或索引类型

POST /test_kibana/product/_mapping?pretty { "properties": { "@timestamp":{ "format":"strict_date_optional_time||epoch_millis", ...

原创 jupyter-notebook 修改默认的python版本

因为我电脑上存在多个python版本，而jupyter默认的是3.7但是我现在想用3.6的，如果临时修改，可以直接：import osos.environ["PYSPARK_PYTHON"] = "/usr/bin/python3.6"当然也可以修改～/.bashrcexport PYSPARK_PYTHON=/usr/bin/python3.6最后 sou...

原创 PHP 版elasticsearch 数据更新update和updateByQuery方法

用ES的时候常常会遇见更新数据的情况，这里做个简单介绍：首先最常用的，也是最效率的方法是根据id去更新，这时候调用的是update方法： public static function updateEsById($id,$data = []) { if (empty($id) || empty($data)){ ...

原创 elasticsearch 调用update方法报错： Too many dynamic script compilations within, max: [75/5m]

{"took":2,"timed_out":false,"total":1,"updated":0,"deleted":0,"batches":1,"version_conflicts":1,"noops":0,"retries":{"bulk":0,"search":0},"throttled_millis":0,"requests_per_second":-1.0,"throttled...

原创 Thinkphp 3.2.3安装mongodb扩展后报错：系统不支持：Mongo

首先我利用： pecl install mongodb安装了扩展，并且引入了php.ini，重启nginx后： echo phpinfo();可以看到Mongodb扩展已经启用了但是当实例化对象的时候却报错： 系统不支持:Mongo 错误位置 FILE: /www/kf/ThinkPHP/Library/Think/Db/Driver/M...

原创 Alpine Linux 时间同步

先安装： apk add chrony (1/2) Installing libcap (2.25-r1) (2/2) Installing chrony (3.2-r2) Executing chrony-3.2-r2.pre-install Executing busybox-1.27.2-r11.trigger OK: 831 MiB in 8...

原创 python提取邮件内容和附件（草稿版）

如果没安装python环境，可以参考： https://mirrors.tuna.tsinghua.edu.cn/help/anaconda/ #!/usr/bin/env python3 # -*- coding: utf-8 -*- from email.parser import Parser from email.header im...

原创 PHP二分法（折半查找）

二分法思想：首先前提是要查找的数组对象是有序数组，这里以从小到大为例，然后所谓折半就是，每次将目标数组一分为二，取出位于数组中间的那个值，这里记为$a[$middle]若$a[$middle]比我们要查找的数小，那说明我们要查找的部分位于$a[$middle]值的右边，从而利用递归再对右侧的数组进行同样的算法，直到结束为止。反之，若$a[$middle]比我们要查找的数大，那说明我们要查

原创 IE 阻止了iframe里面应用生成…

1.页面里的COOKIE不能是浏览器进程的COOKIE(包括验证票和不设置超时时间的COOKIE),否则跨域会取不到.这点做跨域COOKIE的人比较少提到.不过实际上留意下几家大学做的方案,有细微的提到他们的验证模块里的COOKIE是有设置超时时间的.2.当利用IFRAME时,记得要在相应的动态页的页头添加一下P3P的信息,否则IE会自觉的把IFRAME框里的COOKIE给阻止掉,产生问题.

转载 PHP解决多进程同时读写一个…

原文地址：PHP解决多进程同时读写一个文件的问题作者：陌上花开首先PHP是支持进程的而不支持多线程（这个先搞清楚了），如果是对于文件操作，其实你只需要给文件加锁就能解决，不需要其它操作，PHP的flock已经帮你搞定了。用flock在写文件前先锁上，等写完后解锁，这样就实现了多线程同时读写一个文件避免冲突。大概就是下面这个流程/**flock(file,lock,block)...

原创 PHP如何修改和获取private变量的值

有时候为了安全，我们需要把把类的属性定义为private。但是，但是我们有时候却需要去操作这些私有成员变量，如果直接访问是会报错的，因此在PHP5中，预定义了两个函数“__get()”和“__set()”来为私有成员变量赋值和获取值,以及检查属性的“__isset()”和删除属性的方法“__unset()”。在PHP5中给我们提供了专门为私有成员变量设置值和获取值的方法，“__set()”和

原创 PHP实现中文字串截取无乱码的方法…

在ASCII中，0xa0表示汉字的开始 其中php中的一个函数ord()函数 此函数功能返回一个字符的askii码值；如ord('A')=65; 请看此函数 实现中文字串截取无这是明显用来处理截取一段汉字的程序，在ASCII中，0xa0表示汉字的开始其中php中的一个函数ord()函数此函数功能返回一个字符的askii码值；如ord('A')=65;请看此函数实

原创 PHP遍历一个目录下的文件夹和文件

function scan_dir($dir){$i = 0;if ($handle =opendir($dir)){while (false !==($file = readdir($handle))){if ($file !="."&& $file !=".."){$fullpath = $dir."/".$file;if (is_dir($fullpath)){scandir(

原创 JS 简单封装的Cookie对象

//cookievar CookieHelper = { setCookie:function(name, value, expiry, path, domain, secure){ var nameString = "ck_"+name + "=" + value; var expiryString = ""; if (expiry != ...

原创 js跨域访问，No ‘Access-Cont…

最近在用cocos2d-js做游戏时，在本地用ajax跨域访问请求时报错：XMLHttpRequest cannot loadhttp://www.zjblogs.com/.No 'Access-Control-Allow-Origin' header is present on the requestedresource. Origin 'null' is therefore

原创 apache 虚拟主机配置

首先修改httpd 文件# Virtual hostsInclude conf/extra/httpd-vhosts.conf 去掉这行的注释然后这里随便说下配置默认页面：    DirectoryIndexindex.html index.php他默认为index.html 这里我加了index.php ，你可以按需求添加然后打开httpd-vhosts.conf文件

原创 JS单例模式

// 游戏管理对象，单例类var GameManager = (function () {    function _GameManager(){       // 敌人[波组]       this.groupVector = [];       // 敌人[数组]       this.enemyVector = [];       // 子弹[数组]     

原创 linux下SVN提交代码时报 $SVN…

完整错误提示如下：svn: 提交失败(细节如下):svn: 无法使用外部编辑器获得日志信息；考虑设置环境变量 $SVN_EDITOR，或者使用 --message (-m)或 --file (-F) 选项svn: 没有设置 SVN_EDITOR，VISUAL 或 EDITOR 环境变量，运行时的配置参数中也没有“editor-cmd” 选项解决办法：直接执行命令export SV

原创 关于PHPHeader("Location:;")重定向

大家都知道该重定向在我们的程序中使用的地方非常多，这里只需要一句代码，如下：Header("Location:/monitor.php?action=account");便可以重定向到我们想要的action.但是值得注意的是，如果使用不当很容易造成BUG（当然我这里是给新手们介绍，有经验的程序员可能早已经知道了，请绕道，勿喷，谢谢），请看如下代码：Header("Lo...

原创 PHP 一维关联数组，根据value大小…

本例是按降序排，并取出前50$tagsList为需要排序的数组$tagArray = _array_sort($tagsList,"desc");$tag = json_encode(array_slice($tagArray,0,50));public  function _array_sort($array,$type='asc'){$result=array();for

原创 JS实现云标签

废话少说 直接上图效果如图，其中字体最大的表示出现次数最多，实现很简单只需引入 wordcloud2.js然后定义一个画布，这里id为“canvas”宽度大小根据情况而定。然后是定义option选项，这个是这个样式的关键，当然你可以根据你的喜欢设置你喜欢的样式，var option={  list:data,  gridSize: Math.round(16 *$(

原创 PHP 生成验证码

这个是在user.php下的一个action：function scode(){//include_once(__DIR__.'/include.php' );Header("Content-type:image/gif");$border = 1; //是否要边框 1要:0不要$how = 4; //验证码位数$w = $how*15; //图片宽度$h = 20; //图片

原创 解决关于Wordpress在SAE平台上无法…

最近在帮朋友搭建一个wordpress玩，当部署到SAE后，由于SAE不支持文件写入，所以造成有缩略图的文章或者需要上传图片的文章图片不能正常显示。自己看了下wordpress的源码花了点时间解决了这个问题，做个记录。首先大家知道SAE有自己是storage用来储存资源，你可以在SAE下创建一个domain用于储存我这里的名字是“wordpress”然后可以查询新浪的相关文档，看看如

原创 sphinx xmlpipe2数据源配置

首先是一个工具类SphinxXMLFeed用于将数据写入xml:此处是采用了hash 算法将数据写入10个xml,你可以根据自己需求改动，如果数据量不大只写入一个也行，只需写死文件名。class SphinxXMLFeed extends XMLWriter{private $fields = array();private $attributes = array();public

原创 Sphinx增量索引

在Sphinx+LibMMSeg搭建中文全文搜索引擎_安装配置中安装试验了Sphinx 的使用，但是还有几方面的问题有待处理。用来建立索引的分词数据动态增量索引更新索引在前端的界面的表现使用本篇主要是对动态增量更新的一些研究。关于分词数据的建立和前端界面的控制将在以后研究。在利用 Sphinx 做搜索引擎的时候，一般他的索引建立构成有如下几个部分：固定不变的主索引增量索引重

原创 php获取远程图片并下载保存到本地

function getImage($url,$save_dir='',$filename=''){if(trim($url)==''){returnarray('file_name'=>'','save_path'=>'','error'=>1);}if(trim($save_dir)==''){$save_dir='./';}if(trim($filename)==''){//

原创 Your PHP installation&…

Your PHP installation appears to be missing the MySQL extensionwhich is required by WordPressBy Cliff8.一月 2009我是按以下步骤解决问题的：In the Php.ini file (on my machine this is located atC:\Windows):Se

原创 Cocos2d-js环境搭建

一、准备工作1.安装python2.7x，注意必须是2.7x，这里有的可能已经安装了python3.0版本，但是目前的v3.0bate版本有的地方不支持，所以必须是2.7x版本，链接： Python2.7.62.下载Android SDK Android 链接：SDK3.下载Android NDK 链接：NDK4.下载Cocos2d-JS3.0版本，解压，这里博主解压到了Apa

原创 php readfile()，解决下载文…

最近项目遇见了这个错误。下载报表时数据量太大，文件达到了300多M，这时出现了“页面未找到”的错误，开始以为是服务器文件不存在，后来看了下确实有的，然后尝试了多次，发现小文件是可以下载的。于是确定是文件太大的原因。在网上找了很多资料（百度还是太不靠谱，关键时刻还是得靠google），最后解决了。直接上代码：set_time_limit(0);ini_set('memory_limit', '

原创 PHP的一个HttpClient类

原创 无聊随笔

最怕记忆太清晰最怕想起你的声音最怕你不言不语偷偷地哭泣最怕再没有你的消息 我们就像轮回的电影永远看不到故事的结局若今生注定不离不弃我想答案只能是你 思念如果可以传递心痛是否可以哭出声音为何你陪我走过最难忘的旅行却要留下最痛的记忆 你是那天边的雨还是那湖畔的亭我想我再也分不清

原创 PHPExcel导出

该方法是我根据自己项目需求写的，，有些细节地方需要根据情况修改。我简单解说下参数：data是数据列表colums是要显示的列在data中对应的字段名names是要显示的列的名称name是Excel文件的文件名，调用很简单 如下：$map=self::detail($startTime,$endTime, $detailType,$followerType, $pn==0?

原创 Jquery+CSS实现分页

1.首先是JQ的代码，就一个方法：setpage = function(pn,option,num,$$){if($$&&typeof($$)=="object")_$=function(s){return window.$(s,$$);};else _$=window.$;num=num||30;var p=_$("#info").attr("total"),pagecount

原创 PHP上传图片，以及为图片添加简单…

// 上传文件类型列表$uptypes = array ('image/jpg','image/png','image/jpeg','image/pjpeg','image/gif','image/bmp','image/x-png');$max_file_size = 20000000;              //上传文件大小限制，单位BYTE$destinati

原创 JAVA反射机制的应用实例（将任一va…

private  void setPropertyDetail(T t,Stringname,Object value) throws NoSuchMethodException,NoSuchFieldException{Class c =t.getClass();String newName ="set"+name.substring(0,1).toUpperCase()+name.s

原创 centos 6.3 安装git:&nb…

今天用yum安装git的时候遇到了一个问题yum install git报错Requires:libcurl.so.3()(64bit)因为自己不是很懂linux，于是找朋友帮忙看了下。话说他也折腾了好一会，最后找到了答案：运行 yum install git--disablerepo=rpmforge搞定。尽管不明白其中原因，还是在此记录一下。