<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[猫爷大数据学习笔记]]></title><description><![CDATA[总结这近２年来学习开发笔记和心得]]></description><link>https://blog.youkuaiyun.com/wangqi880</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; wangqi880]]></copyright><item><title><![CDATA[es使用同义词插件注意事项]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/126140841</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/126140841</guid><author>wangqi880</author><pubDate>Wed, 03 Aug 2022 16:16:24 +0800</pubDate><description><![CDATA[springboot 集成es同义词，从安装到线上部署遇到的坑]]></description><category></category></item><item><title><![CDATA[设计模式-适配器模式]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/107799490</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/107799490</guid><author>wangqi880</author><pubDate>Tue, 04 Aug 2020 22:05:57 +0800</pubDate><description><![CDATA[适配器模式谢谢1适配器概念2 3个角色3 uml图4 demo5真实案列 多种缓存统一使用方式
谢谢
你好！
1适配器概念
是一种转换器，把不兼容接口兼容了，也可以理解为把一个类的接口转成另外一个接口。分为结构适配器（调用）和类适配器（继承）。
2 3个角色
Target:目标，就是要实现的功能，接口或者抽象类
Adaptee:适配者，就是适配器中的组件，可以理解为真实处理业务需求的类。
Adapter:适配器，转换器，通过继承或者引用适配者的对象，把适配者接口转成目标接口
3 uml图
4 demo
pa]]></description><category></category></item><item><title><![CDATA[spring mvc的几种使用方式1]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/71598544</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/71598544</guid><author>wangqi880</author><pubDate>Wed, 10 May 2017 22:54:04 +0800</pubDate><description><![CDATA[1将请求映射到方法上//get方式的rest风格请求，路径带有参数
@RequestMapping("/accounts/{username}")
//使用正则表达式
@RequestMapping("/accounts/{username:.*}"
//根据foo参数的有无匹配请求
@RequestMapping(parameters="foo")
@RequestMapping(paramete]]></description><category></category></item><item><title><![CDATA[GBDT和随机森林的区别]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/70208101</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/70208101</guid><author>wangqi880</author><pubDate>Mon, 17 Apr 2017 10:38:59 +0800</pubDate><description><![CDATA[1背景 
以前把这两个搞混了2随机森林 
说道随机森林就要提bagging集成方法。bagging才用有放回的抽样。下图时bagging的示意图。 
 
随机森林是bagging的一种扩展，在k个数据集选择的时候后，引入了随机属性选择。加入所有属性个数为d，k是随机选择的属性个数。那么k=d的时候，就没有改变。那么k=1的时候后，随机选择一个属性用于计算。推荐的k=log2d. 
随机森林的基学习器]]></description><category></category></item><item><title><![CDATA[jenkins+svn+maven+tomcat一键构建部署]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/70169916</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/70169916</guid><author>wangqi880</author><pubDate>Fri, 14 Apr 2017 11:33:19 +0800</pubDate><description><![CDATA[1背景  
这是这种多人协同开发，自动构建，自动部署的方案。就不用自己打包，然后上传部署了，解放人力，便于管理。这里只是简单介绍各自软件的使用与集成，其实不论svn和maven还有很多实用的用法，svn的管理规划，maven的仓库等。 
svn用来做代码版本管理，maven用来编译，tomcat是web容器，jenkins是自动化构建的工具。这里没使用nginx来做方向代理，以后做 
软件版本 
j]]></description><category></category></item><item><title><![CDATA[kryo的速度测试]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/69802808</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/69802808</guid><author>wangqi880</author><pubDate>Sun, 09 Apr 2017 10:44:51 +0800</pubDate><description><![CDATA[1背景介绍 
这里主要想测试一些spark的优化方式之一的kryo。场景为通过数1000w的数据，通过日期分组，求一个点击字段的sum。使用了kryo和没使用kryo的时间对比。这里由于环境限制，主要是使用到了kryo在各个机器之间的传输序列化（这里是内网很快），传入内存序列化，磁盘数据RDD的序列化（这个案列没有用到）。数据格式： 
id,addtime,deviceNum,itemid,op_t]]></description><category></category></item><item><title><![CDATA[SSO的一种方案]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/69565530</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/69565530</guid><author>wangqi880</author><pubDate>Fri, 07 Apr 2017 15:53:39 +0800</pubDate><description><![CDATA[今天分享一个解决web开发中的SSO的一种方案。1背景 
技术： 
java,redis,spring,spring mvc,jackson,httpclient，mybatis,mysql。 
这里主要以后台服务的概念来实现，这要求前段会把很多效果都写好，后端只注重服务。下面是一个图片的介绍哈。 
2要点讲解 
所有的返回数据格式为json格式 
1sso是一个单独的服务，这里单独抽象出来，功能有]]></description><category></category></item><item><title><![CDATA[Codis的安装与使用2]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/65629043</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/65629043</guid><author>wangqi880</author><pubDate>Fri, 24 Mar 2017 12:08:31 +0800</pubDate><description><![CDATA[一背景 
上一篇谢了codis的安装与使用 
这里解决以前遗留下来的问题 
1修改zookeeper的ip地址，以前是127.0.0.1这里修改为192.168.247.140，因为java代码需要连接zk，需要ip和端口。 
2java连接codis的一些坑点，需要配置proxy的jodis才行。一更新配置与启动服务 
修改zk配置，全部修改为192.168.247.140 
修改dashboar]]></description><category></category></item><item><title><![CDATA[Codis的安装与使用]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/65443830</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/65443830</guid><author>wangqi880</author><pubDate>Thu, 23 Mar 2017 16:13:30 +0800</pubDate><description><![CDATA[1背景 
codis的github地址，里面很全，并且是中文的，但是按照他的步骤还是有些坑哈 
https://github.com/CodisLabs/codiscodis是一种基于高可用的redis集群的一种带来，使用go语言编写。被广泛使用到豌豆荚和其他公司。 
https://github.com/CodisLabs/codis/releases 可以下载各种版本 
codis特点： 
图形]]></description><category></category></item><item><title><![CDATA[redis的集群搭建与添加节点]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/64439833</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/64439833</guid><author>wangqi880</author><pubDate>Tue, 21 Mar 2017 12:06:39 +0800</pubDate><description><![CDATA[1背景 
参考https://redis.io/topics/cluster-tutorial 官方redis集群创建环境： 
redis-3.2.8 
虚拟机centos6.5 
ip:192.168.247.135单机目录，前提已经把redis的单机环境配置过哈 
/usr/local/redis集群目录结构，分别代表的是端口号7000-7005 
/usr/local/rediscluster]]></description><category></category></item><item><title><![CDATA[性能测试Jmeter的使用]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/62955315</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/62955315</guid><author>wangqi880</author><pubDate>Fri, 17 Mar 2017 23:28:15 +0800</pubDate><description><![CDATA[本次测试使用了分部署服务哈，并且tomcat的接口是从redis取数哈。 
1环境 
1个mysql数据库，内存1个，cpu 1核 
tomcat的web服务器,内存2g，cpu 2核，部署分布式tomcat服务，2个tomcat 
reids缓存服务器，1g内存，cpu 1核 
全部是虚拟机哈： 
 
/usr/local/tomcat 
 
tomcat1的端口为：8080 
tomcat2的端]]></description><category></category></item><item><title><![CDATA[open nsfw封装成接口]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/62037654</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/62037654</guid><author>wangqi880</author><pubDate>Tue, 14 Mar 2017 12:45:57 +0800</pubDate><description><![CDATA[承接上文：http://blog.youkuaiyun.com/wangqi880/article/details/62037078 黄图识别-open nsfw为了使用的方便和提供别人好用，想把open nsfw封装成http形式的接口，别人通过上传图片，就可以得到这图片的nsfw score. 
由于本人技术有限，python不太熟悉，自己整理了一套方案如下： 
1因为图片需要上传到服务器之后，才能调用py]]></description><category></category></item><item><title><![CDATA[黄图识别-open nsfw]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/62037078</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/62037078</guid><author>wangqi880</author><pubDate>Tue, 14 Mar 2017 10:03:58 +0800</pubDate><description><![CDATA[大楷简介： 
open nsfw是一款开源的黄图识别的模型。对的，只是模型。并且有有python的代码作为预测图片是否黄图。 
https://github.com/yahoo/open_nsfw 这里网址。 
open nsfw是雅虎开源项目caffeonspark，使用深度学习训练得到caffe模型。nsfw翻译为不可在工作中看的图片。主要是针对黄图的，恐怖，血腥图片不能识别。 
1 快速开始]]></description><category></category></item><item><title><![CDATA[微信小程序的部署]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/60869822</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/60869822</guid><author>wangqi880</author><pubDate>Wed, 08 Mar 2017 11:56:01 +0800</pubDate><description><![CDATA[部署环境： 
jdk1.7 
mysql5.6 
tomcat7 
centos6.51资料准备 
1)linux服务器，推荐使用阿里云，这里预算有限，所以使用了香港的低配服务器。 
2)域名，这里是在阿里云平台上申请的，没有申请到cn，因为身份证信息和网上查询的有问题，我是转到学校的，所以没有审核通过。这里使用的是国际域名。通过审核才能用哈。 
3)ac证书，这里也是在阿里云平台申请的，一年免费版]]></description><category></category></item><item><title><![CDATA[Git与Github快速学习上手]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/52988911</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/52988911</guid><author>wangqi880</author><pubDate>Mon, 31 Oct 2016 23:56:33 +0800</pubDate><description><![CDATA[一Github的学习和上手资料总结 
对于我这种小白来说，git与github以前只听过大名，今天看了一篇博客之后，感觉别人写的很好，这里我大家分享下.看他的博客的话， 大楷2个小时，就基本比较了解git和github，并且可以练习完它的列子。 
来自stormzhang从0开始学习 GitHub 系列之「01.初识 GitHub」 从0开始学习 GitHub 系列之「02.加入 GitHub」从0]]></description><category></category></item><item><title><![CDATA[ntp-实现时间同步]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/52984150</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/52984150</guid><author>wangqi880</author><pubDate>Mon, 31 Oct 2016 17:24:12 +0800</pubDate><description><![CDATA[一背景介绍已经安装好crontab和ntp，系统centos6.5，一般不是最小化安装都会有哈。集群一定要搭建时间同步机制，不然运行久了，job运行会非常慢。 
二搭建内网NTP服务器，通过此服务器进行时间同步1修改配置文件vim /etc/ntp.conf# For more information about this file, see the man pages
# ntp.conf(5),]]></description><category></category></item><item><title><![CDATA[基于Spark的Als算法+自迭代+Spark2.0新写法]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/52923356</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/52923356</guid><author>wangqi880</author><pubDate>Tue, 25 Oct 2016 16:13:57 +0800</pubDate><description><![CDATA[主要介绍了一下几点： 
1矩阵分解的几种算法 
2spark使用矩阵分解的几种方式，1ml 包中使用，2mllib包中的使用，其实有不调用包自己写的案列（可以去看看哈，就在example目录） 
3使用ALS做推荐的一个比较详细的流程：1自迭代确定比较优的参数是，2使用参数训练模型，3使用模型推荐topn的物品给用户 
4讲了怎么自迭代ALS算法参数，感觉这个还重要点 
5提交spark的报了一个错]]></description><category></category></item><item><title><![CDATA[基于Spark的FPGrowth（关联规则算法）]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/52910078</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/52910078</guid><author>wangqi880</author><pubDate>Mon, 24 Oct 2016 11:34:10 +0800</pubDate><description><![CDATA[在推荐中，关联规则推荐使用的比较频繁，毕竟是通过概率来预测的，易于理解且准确度比较高，不过有一个缺点为，想要覆盖推荐物品的数量，就要降低支持度与置信度。过高的支持度与置信度会导致物品覆盖不过，这里需要其他的推荐方法合作，建议使用基于Spark的模型推荐算法（矩阵分解+ALS）.一FPGrowth算法描述：FPGrowth算法概念：支持度，置信度，提升度(Spark好像没有计算这个的函数，需要自己计算]]></description><category></category></item><item><title><![CDATA[Spark的逻辑回归与P_R_F评估]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/52886202</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/52886202</guid><author>wangqi880</author><pubDate>Fri, 21 Oct 2016 18:49:37 +0800</pubDate><description><![CDATA[Spark的逻辑回归与P_R_F评估1逻辑回归可以使用预测2分类的场景，必须使用已经有分类的样本，然后经过训练，预测未分类的样本的Lable，输出是概率，表示一般为正的概率是好多。输入: 
libsvn数据 
样本如下： 
sample_binary_classification_data.txt在spark的目录中有，属性太多了就不复制了。一般这种数据是存在表中，att1,att2…attn,La]]></description><category></category></item><item><title><![CDATA[spark基于用户的协同过滤算法与坑点，提交job]]></title><link>https://blog.youkuaiyun.com/wangqi880/article/details/52883455</link><guid>https://blog.youkuaiyun.com/wangqi880/article/details/52883455</guid><author>wangqi880</author><pubDate>Fri, 21 Oct 2016 15:48:00 +0800</pubDate><description><![CDATA[承接上文： 
http://blog.youkuaiyun.com/wangqi880/article/details/52875524 
对了，每台机子的防火墙要关闭哈，不然spark集群启动不起来 
前一次，已经把spark的分布式集群布置好了，今天写一个简单的案例来运行。会写一些关于spark的推荐的东西，这里主要有4点，1基于用户协同过滤，2基于物品协同过滤，3基于模型的协同过滤，4基于关联规则的推荐（]]></description><category></category></item></channel></rss>