- 博客(17)
- 收藏
- 关注
RSS订阅
原创 机器学习入门--协同过滤算法[推荐算法]
一、推荐算法前言 大数据时代产生了海量的数据，数据对企业来说是一种隐形的资产，里面蕴含了丰富的价值。但是，大数据体量之大、种类之繁以及产生速率之快，海量的数据并不都是有价值的，用户从海量的数据中提取有用的、针对性的信息需要花费很大的时间成本。比如，当你面对如此多的电影列表，你想找到一部最符合自己兴趣的电影，因为电影数量之多，你不可能把所有的电影简介都看一遍。那么怎么解决这个问题呢？
2018-01-16 18:30:50
43379
9
原创 抓取百度&搜狗相关搜索、筛选文本相似度最高的相关搜索(PHP)
<?phperror_reporting(E_ERROR);print_r(curl_get_max_similarity__keyword("世界最受欢迎的明星"));/** * 获取相似度最高的相关搜索 * @param string $keyword 关键字 * @return string 返回字符串 */function curl_get_max_similarity__keyword($keyword) { //获取相关搜索 $relate_keyword_
2020-11-21 14:13:16
956
原创 Spring注解@ConfigurationProperties
@ConfigurationProperties是一个外部化配置注解，比如外部的.properties属性文件。使用该注解，可以实现把外部的属性绑定到Bean实例，也可以实现在绑定的过程对外部属性进行合法性验证。一、@ConfigurationProperties如何使用@ConfigurationProperties注解通常放在类上使用，比如：@ConfigurationPropertie...
2020-01-06 18:57:37
1139
1
原创 一张图讲清楚SpringMVC运行原理，以及拦截器&过滤器区别与执行顺序
本文目录一、一张图讲清过滤器与拦截器在SpringMVC请求响应流程情况二、Filter过滤器在SpringBoot项目中使用说明1、注解方式2、编码方式三、Interceptor拦截器在SpringBoot项目中使用说明1、继承`WebMvcConfigurationSupport`+`@Configuration 或 @Component`注解四、SpringMVC运行原理源码解读一、一张图...
2019-12-05 12:04:16
2056
3
原创 docker部署GitLab配置本机自动备份、自动清理
自动备份1.创建备份脚本文件auto_backup.sh：#！ /bin/bashdocker exec gitlab gitlab-rake gitlab:backup:create2.运行crontab -e命令创建定时任务：0 2 * * * root /home/gitlab/sh/auto_backup.sh0 2 * * *每天凌晨两点自动清理备份1.创建备份脚...
2019-07-27 19:18:37
1631
转载 【产品】产品之术：一目了然的状态机图
什么状态机图，它的使用场景是什么？文章为你解读。一、什么是状态机？做产品的时候，我们总能遇到一些比较复杂的逻辑问题。比如状态的转换，字段状态的确认，权限的控制，状态的对应。而普通的流程图，或时序图，更侧重于流程和动作的描述，对于对象和状态的解读缺乏直观。这里我们推荐一种方式，就是画一个简单的状态机图：那么什么是状态机呢？状态机我们将的一般是指有限状态机：有限状态机，（英语：Fi...
2018-09-21 18:29:41
3359
原创 【GitLab】GitLab数据自动删除、自动备份
GitLab数据手动备份1、GitLab默认备份目录为/var/opt/gitlab/backups，可以修改/etc/gitlab/gitlab.rb里面的默认存放备份文件目录，这里使用默认备份目录：gitlab_rails['backup_path'] = '/var/opt/gitlab/backups' 如果修改默认备份目录，需要运行gitlab-ctl reconfi...
2018-09-15 14:29:30
4915
1
转载 【产品】BRD、MRD 和 PRD 之间的区别与联系
1.非常细节的、已知的、已有产品改善类的功能，提供PRD级别的即可； 2.一般产品的新系统、较综合的新功能实现，提供MRD； 3.全新的产品、较为重要和未来发展较为复杂的产品，提供BRD。即，你考虑写的需求文档是给什么范围的人看的、所描述的需求是个什么范围和级别的。1>BRD你要给产品、运营、研发、管理层等很多人看，要讲清楚为什么有这个需求，需求的边界和业务目标，所需资源等； ...
2018-08-13 13:39:28
3642
原创 springboot入门--springboot集成redis实现消息发布订阅模式
1，application.properties配置redis以及连接池#redisspring.redis.host=localhostspring.redis.port=6379#spring.redis.password=spring.redis.database=1spring.redis.pool.max-active=8spring.redis.pool.max-w...
2018-02-26 15:15:48
14581
1
原创 设计模式入门--发布订阅模式
概念首先说明一下，发布-订阅模式并不等同于观察者模式，这两者是有区别的。举例说明，用户直接向出版社订阅杂志，出版社直接把杂志发送给订阅杂志的用户，这种场景就是观察者模式。而发布-订阅模式则不同，出版社和用户并不直接接触，用户是向邮局订阅杂志，出版社向邮局发布杂志后，邮局再向用户派送杂志。也就是说，发布-订阅模式是有一个中转调度中心的。如下图：上图发布订阅模式进行抽象如下图，借图一用：
2018-02-01 17:51:36
412
原创 设计模式入门--观察者模式
概念当一个主题对象状态发生变化时，则会自动通知它的依赖对象进行一些逻辑的处理，这就是观察者模式。 直白点说，一个类依赖另外一个乃至多个类，这个类实例状态变化时，会调用它所依赖对象的接口，触发它依赖对象进行某些逻辑的处理。专门拿出来感觉很抽象，事实上这个设计模式，我们经常在代码中都会使用到。角色抽象主题：被观察者（Subject）。提供对观察者增删、通知等操作接口。
2018-02-01 15:46:10
253
原创 hadoop入门--使用Apache Pig统计每个航班班次
案例基于hadoop 2.73，伪分布式集群1，数据包导入hadoop集群hdfs的/user/root目录下hdfs dfs -copyFromLocal 2008.csv /user/root2，编写totalmiles.pig脚本records = LOAD '2008.csv' USING PigStorage(',') AS(Year,Month,Dayof
2018-01-15 16:09:54
1571
2
原创 hadoop入门--通过Apache Flume向HDFS存储数据
本笔记基于Hadoop2.7.3，Apache Flume 1.8.0。其中flume source为netcat，flume channel为memory，flume sink为hdfs。1，配置flume代理文件配置一个flume agent代理,在此名称为shaman。配置文件（netcat-memory-hdfs.conf）如下：# Identify the compo
2018-01-14 21:30:31
744
原创 hadoop入门--使用MapReduce统计每个航班班次
案例基于hadoop 2.73，伪分布式集群一，创建一个MapReduce应用MapReduce应用结构如图： 1、引入maven依赖project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLoca
2018-01-14 21:28:05
3668
1
原创 hadoop入门--图说MapReduce处理数据的过程
下图来源于《Hadoop For Dummies》图书，示例为统计每个航班的飞行航次。学习资料： 1，《Hadoop For Dummies》
2018-01-14 21:24:48
560
原创 hadoop入门--简述hadoop 2.x Yarn组件协作过程
系统结构hadoop2.x主要包括三个核心部分：(1) hdfs-分布式存储组件hadoop用于存储数据的基础组件。分布式的，跨网络交互的hdfs集群。(2) yarn-资源管理、任务调度组件hadoop用于资源管理、任务调度的基础组件。yarn使hadoop成为分布式处理数据的通用平台，支持MapReduce v2、Tez、Hoya等多种计算框架。(3) proces
2018-01-12 18:15:41
673
原创 hadoop入门--简述Hadoop 1.X 系统原理
一、hadoop 1.x结构HDFS：hadoop分布式存储系统。MapReduce：分布式计算框架，包含资源管理和任务调度等（hadoop 2.x中被分离到Yarn组件）。API：用户与系统交互的入口，有原生的MapReduce API，也有对Map Reduce进行封装抽象的Pig、Hive和HBase等。二、hadoop 1.x运行原理1：客户端首先向Mas
2018-01-10 15:26:21
415
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人