- 博客(48)
- 收藏
- 关注
RSS订阅转载 自定义Cass loader
1、先建一个被加载的测试类public class Person { private Integer age; public Integer getAge() { return age; } @Override public String toString() { return "测...
2019-07-12 13:59:00
203
转载 Mybatis callSettersOnNulls 查询返回Map时设置值为null
这两天用到了Spring boot + Mybatis 做项目，使用了resultType="HashMap" 接收Mybatis查询返回的数据。以列名作为key，值作为value。结果发现部分列没有返回相对应的k-v对，导致了程序发生了错误。然后开始debug大法，这里开始调用invoke方法，使用MapperMethod 的execute方法。 public Obje...
2019-07-11 17:08:00
510
转载 当你打开天猫的那一刻，推荐系统做了哪些工作？（转）
https://yq.aliyun.com/articles/704401?spm=a2c4e.11153940.bloghomeflow.44.2b9f291aPJ30PT天猫首页作为用户打开手机天猫App的第一印象，所推荐的商品极大地决定了用户接下来的行为，对用户流量的承接与分发、提升用户购物体验和呈现天猫货品的性价比、品质感及品牌力起到至关重要的作用，成为提升天猫用户体验的关键...
2019-06-03 18:04:00
267
转载 Java连接kafka
1、maven依赖：<project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xsi:schemaLocation="http://maven.apache.org/POM/4.0.0 http://ma...
2018-07-03 15:19:00
374
转载 协同过滤笔记
协调过滤主要有两种推荐方法 基于用户的协同过滤 基于物品的协同过滤核心思想：给用户推荐他们之前喜欢的物品相似的物品一般认为，如果喜欢A物品的用户大多喜欢B物品，你们A、B物品具有很大的相似度基于用户的协同过滤：推荐步骤：1、计算用户之间的相似度2、给用户推荐和他兴趣相似的其他用户的物品基于物品的协同过滤推荐步骤：1、计算物品之间的...
2018-04-24 10:46:00
135
转载 Ubuntu安装mysql
1、先更新依赖sudo apt-get update2、安装sudo apt-get install mysql-server3、如果有依赖问题，可以查看具体的依赖sudo apt-get install -f mysql-server然后再依次安装需要的依赖4、查看初始密码sudo cat /etc/mysql/debian.cnf5、使用初始密码登录...
2018-02-28 15:53:00
74
转载 Java源码分析：关于 HashMap 1.8 的重大更新（转载）
http://blog.youkuaiyun.com/carson_ho/article/details/79373134前言HashMap在Java和Android开发中非常常见而HashMap 1.8相对于HashMap 1.7更新多今天，我将通过源码分析HashMap 1.8，从而讲解HashMap 1.8相对于HashMap 1.7的更新内容...
2018-02-27 15:28:00
81
转载 idea 设置光标回到上一次位置的快捷键
1、file--》settings，搜索navigate这个 蓝色的back和forward分别就是光标后退、前进的快捷键了，全部移除原来冲突的快捷键，然后重新设置成自己的快捷键即可。然后在输入框里设置快捷键。转载于:https://www.cnblogs.com/fillPv/p/6830866.html...
2017-05-09 15:39:00
2040
转载 2016年总结及2017年计划
工作了两年多了，一直没写过总结。我想，是该写写总结了，看看最近的收获和教训。 我从事大数据开发，是始于2015年，接触的技术也比较有限，从MapReduce开始学起，到HDFS和Hadoop shell命令，到Spark、Hive、Hbase，Sqoop，也算基本入门了，期间还部署了Hadoop集群，（由于只是测试Hadoop集群部署，后面这个集群撤了），用Sqoop、MapRed...
2017-01-15 16:14:00
88
转载 Mac搭建Hadoop源码阅读环境
1、本次Hadoop源码阅读环境使用的阅读工具是idea，Hadoop版本是2.7.3。需要安装的工具包括idea、jdk、maven、protobuf等2、jdk，使用的版本是1.8版，在jdk官网下载jdk-8u111-macosx-x64.dmg，点击安装，一路next。3、idea安装，略4、maven，使用的版本是3.3.9,下载apache-maven-3.3.9...
2017-01-15 15:22:00
124
转载 Spark sql 在yarn-cluster模式下找不到表
在hive里建一个数据库test，在数据库里建了一张表user，然后在Spark程序中使用Spark sql读取这张表"select * form test.user"当部署模式是spark stand模式和yarn-client模式时，程序可以正常运行，但yarn-cluster模式就报了找不到“test.user”表的错误。解决办法：spark和hive整合，把hiv...
2017-01-11 15:32:00
220
转载 Flume整合Spark Streaming
Spark版本1.5.2，Flume版本:1.6Flume agent配置文件：spool-8.51.confagent.sources = source1agent.channels = memoryChannelagent.sinks = sink1agent.sources.source1.type = spooldiragent.sou...
2017-01-05 15:53:00
122
转载 Hbase资料汇总
1、hbase apihttp://blog.youkuaiyun.com/u010967382/article/details/37878701转载于:https://www.cnblogs.com/fillPv/p/6225391.html
2016-12-27 12:05:00
64
转载 maven使用阿里云仓库
1、修改maven的conf/settings.xml文件，在<mirrors></mirrors>标签里加入：<mirror> <id>nexus-aliyun</id> <mirrorOf>*</mirrorOf> <name>Nexus aliyun</n...
2016-11-29 15:53:00
80
转载 maven出现 -Dmaven.multiModuleProjectDirectory system propery错误
1、使用myeclipse10整合maven插件时出现错误；-Dmaven.multiModuleProjectDirectory system propery is not set. Check $M2_HOME environment variable and mvn script match. 解决办法：先把maven目录设置到环境变量接着在myEc...
2016-10-20 14:55:00
104
转载 RDD：基于内存的集群计算容错抽象(转)
原文：http://shiyanjun.cn/archives/744.html该论文来自Berkeley实验室，英文标题为：Resilient Distributed Datasets: A Fault-Tolerant Abstraction for In-Memory Cluster Computing。下面的翻译，我是基于科学网翻译基础上进行优化、修改、补充，这篇译文翻译得很...
2016-10-14 15:04:00
190
转载 Kafka server.properties配置说明（转）
原文：https://my.oschina.net/infiniteSpace/blog/312890?p=1http://www.inter12.org/archives/842broker.id =0每一个broker在集群中的唯一表示，要求是正数。当该服务器的IP地址发生改变时，broker.id没有变化，则不会影响consumers的消息情况log.di...
2016-10-12 17:56:00
66
转载 计算机缺失缺少mfc110.dll等相关文件的解决办法
去https://www.microsoft.com/zh-CN/download/details.aspx?id=30679下载VSU4\vcredist_x64.exe和VSU4\vcredist_x86.exe分别尝试安装，看是否解决问题，有时候不是根据计算机位数来着。转载于:https://www.cnblogs.com/fillPv/p/5946706.html...
2016-10-10 17:42:00
337
转载 Kafka安装
一、下载kafka：http://kafka.apache.org/downloads二、解压tar -zxvf kafka_2.10-0.10.0.1.tgz三、kafka需要用到zookeeper，可以是单节点，也可以是zk集群。（1）、单节点zkkafka本身自带了一个测试zk，可以使用kafka自带的zk节点来测试。1、启动单节点zookeeper...
2016-10-09 16:49:00
53
转载 Java代理(jdk静态代理、动态代理和cglib动态代理)
一、代理是Java常用的设计模式，代理类通过调用被代理类的相关方法，并对相关方法进行增强。加入一些非业务性代码，比如事务、日志、报警发邮件等操作。二、jdk静态代理1、业务接口/** * 业务接口 * @author pc * */public interface UserService { // 增加一个用户 public void a...
2016-10-09 11:01:00
57
转载 Spark 集群安装
一、安装jdk二、安装scala三、安装Spark1、解压tar -zxvf spark-1.5.1-bin-hadoop2.6.tgz2、cp spark-env.sh.template spark-env.shvispark-env.sh# Hadoop配置文件目录export HADOOP_CONF_DIR=/data/hadoop-2.7....
2016-09-28 11:14:00
71
转载 Hive安装
一、下载：http://hive.apache.org/，选择合适的版本，Hive 1.X版本要求Hadoop2.x以上版本，Jdk1.7以上这里选择1.2.1版本二、安装jdk略三、安装Hadoop略四、安装Hive1、tar -zxvf apache-hive-1.2.1-bin.tar.gzvi ~/.bash_profile，加上：exp...
2016-09-28 11:14:00
70
转载 Flume 远程写HDFS
现在的需求是在一台Flume采集机器上，往Hadoop集群上写HDFS，该机器没有安装Hadoop。这里的Flume版本是1.6.0，Hadoop版本是2.7.1.把Hadoop集群的hdfs-site.xml、core-site.xml两个配置文件复制到 flume安装目录的conf目录去，把hadoop-hdfs-2.7.1.jar复制到 Flume lib目录。一、...
2016-09-19 16:30:00
177
转载 Spark Idea Maven 开发环境搭建
一、安装jdkjdk版本最好是1.7以上，设置好环境变量，安装过程，略。二、安装Maven我选择的Maven版本是3.3.3，安装过程，略。编辑Maven安装目录conf/settings.xml文件，<!-- 修改Maven 库存放目录--><localRepository>D:\maven-repository\repository...
2016-09-19 11:49:00
107
转载 Spring项目解决Post乱码
Java EE解决Post乱码：在web.xml中加入：<filter> <filter-name>encodingFilter</filter-name> <filter-class>org.springframework.web.filter.CharacterEncodingFilter&...
2016-08-03 10:12:00
88
转载 Scala伴生类和伴生对象
单例对象与类同名时，这个单例对象被称为这个类的伴生对象，而这个类被称为这个单例对象的伴生类。伴生类和伴生对象要在同一个源文件中定义，伴生对象和伴生类可以互相访问其私有成员。不与伴生类同名的单例对象称为孤立对象。看看例子：import scala.collection.mutable.Mapclass ChecksumAccumulator { private v...
2016-07-29 14:03:00
220
转载 A Beginner's Guide To Understanding Convolutional Neural Networks(转)
A Beginner's Guide To Understanding Convolutional Neural NetworksIntroduction Convolutional neural networks. Sounds like a weird combination of biology and math with a little...
2016-07-22 11:34:00
244
转载 hive查看建表语句
查看hive建表语句：show create table tablename;查看hive表结构：describe tablename; 简写：desc tablename;转载于:https://www.cnblogs.com/fillPv/p/5532212.html
2016-05-26 18:21:00
440
转载 Spark MLlib之协同过滤
原文：http://blog.selfup.cn/1001.html什么是协同过滤协同过滤(Collaborative Filtering, 简称CF)，wiki上的定义是：简单来说是利用某兴趣相投、拥有共同经验之群体的喜好来推荐使用者感兴趣的资讯，个人透过合作的机制给予资讯相当程度的回应（如评分）并记录下来以达到过滤的目的进而帮助别人筛选资讯，回应不一定局限于特别感兴趣的，特别...
2016-05-10 15:46:00
89
转载 sqoop1.99.6 update导出语句
我们采用sqoop-export插入数据的时候，如果主键已经存在了，插入会失败。想要根据主键判断是否要进行insert操作还是update操作，sqoop提供了update语法。示例sqoop --connect "" --username "username" --password "password" --table "tablename" --export-dir "/d...
2016-05-09 10:08:00
111
转载 Hue整合Sqoop报空指针异常的解决方法
hue是一个Apache基金会下的一个开源图形化管理工具，使用python语言开发，使用的框架是Django。而sqoop也是Apache的一个开源工具，是使用Java语言开发，主要用于进行hdfs和传统关系型数据库之间的数据传递。这两天在整合这两个工具的时候，遇到了一个问题，特此记录。Hue版本是3.9.0，Sqoop版本是1.99.6，也就是最新版的Sqoop2。把Hue和S...
2016-05-04 16:20:00
352
转载 Spark Rdd coalesce()方法和repartition()方法
在Spark的Rdd中，Rdd是分区的。有时候需要重新设置Rdd的分区数量，比如Rdd的分区中，Rdd分区比较多，但是每个Rdd的数据量比较小，需要设置一个比较合理的分区。或者需要把Rdd的分区数量调大。还有就是通过设置一个Rdd的分区来达到设置生成的文件的数量。有两种方法是可以重设Rdd的分区：分别是coalesce()方法和repartition()。这两个方法有什么...
2016-04-15 11:20:00
165
转载 oracle中去掉回车换行空格的方法详解
函数：1.translate语法：TRANSLATE(char, from, to)用法：返回将出现在from中的每个字符替换为to中的相应字符以后的字符串。 若from比to字符串长，那么在from中比to中多出的字符将会被删除。 三个参数中有一个是空，返回值也将是空值。举例：SQL> select translate('abc...
2016-02-18 10:44:00
186
转载 django403错误（转）
原文：http://blog.sina.com.cn/s/blog_60ccc6e101011ku0.html处理过程1、按提示及google结果修改setting.py，在MIDDLEWARE_CLASSES增加django.middleware.csrf.CsrfResponseMiddleware。结果依然报错。2、继续修改setting.py，注释掉django...
2016-02-17 17:11:00
65
转载 java 实现Bridge模式(转)
原文：http://chjking.blog.163.com/blog/static/6439511120081152534252/看了网上一些关于咖啡加奶的例子，觉得真是天下文章一大抄，不管好的坏的都照搬，于是在原有的基础上进行了重新编写，代码也已经过测试。Bridge定义 :将抽象和行为划分开来，各自独立，但能动态地结合。这句话是对的，但理解起来较为困难。可以这么理解，抽...
2016-01-07 15:32:00
63
转载 Java学习路线（转）
原文：http://www.hollischuang.com/archives/489一、基础篇1.1 JVM1.1.1. Java内存模型，Java内存管理，Java堆和栈，垃圾回收http://www.jcp.org/en/jsr/detail?id=133http://ifeve.com/jmm-faq/1.1.2. 了解JVM各种参数及调优1....
2016-01-07 15:27:00
152
转载 Spark读取配置（转）
转自：https://github.com/keepsimplefocus/spark-sourcecodes-analysis/blob/master/markdowns/Spark%E8%AF%BB%E5%8F%96%E9%85%8D%E7%BD%AE.mdSpark读取配置我们知道，有一些配置可以在多个地方配置。以配置executor的memory为例，有以下三种方式： 1...
2016-01-07 09:46:00
164
转载 sqoop连接SqlServer2012示例
sqoop import --connect 'jdbc:sqlserver://192.168.xx.xx:1433;username=sa;password=xxxx;database=WindElec' --table sqlTest1 --target-dir '/sqoop/test1' -m 2转载于:https://www.cnblo...
2015-12-23 22:01:00
202
转载 Spark 调优（转）
Spark 调优返回原文英文原文：Tuning SparkBecause of the in-memory nature of most Spark computations, Spark programs can be bottlenecked by any resource in the cluster: CPU, network bandwidth, o...
2015-12-23 15:00:00
110
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人