- 博客(54)
- 收藏
- 关注
RSS订阅原创 hbase操作及优化
HBase学习之二: hbase分页查询https://blog.youkuaiyun.com/javajxz008/article/details/51833982
2018-09-11 18:53:20
160
原创 内存调优汇总
Java启动参数与内存调优一些学习笔记https://blog.youkuaiyun.com/rishengcsdn/article/details/40301015Vmstat命令详解：查看系统与用户占cpu比率，排除线程频繁切换状况 https://www.cnblogs.com/tommyli/p/3746187.html查看Spark进程的JVM配置及内存使用https...
2018-06-27 10:32:32
169
原创 spark使用总结
Spark集群地址http://192.168.12.21:8080/Master:spark://192.168.12.21:7077【转】Spark性能优化指南——基础篇 (推荐)https://www.cnblogs.com/hark0623/p/5533803.htmlspark submit参数调优https://blog.youkuaiyun.com/che...
2018-04-17 18:07:59
166
原创 安装redis
https://blog.youkuaiyun.com/shaobin188/article/details/77481207下载：https://redis.io/download wget http://download.redis.io/releases/redis-4.0.1.tar.gz tar xzf redis-4.0.1.tar.gz cd redis-4.0.1 ...
2018-04-10 11:16:37
123
原创 常用正则样例
192.168.0.2 192.168.0.1 - - [22/Dec/2017:14:57:09 +0800] "GET /testWS/aaa/getLyricURL?aa=123 HTTP/1.0" 200 185 "-" "Apache-HttpClient/4.5 (Java/1.8.0_60)" "asasas" 0 h2^\D*([\d., ]+) (\S+) (\S...
2018-04-02 11:34:05
133
原创 Spark Hive集成maven
UTF-8 1.8 1.8 2.11.8 2.1.0 5.1.27 org.apache.spark spark-streaming-kafka-0-10_2.1...
2018-03-23 17:16:27
1182
原创 算法汇总
余弦相似度与欧氏距离相似度http://blog.sina.com.cn/s/blog_7308ed2f0102x327.html推荐常用算法之-基于内容的推荐https://blog.youkuaiyun.com/ch18255112191/article/details/51383612白话深度神经网络https://cloud.tencent.com/developer/ar...
2018-03-13 15:43:37
126
原创 Python3 安装
CentOS6.5下使用Virtualenv搭建Python3开发环境http://www.linuxidc.com/Linux/2015-08/121352.htm
2017-12-04 14:25:48
112
原创 centos 7 下 安装配置 caravel
Superset pykylin集成安装http://blog.youkuaiyun.com/sunday_or/article/details/68927393?utm_source=itdadao&utm_medium=referral SuperSet CentOs7安装部署http://blog.youkuaiyun.com/akfdgg123/article/details/7374...
2017-11-29 16:58:17
168
原创 Kylin实践
http://bigdataer.net/?p=308 Kylin的cube模型http://www.cnblogs.com/en-heng/p/cube-model-of-kylin.html
2017-11-21 11:19:56
103
原创 hbase完全分布式安装
hbase完全分布式安装https://www.cnblogs.com/haozhengfei/p/b2f14298a429a6ca0012b43952f0d53f.html 还得从node1中拷贝 core-site.xml到hbase的conf目录中
2017-11-20 15:13:28
124
原创 hadoop问题
没配置mapred-site.xml导致不找本地目录而从hdfs上找参考： http://blog.youkuaiyun.com/liyongke89/article/details/51276384
2017-11-17 18:08:40
117
原创 hadoop HA启动
hadoop集群启动https://wenku.baidu.com/view/c36ec0b277232f60ddcca1ee.html2.5启动zookeeper集群（分别启动zk）cd /weekend/zookeeper-3.4.5/bin/./zkServer.sh start#查看状态：一个leader，两个follower./zkServer.sh stat...
2017-11-16 13:50:29
329
原创 推荐博客
推荐系统的架构https://www.cnblogs.com/kobedeshow/p/3569525.html 推荐系统easyrec数据结构分析https://wenku.baidu.com/view/7cd8ad0b83c4bb4cf7ecd1aa.html easyrec官网http://easyrec.org/home 推荐系统easyrec...
2017-11-10 15:35:30
149
原创 Kylin安装
最高支持hive1.2.1http://archive.apache.org/dist/hive/hive-1.2.1/ http://blog.youkuaiyun.com/wzy0623/article/details/51283352 kylin 搭建和简单测试结果http://chengjianxiaoxue.iteye.com/blog/2218510 Kylin...
2017-10-30 17:19:09
146
原创 scala学习
快学Scala学习笔记及习题解答http://blog.youkuaiyun.com/u013980127/article/details/53331624
2017-10-16 13:45:49
138
原创 Spark Mysql to hdfs
import org.apache.hadoop.fs.Pathimport org.apache.spark.sql.SQLContextimport org.apache.spark.{SparkConf, SparkContext} object MysqlToHdfs { def main(args: Array[String]) { v...
2017-08-18 18:11:55
303
原创 Mysql5.7安装
最全的mysql 5.7.13 安装配置方法图文教程(linux) 强烈推荐!http://www.jb51.net/article/90317.htm启动：/etc/init.d/mysqld start登陆： ./mysql -uroot -p
2017-06-28 10:44:49
95
原创 hive安装
参考：http://www.cnblogs.com/linbingdong/p/5829369.html 但注意database schema初始化，有两种方式. 第一种，先配置好hive-site.xml ./schematool -initSchema -dbType mysql 会在db中自动创建数据库及表 另一种，手工创建数据库，并source scr...
2017-06-22 19:31:18
76
原创 关注的博客
机器学习与数据挖掘网上资源搜罗——良心推荐http://www.cnblogs.com/cxzdy/p/5111780.html白马负金羁http://blog.youkuaiyun.com/baimafujinji/article/category/6048259 牛肉圆粉不加葱 http://www.jianshu.com/u/001d44710e2e 孟令龙博客...
2017-06-14 09:17:22
140
原创 大数据培训体系
LINUXUnit01： Linux概述 、 系统安装与分区 、 常用命令 视频Unit02： 磁盘物理结构 、 文件系统原理 、 网络基本知识 、 网络操作 视频Unit03： 进程概述 、 rpm安装软件 、 yum安装删除软件 、 yum进阶 视频Unit04： vim命令 、 常见的shell命令 以及实战练习 视频Unit05： shell script 、 条件判...
2017-05-15 12:33:00
188
原创 英语链接
magic school bus字幕文件下载 第1集、第2集 http://www.ebama.net/thread-61871-1-1.html
2017-05-12 12:37:56
210
原创 Maven打可执行包配置
参考： http://blog.youkuaiyun.com/defonds/article/details/43233131mvn assembly:assembly<build> <plugins> <plugin> <artifactId>maven-assembly-plugin</ar...
2017-05-09 17:35:25
101
原创 Spark 博文
VentLam大数据https://www.jianshu.com/u/xyZroM 大数据时代 基于用户画像的精准营销http://www.cbdio.com/BigData/2016-08/23/content_5207015.htm基于用户画像的实时异步化视频推荐系统http://www.jianshu.com/p/83af9502acb6 一个电子商务网站商...
2017-05-04 13:07:28
211
原创 Spark Sql
Spark入门实战系列--6.SparkSQL（下）--Spark实战应用http://www.cnblogs.com/shishanyuan/p/4723713.html Flume+Spark+Hive+Spark SQL离线分析系统http://blog.youkuaiyun.com/ymh198816/article/details/52014315 sparkSQL实战详...
2017-05-03 13:03:51
107
原创 Hive 优化
Hive中跑MapReduce Job出现OOM问题分析及解决https://blog.youkuaiyun.com/oopsoom/article/details/41356251 ==========================================================================================================...
2017-04-24 16:50:13
130
原创 java常用网址
findJarhttp://www.findjar.com download jarhttp://maven.ibiblio.org/maven2/org/json/json/20160212/
2017-03-22 17:15:13
889
原创 hive函数
http://www.kuqin.com/shuoit/20131030/335990.htmlSELECT id, CONCAT_WS(',', COLLECT_SET(pic)) FROM tbl GROUP BY id在这里CONCAT_WS是UDF，COLLECT_SET是UDAF，它将group后的pic去重，并转换为了array，方便udf是用。PS：如果不需要去...
2017-03-15 15:16:13
78
原创 使用 Selenium with Python 进行 web 自动化测试
安装Splinter:D:\Program Files\Python36\Scripts>pip install splinter http://www.cnblogs.com/mealrice/p/5495544.html使用 Selenium with Python 进行 web 自动化测试 https://www.zybuluo.com/mwumli/not...
2017-03-14 22:41:58
141
原创 Kafka命令
启动：/bin/kafka-server-start.sh -daemon config/server.properties & 关闭： ./kafka-server-stop.sh 启动所有的broker命令： bin/kafka-server-start.sh config/server.properties & 创建 bin/kafka-topi...
2017-03-06 22:37:42
123
原创 storm1.0.2版本集群搭建完整步骤
storm1.0.2版本集群搭建完整步骤http://blog.youkuaiyun.com/xu470438000/article/details/54090429 nimbus：nohup bin/storm nimbus >/dev/null 2>&1 & ui：nohup bin/storm ui >/dev/null 2>&1 &a...
2017-03-03 21:42:18
101
原创 idea打包jar的多种方式
idea maven打包jar的多种方式http://www.cnblogs.com/qifengshi/p/6036870.html
2017-03-03 09:58:19
142
原创 Oozie4.0.1详细安装教程
Oozie4.0.1详细安装教程http://www.linuxidc.com/Linux/2014-12/110456.htm http://www.tuicool.com/articles/n2MJ3mn azkaban安装http://blog.youkuaiyun.com/levy_cui/article/details/51594965 ...
2017-02-26 23:12:36
131
原创 Spark机器学习
基于隐式反馈的音乐推荐技术研究http://www.doc88.com/p-3691241178446.html 一个电子商务网站商品推荐系统的设计与实现https://wenku.baidu.com/view/e514ef99b8f67c1cfbd6b874.html 机器学习入门好文，强烈推荐http://blog.youkuaiyun.com/ritterliu/arti...
2017-02-26 23:10:42
139
原创 Hive hql
[Hadoop大数据]——Hive连接JOIN用例详解http://www.cnblogs.com/xing901022/p/5804836.html 清空表数据insert overwrite table t_table1 select * from t_table1 where 1=0; 建表create table test_part (id int,name...
2017-02-21 11:06:41
121
原创 Maven Hive-Jdbc教程
Maven Hive-Jdbc教程http://www.cnblogs.com/ae6623/p/5686504.html http://blog.youkuaiyun.com/jethai/article/details/52345271
2017-02-20 22:32:10
391
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人