【大数据】
关注
分享
扫一扫
shenzhen_zsw
这个作者很懒，什么都没留下…
展开
-
java.lang.IllegalArgumentException: requirement failed: No output operations registered, so nothing
解决方法：tranformation最后一步产生的那个RDD必须有相应Action操作，例如massages.print()等==============================QQ群：143522604群里有相关资源欢迎和大家一起学习、交流、提升！==============================...原创 2019-04-15 16:31:09 · 2697 阅读 · 0 评论 -
Kafka 安装部署-单节点
目录Kafka 安装部署-单节点Kafka 单节点部署下载安装配置ZK配置zoo.cfg配置环境变量Zookeeper 启动停止命令Kafka 单节点单Broker部署及使用部署架构安装Kafka配置Kafka配置server.properties启动Kafka启动Zookeeper启动Kafka后台启动创建topic查看所有...原创 2019-04-13 15:56:37 · 3327 阅读 · 0 评论 -
Hadoop2.6.5单机安装
Hadoop2.6.5单机安装JDK的安装配置JDK环境变量[root@spark1 soft]# vim /etc/profile#JDK环境变量配置#export JAVA_HOME=/application/jdk1.7.0_79export JAVA_HOME=/application/jdk1.8.0_172export JRE_...原创 2019-04-13 14:53:04 · 288 阅读 · 0 评论 -
大数据分析之数据收集之封装商品浏览日志
大数据分析之数据收集之封装商品浏览日志Productscanlogpackage com.youfan.analy.input;import com.youfan.model.User;/** * 商品浏览日志 */public class Productscanlog { private long pindaoid;//频道id pri...原创 2019-04-12 19:48:52 · 303 阅读 · 0 评论 -
根据IP地址获取详细的地域信息
根据IP地址获取详细的地域信息AreaAndnetworkpackage com.youfan.util;/** * Created by Administrator on 2018/11/8 0008. */public class AreaAndnetwork { private String country;//国家 private S...原创 2019-04-12 19:39:36 · 1300 阅读 · 0 评论 -
Hbase环境搭建
Hbase环境搭建安装Hbase[root@spark1 soft]# rz -y[root@spark1 soft]# tar -zxvf hbase-1.0.0-cdh5.5.1.tar.gz -C /application/[root@spark1 application]# ln -s hbase-1.0.0-cdh5.5.1 hbase配置Hba...原创 2019-04-16 01:56:56 · 164 阅读 · 0 评论 -
获取操作系统,浏览器及浏览器版本信息
获取操作系统,浏览器及浏览器版本信息package com.youfan.util;import javax.servlet.http.HttpServletRequest;public class BrowserInfoUtil { /** * 获取操作系统,浏览器及浏览器版本信息 * @param request * @retur...原创 2019-04-12 18:31:55 · 435 阅读 · 0 评论 -
获取用户真实IP地址
获取用户真实IP地址package com.youfan.util;import javax.servlet.http.HttpServletRequest;/** * 自定义访问对象工具类 * 获取对象的IP地址等信息 */public class IpUtil { /** * 获取用户真实IP地址，不使用request.ge...原创 2019-04-12 18:22:23 · 335 阅读 · 0 评论 -
大数据架构
大数据架构说明： 1）大数据分析数据来源： 1.1）业务系统数据库中的数据； 1.2）日志数据； 1.3）消息数据； 2）数据收集方式 2.1）通过flume的方式采集； 2.2）通过消息中间件kafka的方式； 2.3）直接通过sqoop同步到hive中...原创 2019-04-12 17:00:29 · 216 阅读 · 0 评论 -
Spark分析网页pv，uv简单示例
http://192.168.2.191:60010/master-status待办。。。。==============================QQ群：143522604群里有相关资源欢迎和大家一起学习、交流、提升！==============================...原创 2019-04-15 17:25:10 · 324 阅读 · 0 评论 -
spark实时分析服务搭建
创建Spark实时分析服务工程pom.xml<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.org/POM/4.0.0" xmlns:xsi="http://www.w3.org/2001/XMLSchem...原创 2019-04-15 16:42:46 · 414 阅读 · 0 评论 -
Sprint Boot集成Kafka
Sprint Boot集成Kafkapom.xml <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>1.1.1....原创 2019-04-13 23:22:08 · 143 阅读 · 0 评论