- 博客(84)
- 资源 (1)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 电商平台数据仓库搭建02-Hadoop集群搭建
本项目来源于github [电商平台数据仓库搭建](https://github.com/xzt1995/Data-Warehouse) 。项目为个人学习记录，项目代码及文件可访问 [电商平台数据仓库搭建](https://github.com/xzt1995/Data-Warehouse) 获得。
2022-04-25 16:25:14
896
原创 电商平台数据仓库搭建01-项目介绍
1，项目说明本项目来源于github 电商平台数据仓库搭建 。该项目仅供个学习使用项目为个人学习记录，项目代码及文件可访问 电商平台数据仓库搭建 获得。访问不了的同学也可以私信我。2，项目流程设计[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HPJxzRVv-1650866374940)(D:\王磊个人\自学课程\b站大数据\截图\系统流程设计-1650342295376-1650612971651.png)]3，数据说明数据生成由于是个人学习，我们的数据是利用
2022-04-25 15:49:34
875
原创 协同过滤基于用户的电影推荐实战
题目描述通过本次实验让加深学生对协同过滤理论基础及逻辑原理的了解和掌握，并使用 Python 编程实现协同过滤算法对A用户进行电影推荐# 录入数据users = {'A': {'老炮儿': 3.5, '唐人街探案': 1.0}, 'B': {'老炮儿': 2.5, '唐人街探案': 3.5, '星球大战': 3.0, '寻龙诀': 3.5, '神探夏洛克': 2.5, '小门神': 3.0}, 'C
2022-04-06 20:08:39
1523
原创 windows+pycharm+pyspark+linux远程开发环境搭建
Anaconda liunx版本下载Anaconda | The World’s Most Popular Data Science PlatformAnaconda linux版本安装上传文件到虚拟机安装目录下在安装目录下运行程序sh ./Anaconda3-2021.11-Linux-x86_64.sh按回车继续，之后按空格一直到 yes/no 输入yes 再之后输入需要安装的目录 之后就等待安装完成Anaconda换源sudo gedit ~/.condarc添加内容chan
2022-04-04 23:17:54
3147
原创 HiveSQL大厂面试 每类视频近一个月的转发量率
题目说明练习题目来自牛客网sq在线编程 大厂面试题每类视频近一个月的转发量/率_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库// 创建表DROP TABLE IF EXISTS tb_user_video_log;DROP TABLE IF EXISTS tb_video_info;CREATE TABLE tb_user_video_log ( id INT,
2022-04-04 16:19:49
410
原创 HiveSQL大厂面试 平均播放进度大于60%的视频类别
题目说明练习题目来自牛客网sq在线编程 大厂面试题https://www.nowcoder.com/practice/c60242566ad94bc29959de0cdc6d95ef?tpId=268&tqId=2285039&ru=/exam/oj&qru=/ta/sql-factory-interview/question-ranking&sourceUrl=%2Fexam%2Foj%3Ftab%3DSQL%25E7%25AF%2587%26topicId%3D268
2022-04-01 14:57:41
1512
原创 HiveSQL大厂面试 各个视频的平均完播率
题目说明练习题目来自牛客网sq在线编程 大厂面试题各个视频的平均完播率_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库// 创建表DROP TABLE IF EXISTS tb_user_video_log;DROP TABLE IF EXISTS tb_video_info;CREATE TABLE tb_user_video_log ( id INT,
2022-04-01 11:05:31
2632
1
原创 Hive时间（日期）函数
Hive内置函数地址https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF日期函数Hive 中支持以下内置日期函数：返回类型名称描述字符串from_unixtime（bigint unixtime[， string format]）将 unix 纪元 （1970-01-01 00：00：00 UTC） 中的秒数转换为表示当前系统时区中该时刻的时间戳的字符串（使用配置"hive.local.tim
2022-04-01 10:56:35
6761
原创 HQL20 分组排序练习题
练习题目来自牛客网sq在线编程 非技术快速入门分组排序练习题_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` STRING,`age` int ,`univer
2022-03-31 13:42:41
397
原创 HQL19 分组过滤练习题
练习题目来自牛客网sq在线编程 非技术快速入门分组过滤练习题_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` STRING,`age` int ,`univer
2022-03-31 13:24:00
234
原创 HQL18 分组计算练习题
练习题目来自牛客网sq在线编程 非技术快速入门分组计算练习题_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` STRING,`age` int ,`univer
2022-03-31 13:15:48
156
原创 HQL17 计算男生人数以及平均GPA
练习题目来自牛客网sq在线编程 非技术快速入门计算男生人数以及平均GPA_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` STRING,`age` int,`u
2022-03-31 13:02:46
507
原创 HQL16 查找GPA最高值
题目说明练习题目来自牛客网sq在线编程 非技术快速入门查找GPA最高值_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` STRING,`age` int,`u
2022-03-31 12:56:00
359
原创 plt 绘制堆叠柱状图并设置参数练习
题目要求使用PLT接口绘制网格，蓝色线，点划线，线宽为1坐标轴设置通过不同方式设置坐标轴的显示范围通过不同方式调整坐标轴的刻度个数及刻度值，柱状图练习：加载文件temp.xs中的数据，份别绘制两组（最高温、最低温）数据的柱状图，并满足如下要求：a.添加标题和图例b.X轴坐标标记为周一，周二c.最高温柱子分辨率/透明度为0.5，柱子颜色为绿色，柱子边框为蓝色，线宽为7，右对齐和d.最低温柱子分辨率/透明度为0.5，柱子颜色为红色，柱子边框为青色，左对齐，并使用符号进行填充e.通过堆叠方式展
2022-03-31 11:29:42
2024
原创 HQL15 查看学校名称中含北京的用户
题目说明练习题目来自牛客网sq在线编程 非技术快速入门查看学校名称中含北京的用户_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` varchar(14),`ag
2022-03-30 15:25:34
253
原创 HQL14 操作符混合运用
题目说明练习题目来自牛客网sq在线编程 非技术快速入门操作符混合运用_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` varchar(14),`age` int
2022-03-30 15:05:08
220
原创 HQL13 Where in 和Not in
题目说明练习题目来自牛客网sq在线编程 非技术快速入门高级操作符练习(2）_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表drop table if exists user_profile;CREATE TABLE `user_profile` (`id` int,`device_id` int,`gender` varchar(14),`age`
2022-03-30 14:56:08
264
原创 HQL12 高级操作符练习(2）
题目说明练习题目来自牛客网sq在线编程 非技术快速入门高级操作符练习(2）_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);drop ta
2022-03-30 14:48:15
232
原创 HQL11 高级操作符练习(1)
题目说明练习题目来自牛客网sq在线编程 非技术快速入门高级操作符练习(1)_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);drop ta
2022-03-30 14:42:22
251
原创 HQL10 用where过滤空值练习
题目说明练习题目来自牛客网sq在线编程 非技术快速入门用where过滤空值练习_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测
2022-03-29 12:20:05
302
原创 HQL09 查找除复旦大学的用户信息
题目说明练习题目来自牛客网sq在线编程 非技术快速入门[查找除复旦大学的用户信息_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向
2022-03-29 12:18:32
220
原创 HQL08 查找某个年龄段的用户信息
题目说明练习题目来自牛客网sq在线编程 非技术快速入门查找某个年龄段的用户信息_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测
2022-03-29 12:17:02
226
原创 HQL07 查找年龄大于24岁的用户信息
题目说明练习题目来自牛客网sq在线编程 非技术快速入门查找年龄大于24岁的用户信息_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);--
2022-03-29 12:15:27
357
原创 HQL06 查找学校是北大的学生信息
题目说明练习题目来自牛客网sq在线编程 非技术快速入门查找学校是北大的学生信息_牛客题霸_牛客网 (nowcoder.com)测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测
2022-03-29 12:13:52
407
原创 HQL05 将查询后的列重新命名
测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测试表中插入数据INSERT INTO user_profile VALUES(1,2138,'male',21,'北京大学','
2022-03-29 00:07:42
477
原创 HQL04 查询结果限制返回行数
测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测试表中插入数据INSERT INTO user_profile VALUES(1,2138,'male',21,'北京大学','
2022-03-29 00:05:47
521
原创 HQL03 查询结果去重
测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测试表中插入数据INSERT INTO user_profile VALUES(1,2138,'male',21,'北京大学','
2022-03-29 00:04:01
804
原创 HQL02 查询多列
测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测试表中插入数据INSERT INTO user_profile VALUES(1,2138,'male',21,'北京大学','
2022-03-29 00:02:26
105
原创 HQL01 查询所有列
测试用例create database nk_test; //创建数据库use nk_test; //进入数据库-- 创建测试表CREATE TABLE user_profile(id int,device_id int, gender string,age int,university string,province string);-- 向测试表中插入数据INSERT INTO user_profile VALUES(1,2138,'male',21,'北京大学','
2022-03-28 23:58:27
879
原创 ZooKeeper_005_javaAPI操作
1，创建Java工程新建一个maven项目在idea中新建一个Maven项目，关于idea的安装可以去微信，百度搜索idea安装相关内容。Maven项目的创建可以百度 hadoop maven项目等关键词。我创建的zookeeper项目如下2，添加zookeeper的Java API依赖包在pom.xml文件中添加如下代码<?xml version="1.0" encoding="UTF-8"?><project xmlns="http://maven.apache.or
2022-01-15 21:20:01
1259
原创 ZooKeeper_004_命令行操作
x连接ZooKeeper集群zkCli.sh -server node001:21811，查询节点列表ls 可以查看ZooKeeper中相应路径下的所有zone节点，例如查看根目录下的所有节点。ls /2，创建节点create 创建一个新的zone节点create /zk "myData"创建zone节点的子节点node1create /zk/node13，查看节点详细信息get /zkget 可以查看某个zone的详情状态信息及其包含的元数字字符串。4，修改节点
2022-01-15 14:14:33
882
原创 ZooKeeper_003_伪分布式搭建
1，建立配置文件进入ZooKeeper的conf文件夹cd~/apache-zookeeper-3.7.0-bin/confzoo1.cfgsudo gedit zoo1.cfg插入内容：initLimit=10syncLimit=5# zookeeper存储文件的位置dataDir=/home/hadoop/apache-zookeeper-3.7.0-bin/1.data# zookeeper日志文件的位置dataLogDir=/home/hadoop/apache-zooke
2021-12-27 23:01:23
1096
原创 ZooKeeper_002_分布式搭建
1，上传Zookeeper安装文件官网下载：https://www.apache.org/dyn/closer.lua/zookeeper将apache-zookeeper-3.7.0-bin.tar.gz上传到node001节点的主文件夹中进入主目录进行解压cd ~tar -zxvf apache-zookeeper-3.7.0-bin.tar.gz -C /home/hadoop/由于后边设置变量等情况会多次使用该文件夹，所以可以对该文件夹进行改名。我这里为了方便将其改为 zook
2021-12-27 22:55:54
1142
原创 Zookeeper_001_克隆与主机IP映射
1，克隆三台虚拟机node001,node002,node0032,修改ip和主机名称分别查看各节点ipifconfig我的三个主机ip为：node001:192.168.2.132node002:192.168.2.133node003:192.168.2.1353,在各个节点中分别执行以下命令，修改hosts文件：sudo gedit /etc/hosts追加内容：192.168.2.132 node001192.168.2.133 node002192.168
2021-12-27 22:50:37
2382
原创 JAVA Object类
7.2 Object类 其实在开始学习class关键字时，就应用到了继承原理，因为在java语言中所有的类都直接或者间接继承了 java.lang.Object类。Object类是比较特殊的类。Object类是比较特殊的类，它是所有类的父类，是java类层中最高的类。 在object类中，主要包括 clone()，finalize()，rquals()，toString()等方法。由于任何类都是object的子类所以任何类都可以重写object类中的方法**注意：**Object类中的getC
2021-09-05 17:48:49
144
1
原创 类的继承编程训练1—储蓄卡与信用卡
**【训练1】**储蓄卡与信用卡 创建银行卡类，并设计银行卡的两个子类：储蓄卡与信用卡。BankCard类package java_继承_多态抽象类_接口;public class BankCard { //银行卡类 String cardNum; //卡号 public void savemoney() { System.out.println("您的卡号为"+cardNum+",银行卡可以存钱"); //功能 }}CreditCard类
2021-09-05 10:43:40
3209
原创 JAVA类的继承
7.1 类的继承 继承在面向对象开发思想是一个非常重要的概念，它使整个程序架构具有一定的弹性。在程序中复用一些已经定义完善的类，不仅可以减少软件开发周期，也可以提高软件的可维护性和可扩展性。 在java语言中，java只支持单继承，即一个类只能有一个父类，一个类继承另一个类需要使用关键字extends，关键字extends的使用方法如下：class Child extends Parent{} 【例7.1】 创建子类对象，观察构造方法执行顺序。父类Parent和子类Child都各自有一
2021-09-05 10:09:24
384
原创 JAVA对象
6.6 对象 java是一门面向对象的程序设计语言，对象是由类实例化而来的，所有问题都通过对象来处理。对象可以通过操作类的属性和方法来解决问题。6.6.1 对象的创建 对象可以认为是在一类食物中抽象出某一个特例，可以通过这个特列来处理这类事物出现的问题。在 JAVA 中，通过new操作符创建对象。语法如下：Test test = new Test();Test test = new Test("a");设置值描述设置值描述Test类名new创建对象操作符
2021-09-04 18:54:25
141
原创 MapReduce简介
5.1 MapReduce简介MapReduce 是hadoop的一个核心组成框架，使用该框架编写的应用程序能够以一种可靠的、容错的的方式并行处理大型集群（数千个节点）上的大量数据（TB级别以上），也可以对大数据进行加工，挖掘等优化处理。一个 MapReduce 任务主要包括两部分：Map任务和Reduce任务。Map任务负责对数据的获取、分割与处理，其核心执行方法为map（）方法。**MapReduce** 将并行计算过程高度抽象了 map() 方法和 reduce 方法中，程序员只需要负责这两个
2021-09-04 16:48:49
1541
原创 静态变量和静态方法编程训练—信用卡消费记录
【训练5】信用卡消费记录 使用静态变量定义使用信用卡消费的总次数，控制台先输出使用信用卡的每一条交易信息，再输出信用卡消费的总次数。输出如下：您有一笔交易记录，交易金额：15550元您有一笔交易记录，交易金额：13540元您有一笔交易记录，交易金额：1250元您有一笔交易记录，交易金额：50元您有一笔交易记录，交易金额：150元您有一笔交易记录，交易金额：1280元您最近有6笔交易package java入门到精通;public class CreditCard {
2021-09-04 12:14:45
646
大数据与前端如何抉择？
2021-12-22
TA创建的收藏夹 TA关注的收藏夹
TA关注的人