一只新手白-优快云博客

原创大数据学习第十三天（mysql不会的查询2）

s_name VARCHAR(20) NOT NULL DEFAULT '' COMMENT '学生姓名',s_birth VARCHAR(20) NOT NULL DEFAULT '' COMMENT '出生年月',s_sex VARCHAR(10) NOT NULL DEFAULT '' COMMENT '学生性别',t_name VARCHAR(20) NOT NULL DEFAULT '' COMMENT '教师姓名',s_id VARCHAR(20) COMMENT '学生编号',

2024-04-07 21:07:52 873

原创大数据学习十三天（hadhoop基础2）

MapReduce是hadoop三大组件之一,是分布式计算组件Map阶段 : 将数据拆分到不同的服务器后执行Maptask任务,得到一个中间结果Reduce阶段 : 将Maptask执行的结果进行汇总,按照Reducetask的计算规则获得一个唯一的结果我们在MapReduce计算框架的使用过程中,我们只需要关注,Map任务的规则,和Reduce任务的规则即可MapReduce的核心思想是: 先分(Map)再和(Reduce)思考: MapReduce中hadoop服务帮我们完成了什么???

2024-04-07 14:40:28 1121

原创大数据学习十二天（补hadoop基础1）

注意：在hdfs中使用任何文件或者目录，要使用绝对路径进行查找，在hdfs中没有工作目录的概念，更没有绝对路径的概念。如：hdfs dfs -put /var/log/messages /hdfs dfs -put 本地文件路径（写绝对路径）hdfs的路径。hdfs dfs -get hdfs的文件路径本地文件路径。1）hdfs dfs -ls 路径 //路径要从根路径指定。2）上传/etc/hosts文件到hdfs的it/a内。2）hdfs dfs -touch /路径/文件。

2024-04-02 20:52:06 1912 1

原创大数据学习第十二天（mysql不会的查询1）

dname VARCHAR(50) comment '部门名称',COMM DECIMAL(7,2) comment '奖金',sal DECIMAL(7,2) comment '薪资',job VARCHAR(50) comment '职位',4）列出薪金等于部门30中员工的薪金的非30号部门的员工的姓名和薪金。select b.ename '员工', a.ename '上级'mgr INT comment '上级',

2024-04-02 19:06:33 850 1

原创大数据学习第十二天（hadoop概念）

注意: 在企业级开发中我们使用的大多是商业版hadoop, CDH版本Hadoop在6.2.4版本之前是不收费的.3）ssh协议是服务器之间，或windos和服务器之间传递的数据的协议。此时不仅可以提供多台服务器的存储空间,同时可以增加服务器的读写效率,cpu,内存,网络带宽等.日常生活中不断产生各类数据，通过对各类数据的分析，得到用户的行为习惯，发现用户的数据价值。hadoop的发展受谷歌的三篇论文影响, 后被称为大数据发展的三驾马车。存储原理就是将大文件进行分割,分割后,将数据存储在不同的服务器内部。

2024-04-02 17:33:09 2386 3

原创大数据学习第十一天（复习linux指令3）

vim /etc/hostname 或者 echo 名字 > /etc/hostname。但是并不是所有的用户，都有权力使用sudo，我们需要为普通用户配置sudo认证。8)chmod -R 用户权限数字分组权限数字其他用户权限数字文件或目录。基本用法：chown [-R] [用户] [:] [用户组] 文件或文件夹。我们可以使用sudo命令，为普通的命令授权，临时以root身份执行。年(%Y)-月(%m)-天(%d) 时(%H):分(%M):秒(%S)

2024-04-01 10:54:22 668

原创大数据学习第十天（复习linux指令2）

find 目录路径 -size +10k 大于10k。find 目录路径 -size 10k 等于10k。find 目录路径 -size -10k 小于10k。如：echo hello world > a.txt //覆盖写入。基本用法：tail 文件名/tail -行数文件指定查看后几行。如：cat a.txt //查看文件的内容。如：find / -name 'a.*'如：more a.txt //查看文件内容。语法：wc[-c -m -l -w] 文件路径。

2024-03-28 22:17:33 584 1

原创大数据学习第九天（复习linux指令1）

1）计算的构成硬件和软件2）软件部分操作系统用户和计算机硬件之间的桥梁，调度和管理计算机硬件进行工作pc端winmaclinux 公司服务器使用较多移动端安卓ios鸿蒙应用程序。

2024-03-27 22:42:17 1087

原创大数据学习第九天（mysql查询已选/没选的课程）

stu_id int comment '学生id',cour_id int comment '课程id',这两个查询折磨了半个小时，必须把这俩晒一晒。values (0, '张三'),(0, '李四'),(0, '王五'),(0, '赵六'),(0, '田七');values (0, '语文'),(0, '数学'),(0, '英语'),(0, '物理'),(0, '化学'),(0, '历史'),(0, '地理');2）查询还没有被选过的课程有哪些。1）查询已经被选过的课程有哪些。

2024-03-27 21:32:43 1303

原创大数据学习第八天（FineBI学习）

数据可以帮助我们做什么?历史数据 ---离线计算分析已有数据,对于之前发生的事情做分析,找出问题原因实时数据 ---实时计算对当下发生的事情进行处理,即时展示数据信息,让企业可以关注实时发展动态未来数据 ---机器学习对于未来即将发生的事情进行预测,帮助企业调整发展方向FineBI有哪些产品优势?个人用户完全免费,企业用户收费较低.自助式BI工具: 企业或个人自己搭建服务器,访问该服务即可查看BI报表.兼容多种数据源,并且可以在一张表报表中使用多个数据源的数据.

2024-03-23 10:14:10 2185 1

原创大数据学习第七天（kettle数据采集）

数据库: mysql 对于数据进行增删改查操作,一般都是业务数据库需要数据高速处理,及时响应对数据的安全性有极高的要求数据内容,数据形式比较单一.数据库一般是app或者用户通过接口访问.数据仓库: 一般是用于数据分析的数据集中平台将多重数据源(业务数据库, 日志信息, 备份文件,爬虫文件,问卷调查等)的数据集中存放在数据仓库中,便于分析统计数据仓库更加重视的是数据的吞吐量.对及时响应和高效读写没有太高的要求.数据仓库一般是数据业务人员使用。

2024-03-22 21:59:40 1321 1

原创大数据学习第六天（mysql的收尾和练习）

('岳不群', 50, default, '华山剑法', 3),('东方不败', 99, '中性', '葵花宝典', 3),('梅超风', 40, '女', '九阴白骨爪', 1),('郭靖', 30, '男', '降龙十八掌', 1),('黄药师', 60, '男', '弹指神通', 1),('乔峰', 33, '男', '降龙十八掌', 2),('虚竹', 27, '男', '天山六阳掌', 2),('王语嫣', 18, '女', '神仙姐姐', 2),

2024-03-20 19:55:01 1170 1

原创大数据学习第五天

概念：保留右表中的全部数据，和左表中与右表连接成功的数据，其余数据不保留，右表中连接不成功的部分补充null。注意2： ==在使用group之后,无法在select中使用除分组字段之外的其他字段== //如果有名字，它会数据挑一个显示，就要用到concat。（6）如果想删除主表的数据，但是从表有主表对应的键值，要先删除从表对应键值的数据，才能删除主表的数据。概念：保留左表中全部的数据和右表中与左表连接成功的数据，其余数据不保留。

2024-03-19 18:15:56 428

原创大数据学习第四天

（2）update student set name = a,gender = '男' where id = 5;insert into student(id,gender) values(1,'男');（2）insert into student(id,name) values(5,'小明');insert into students values(1,'a','男');insert into students values(2,'a','女');如：查询以'香'开头，名字只有2个字符的商品信息。

2024-03-18 15:59:05 604

weixin_45787368的博客