- 博客(15)
- 收藏
- 关注
RSS订阅原创 spark练习---统计每个省份的点击最多的三个广告
/依赖rdd4返回的数据((province,adid),num),进行map操作 x:((province,adid),num)// 对top3的kv((province,adid),num) => 转换成 (adid【广告】,num【广告次数】)// 把每个省的广告num次数转成列表,并以num次数大小降序排序,取出每个省的前三的广告。//对相同key的value进行迭代累加计算 ((province,adid),1)// 以(省份,广告)为key,1为value。
2023-05-23 20:35:05
285
原创 Hadoop 入门—hadoop和jdk安装配置
一、通过Xftp把Hadoop和jdk的安装包传到Linux 的指定路径 /opt/software/二、安装Hadoop和jdk ,并指定路径 tar -zxvf hadoop安装包名 -C /opt/module/ tar -zxvf jdk 安装包名 -C /opt/module/三、配置Hadoop和jdk cd /etc/profile.d/ sudo vim my_env.sh#JAVA_HO...
2022-05-07 21:50:13
2081
7
原创 Hadoop入门—环境配置
1.改IP地址：vim /etc/sysconfig/network-scripts/ifcfg-ens332. 测试是否能联网，以ping百度为例 ping www.baidu.com3.改主机名称vim /etc/hostname4.使用户能够使用sudo命令 vim /etc/sudoers 用户名 ALL=（ALL） NOPASSWD：ALL5.在hosts添加以下代码，来配置主机映射...
2022-05-07 21:22:19
876
原创 Hadoop入门
HDFS概述：Hadoop Distributed File System 是一个分布式文件系统HDFS架构概述：Name Node (记录数据位置)储存文件元数据，如文件名，文件目录结构，文件属性，以及文件的块列表和所在的Date NodeDate Node：储存文件数据，以及块数据的校验和Second NameNode:每隔一段时间对元数据备份...
2022-04-21 22:41:09
2237
原创 HDFS上传
hadoop fs 命令 or HDFS dfs 命令- move From Local：从本地剪切粘粘到G HDFS- copy From Local 等同于 -put从本地文件系统中拷贝文件到HDFS路径去- appendToFile：追加一个文件到已经存在到文件末尾...
2022-03-26 00:35:08
433
原创 HDFS完文件块大小
HDFS中的文件在物理上是分块存储块的大小可以通过配置参数来规定默认大小在Hadoop2.x/3.x版本中是128M，1.x中是64M
2022-03-24 22:26:19
2482
原创 用Python输出100以内的质数
# 遍历2到100的数，因为[1]可以是其他数的质数for i in range(2,100): # 一样遍历2到2到100的数 for j in range(2, i): # 判断如果模等于0，说明不是质数，结束循环 if i % j ==0: break # 否则输出质数 else: print(i,end=' ')...
2022-03-23 20:35:18
12008
原创 Python练习实例---房贷计算机
a = int(input("请输入商贷贷款金额(万元):"))b = int(input("请输入商贷贷款年限(年):"))A = int(input("请输入公积金贷款金额(万元):"))B = int(input("请输入公积金贷款年限(年):"))if b >5 : d =0.049/12 #d为商贷月利率 e =b* 12 #e为贷款总月数 c =a *d*(1+d)**e/((1+d)**e-1) f =c*e g =(f -a).
2022-03-23 20:33:09
3279
原创 HDFS产生背景和定义
为解决海量数据存储，需要一种系统管理多台机器的文件。HDFS只是分布式文件系统管理的一种HDFS（Hadoop Distributed File System）它是一个文件系统 ，分布式的适用场景： 适合一次写入，多次读出的场景 ...
2022-03-21 22:18:34
332
原创 Linux查找命令find locate grep 管道符
find 【搜索范围】【选项】按文件名查找 路径 【文件名】具体文件名find /home - opt Hello wrold.txt按文件拥有者（用户名）查找 【用户名】find /home - user module按文件大小查找-：小于 +：大于 不写：等于查找等于20M的文件find /home - size ...
2022-03-20 23:04:44
158
原创 Linux 文件目录命令 ln history
ln -s[原文件或目录] [软连接名称]创建软链接rm -rf 软链接名删除软链接history 显示所有的历史指令history 5显示最近使用的5个指令！指令数 例如： ！5 会执行 历史指令为5的操作...
2022-03-17 23:28:46
515
原创 Linux文件目录类命令head,tail echo
echo $PATH 查询环境变量环境echo “字符串” 在控制台输出字符串head 文件名 显示文件前十行head -n 5 显示文件前五行tail -f 文件名 实时监控文件变化 实时追加日期tail 文件名 显示文件结尾后十行tail -n 5 文件名 ...
2022-03-16 23:27:45
781
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人