hadoop_案例_2

Hadoop_19_综合案例2 文章目录数仓的设计维度建模星型模式雪花模式星座模式案例项目数仓设计ETL建表上传数据至hdfs原始表拆分统计分析流量分析多维度统计PV总量分组求TOPN人均浏览量受访分析各页面PV热门页面统计访客分析独立访客每日新访客访客visit分析回头/单次访客统计人均访问频次人均页面浏览量 数仓的设计 维度建模(dimensional modeling)是专门用于分析型数据库、数据仓库、数据集市建模的方法。 维度建模的基本概念 维度表:维度表示你要对数据进行分析时所用的一个量。 例:昨天下午我在星巴克花费200元喝了 阅读详情
三个案例都是关于算法的

1    Pagerank算法,网页排名  PR值,是谷歌的算法(hadoop就是从gugool出来的)
    是用来做搜索结果排序的
    PR值是通过pagerank算出来的
    
    阻尼系数
    大数据的重点课,是机器学习,机器学习中有个概念是黑匣子(例如不好的基因片段,但你不能去掉它,去掉后可能会引起其他不良反应)
    机器学习中有个重要的算法:神经网络,里面有大量的系数,这些系数几乎全是黑匣子
    什么是黑匣子例如:你知道哪些神经元传递的信号是什么意思吗?显然不知道
    对比试验 :500个临床,另500个临床试验得到一个结果。但还是不知道为什么
    系数也是这么的来的,只能说少了它会怎样怎样。是经过序列集通过多次建模得到的结果
    建模通过R语言,PHyhon语言来建模。R语言计算碎片数据(序列集),进行反复计算,建模,就会得到一个系数。
    
    黑匣子,怎么做的不知道,但它的目的知道,就是提高我们的某种准确度,是通过序列集计算出来的
    神经网络算法就是不知道它里面是怎么算的就是神经网络算法
    
    ABCD4个页面是 初始时pagerand值默认是1,第二次对ABCD页面分别计算PR值,ABCD 4个页面的PR值会不是1,会变。
    第三次分别计算PR值,会发现与第二次又不同,……当第9999次计算后发现 ABCD4个页面的PR值和上一次全部相等了,
    这就是收敛,(注意绝对的相等,不存在,只要相差0.00001后就可以认为收敛,这个0.00001是我们自定义的)所以我们要通过迭代递归计算(收敛)

2    tf-idf 算法
    用在互联网的精准广告推送
    以新浪微博为例
    新浪它根据用户发送微博的内容来判断你对什么样的产品感兴趣,新浪微博的内容中有大量词条(也就是词),
    根据词条的权重词频 tf和逆向词频 idf相乘就得到一个权重
    
    注意1个碎片段不能超过1个block。1个block 对应1个map任务,4个map任务是并发同时执行的
    几个maptask就有几个输出文件
    
3    天猫推荐算法
    例如:猜你喜欢,电影推荐,小说推荐等等他们是一类的算法,叫 协同过滤算法,它是应用层算法(不同于冒泡排序,底层算法)
    http://tianchi.shuju.aliyun.com/
    它有出色的速度和健壮性(稳定性和准确率)
    分为2种  基于物品的协同过滤算法和基于用户的协同过滤算法
    基于用户的协同过滤算法:

    基于用户的协同过滤算法:
    例如 给用户推荐他之前喜欢的物品的相似的物品
            物品与物品的相似是有一个数值相似的,数值越高越相似
            
    主流 是用基于物品的协同过滤算法
    把所有商品的彼此间的相似性(体现到商品上就是,你都买了哪些东西),和 所有人的行为喜好相结合,才能做到一个最完美的推荐列表。
    所以我们发现,把尿片和啤酒放在一起是不准确的。在数据挖掘的时候你在预测推荐时,如果你的预测值和一个月的后的现实值比较到达 60%的准确性。
    如果你的预测值和一个月的后的现实值比较到达80%的准确性,那么你的那个推荐算法是完全绝对错误的。任何一个预测系统和推荐系统的,它的准确性绝对不可能超过80%,
    如果超过80%,那么只能说你的这个算法,仅仅是在某一个训练集里符合,但是运用到全范围序列集下,很明显是错误的。
    
    1  找到 两两物品之间的相似性(某人都买过哪些东西)。  相似有一个值
    2  根据所有人对物品的喜好     喜好也有一个值
    这两个因素决定了一个推荐列表
    
    我们怎么判断 两个物品之间的相似性
    我们可以想象出一个同现矩阵     x 是物品id y也是物品id  矩阵里面的值是两两之间同现的次数。自己和自己的同现次数就是这个物品一共被购买过多少次
    
    用户对物品的喜好组成一个矩阵 里面的值是用户对物品的喜好值 喜好值为0表示,根本不喜欢
    喜好度怎么来的,就是通过用户的行为得来的,例如 用户把某物品加入购物车 喜爱度加1,下订单了 喜爱度加5,购买了 喜爱度加10 等等(注意这些喜爱系数是通过逻辑回归算出来的)
    所以做是决定喜爱度的一个维度,正向关系
    还有一个就是 人的购买时间,性别,年龄等都是影响喜爱度的维度(本例子 只提供了 操作值)
    
    同现矩阵和喜好矩阵相乘,累加 得到一个推荐值
    同现矩阵和喜好矩阵相乘,累加 得到一个立体三维矩阵
    
    线性回归或者是逻辑回归,它会算出任意一个维度对应的系数,例如在本例中 对于物品A 人年龄对物品的系数,时间对物品的系数
    物品A对所有维度的系数相累加,最后就会得到1个人对物品A的喜爱值

    在本案例中 逻辑回归是用来算最合适的系数的,也就是 error值最小的,最优系数。所有维度的系数值累加就是 喜好值1、去重
    1、去重  一行数据全部相同才叫相同
    2、获取所有用户的喜欢矩阵:
    a)
            goodId1     goodId12    goodId13
    UserId1            
    UserId2    
    UserId3    
    3、获得所有物品之间的同现矩阵
    4、两个矩阵相乘得到三维矩阵
    5、三维矩阵的数据相加获得所有用户对所有物品的推荐值(二维矩阵)
    6、按照推荐值降序排序。
   
综合关键词提取算法实践:TF-IDF、TextRank与TopicRank Google的PageRank算法是基于网页超链接结构的搜索引擎算法,它通过分析网页之间的链接关系来评估网页的重要性。TextRank算法是PageRank算法在自然语言处理领域的扩展,它将文本中的句子或词组看作是图中的节点,通过节点之间的连接关系来确定重要性评分。TextRank算法背后的直觉是,文本中的某些句子或词组因为与其他重要的句子或词组频繁共现,所以它们也很可能很重要。通过这种机制,TextRank能够捕捉文本的全局特征,而不是仅仅依赖局部的关键词频率。 阅读详情

相关推荐

【Unity动画系统】详解Root Motion动画在Unity中的应用(一)

什么时候勾选Bake into pose,当不希望动画带动游戏对象旋转时。在旋转的动画中一般是不用勾选的,因为就需要用它来带动我们的角色对象旋转。但在比如前进、后退、待机等动画来说,我们就可以勾选这里,以避免因动画文件本身的瑕疵而给我们带来的旋转。loop match:代表了这个动画在角度上的吻合度。如果这个动画在播放中转角过大,那么就会显示红色,告诉我们如果勾选bake into pose,则会带来不好的效果。

weixin_60154963的博客 6805

Hadoop 2.x配置及简单MapReduce案例

去官网下载压缩包 配置jdk(hadoop运行在java环境上) Hadoop 2.x基本配置及运行MapReduce案例在本地模式下 在hadoop文件下 mkdir input cp etc/hadoop/*.xml input/ bin/hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0.ja...

闵浮龙的博客 744

ISCE+Mintpy进行SBASInSAR处理(持续更新)

通过调用pairs_misregistration方法,利用safe_dict中的数据信息,对每对SLC数据进行配准误差的计算和分析,以确定数据之间的精确差异,为后续的时间序列处理提供基础。给定同一地区的两景SAR影像,经过配准之后,对应像元进行共轭相乘得到相位差,并形成干涉图,但是从干涉图中得到的相位差实际上是主值,即在(-π,π)呈周期性变化,为了还原其真实的相位差,必须在主值的基础上加或减整数倍的相位周期2π,把被卷叠的相位展开,才能顺利地反演出地面目标的高程和形变。

Cyy2511250589的博客 3737

Hadoop2.X的环境配置与运行官方案例

一、安装之前的准备 1.1 修改主机名称 进入 Linux 系统查看本机的主机名。通过 hostname 命令查看。 [root@localhost ~]# hostname localhost.localdomain 如果此时需要修改主机名则可以按照如下的方式进行修改 范例一:临时修改主机名称为Hadoop01 hostname hadoop01 重启之后失效 范例二:永久修改主机名...

qq_35970166的博客 227

无网环境也能玩转DBeaver?手把手教你离线安装与ClickHouse连接(附实测jar包)

本文详细介绍了在无网环境下如何离线安装DBeaver并配置ClickHouse连接的完整指南。通过准备必备工具如DBeaver安装包、ClickHouse JDBC驱动及Maven本地仓库,确保在物理隔离环境中实现数据库管理。文章包含详细的安装步骤、驱动配置和性能优化建议,帮助开发者在严格网络限制下高效工作。

weixin_42635064的博客 377

实证研究之|stata清洗charls数据

stata

qq_45313933的博客 6766

Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例

Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例一. 安装Hadoop在虚拟机上1.1 准备一台虚拟机1.2 安装JDK1.3 安装Hadoop二. 接下来进行配置伪分布式(上面的Hadoop只是单机模式)2.1 创建文件夹2.2 修改hadoop配置文件2.3 启动Hadoop2.4 访问UI界面三. 实现WordCount案例(词频统计)3.1 词频统计实现3.2 将...

kingtok的博客 919

一文读懂GAN, pix2pix, CycleGAN和pix2pixHD

本文翻译、总结自朱俊伟的线上报告,主要讲了如何用机器学习生成图片。 来源:Games2018 Webinar 64期 :Siggraph 2018优秀博士论文报告 人员信息 主讲嘉宾 姓名:朱俊彦(Jun-Yan Zhu) 现状:麻省理工学院博士后(PostDoc at MIT),计算机科学与人工智能实验室(Computer Science and Artificial In...

gdymind的博客 6万+

Hadoop(九)MapReduce 案例2

mapreduce java 案例

技术博客 1478

适配adv7280m相机到rk3588的安卓平台

Kernel-5.10/arch/arm64/configs/firefly_defconfig里面增加配置CONFIG_VIDEO_ADV7180=y。出现一次开不了机器的情况,接调试口发现,在set_fmt里面用s_ctrl对mipi的频率进行设置会出现异常。设备树修改kernel-5.10/arch/arm64/boot/dts/rockchip/13.dts。把MEDIA_ENT_F_ATV_DECODER改回MEDIA_ENT_F_CAM_SENSOR。第二次编译,仅仅刷新boot.img。

chenyq14的专栏 2449

车载摄像头EMC问题剖析

车载摄像头作为智能驾驶核心部件,其EMC问题日益突出。某案例中,摄像头在48MHz~175MHz频段辐射超标。通过控制变量法排查,发现网络变压器地环路和共模抑制不足是主因。整改措施包括优化接地隔离、增加共模滤波器和使用屏蔽网线,最终通过EMC测试。案例表明,EMC问题需从系统耦合角度解决,建议设计阶段预防地环路,在高速信号链中加入滤波隔离措施。全文150字。

硬核科技 273

hadoop2.20+hive+sqoop+mysql数据处理案例

一、业务说明 使用Hadoop2及其他开源框架,对本地的日志文件进行处理,将处理后需要的数据(PV、UV...)重新导入到关系型数据库(Mysql)中,使用Java程序对结果数据进行处理,组织成报表的形式在数据后台进行展示。   二、为什么使用Hadoop(开发动机) 现有的日志处理方式,是采用纯的java程序来计算的,对于大数据的日志文件来说,这种方案在处理速度、IO占用、数据备份及资源

guoyunyuhou的专栏 2417

Linux kernel crypto的介绍和代码导读

在Linux kernel的module_init阶段会将algif_type_skcipher、algif_type_aead、algif_type_hash、algif_type_rng 四种算法注册.在userspace通过netlink调用了,kernel种的af_alg模块收到消息后, 根据上层传来的算法种类名字来选择走哪一个结构体(alg_type_xxx)的ops函数。也就是添加到af_alg维护的alg_types链表种. alg_types链表种仅有这四个数据.

baron-周贺贺-代码改变世界ctw 323

案例 2:Hadoop集群SSL证书制作

Hadoop集群SSL证书制作

Siobhan_Mxin的博客 3358

Devexpress16.2.6破解工具

Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具Devexpress16.2.6破解工具

华为的C语言编程规范.pdf

华为技术有限公司内部技术规范。本规范制定了编写C语言程序的基本原则、规则和建议。从代码的清晰、简洁、可测试、安全、程序效率、可移植各个方面对C语言编程作出了具体指导。

Hadoop2.6.0+Linux Centos7+idea环境下:MapReduce二度好友推荐案例

目录 一、问题描述 二、intellij idea中编写代码+打包项目 三、xftp中上传jar包到Linux 四、hadoop中准备输入数据+运行jar包+查看输出结果 一、问题描述 使用MapReduce,对于每个用户A建议10个与A不是朋友的用户,但与A有最多共同朋友。 输入: 输入文件包含邻接列表,在列表中有多行,每行格式如下 01,2,3,… 这里,“0”是唯一的整数ID,对应于唯一的用户,“1,2,3…”是一个逗号分隔的唯一ID列表,对应于具有唯一ID的用...

weixin_45725601的博客 2100

数学建模模型总结

这是本人在两年内准备参加数学建模竞赛搜集到的模型资料,已经经过了本人的筛选和整理,希望能够对准备参加数学建模竞赛的学弟学妹们提供一些帮助!

Hadoop官方经典案例Wordcount解析和学习--本地模式(Hadoop学习2)

Wordcount是什么? Wordcount简单来说就是单词统计,把一个文件内的单词进行统计一遍,这个经典的案例呢,会伴随我们学习hadoop一直到最后。这个统计无疑是很重要的。 工具准备: linux系统 搭建好的Hadoop环境 案例演示步骤 (1)创建文件夹 wciput(当然,首先你得在/opt/module/hadoop-2.7.2,这个路径下面,这个是博主自己创建得路径,不同情况...

weixin_42369418的博客 349

TMS_WebGMaps_1.9.8.0_Full_Source

TMS_WebGMaps_1.9.8.0_Full_Source 全源码 delphi cbuilder

hadoop2.x_实战案例

转载于 本文版权归作者和博客园共有,欢迎转载,但未经作者同意必须保留此段声明,且在文章页面明显位置给出原文连接,博主为石山园,博客地址为http://www.cnblogs.com/shishanyuan  。该系列课程是应邀实验楼整理编写的,这里需要赞一下实验楼提供了学习的新方式,可以边看博客边上机实验,课程地址为 https://www.shiyanlou.com/courses

zhubing10061210的博客 1954

hadoop2.6.4-ha集群搭建案例

hadoop2.0已经发布了稳定版本了,增加了很多特性,比如HDFS HA、YARN等。最新的hadoop-2.6.4又增加了YARN HA 注意:apache提供的hadoop-2.6.4的安装包是在32位操作系统编译的,因为hadoop依赖一些C++的本地库, 所以如果在64位的操作上安装hadoop-2.6.4就需要重新在64操作系统上重新编译 (建议第一次安装用32位的系统,我将编译好的6...

ddbbff2005的博客 278

Apache Hadoop 2.9.2 的归档案例剖析

              Apache Hadoop 2.9.2 的归档案例剖析                                         作者:尹正杰 版权声明:原创作品,谢绝转载!否则将追究法律责任。   能看到这篇文章说明你对NameNode 工作原理是有深入的理解啦!我们知道每个文件按照块存储,没饿过块的元数据存储在NameNode的内存中,因此H...

weixin_34306446的博客 147

Hadoop:Yarn 案例 2

关系图 源数据展示 处理后 (推荐好友,之间的共同好友数量) 案例地址:https://download.youkuaiyun.com/download/lian582796149/20320309

程序猿启程 230

Hadoop之MapReduce2基础梳理及案例

基础梳理 1.Mapreduce 分布式计算系统 一个分布式运算程序的编程框架也是hadoop的数据分析和应用的核心框架,将用户的业务逻辑代码和自带的默认组件整合一个完整的分布式用程序,并发运行在一个hadoop集群...

csdn3993023的博客 252

Hadoop案例(2)实现词频统计

Hadoop实现词频统计。

Kox_233的博客 859

HADOOP2.6部署成功案例

1、     软件下载 从官网http://apache.fayea.com/hadoop/common/  下载hadoop 从Oracle官网下载JDK http://www.oracle.com/technetwork/java/javase/downloads/index.html(1.8.25) hadoop-example的jar用来简单测试 http://www.java

peter242888的专栏 483
上一篇: hadoop_案例_1
下一篇: NodeJS 单线程 和java 多线程
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值