hadoop_案例_1

Hadoop—20.网站日志分析项目案例(详解) 本次实践的目的就在于通过mapreduce方法对apache common日志进行分析,计算一些关键指标。 阅读详情
执行程序的3中方式:
    
1、直接在服务器上,mapreduce的执行环境是yarn,要打成jar包,放到环境里
    使用命令的方式调用,执行过程也在服务器上

2、在本地直接调用,执行过程在服务器上
    a、首先在src下放置服务器上的hadoop配置文件
    b、把MR程序打包(jar),放到桌面
    c、修改hadoop的源码 (把两个包复制到src下,会优先执行,jar包里的会被覆盖)
    
3    本地测试(windows),它不是hadoop本身有的,要借助于一个第三方的测试 debug工具
    1、修改hadoop的源码
    2、MR调用的代码需要改变:
        a、src不能有服务器的hadoop配置文件
        b、在调用是使用:
            Configuration config = new  Configuration();
            config.set("fs.defaultFS", "hdfs://node7:8020"); (HDFS的入口地址)
    
1    Configuration conf = new Configuration() Configuration是在 recourseManager上

    本地测试运行时若权限不够 则在入口处加 System.setProperty("HADOOP_USER_NAME", "root");
    
3    由于断电导致namenode都是stadby
    执行hdfs haadmin -transitionToActive --forcemanual nn1  重新切换active
    
案例1   从1949年到现在,每一年的每一个月的气温最高的前3个时刻
    要得到这个结果
    1  需要排序 按气温排序
    2  按年月一组一组展示
    3  数据量大,一年一个reduce,多个reduce并发执行
    4  多个reduce要自定义分区,按年来分区(默认partidition是按照键模reduce数量);
        由于是按温度排序,所以要自定义排序(因为默认是key字典排序);
       因为要按年月分组,所以要自定义分组(默认是按照键相同分组);
    5  由4发现一个特点,这3个都是针对键的,按照现在的需求,在key里面应该有年有月有温度
       所以推出 键应该是个封装类型
       
    注意 在自定义输入key的时候,要放弃Comparable的compareTo方法,它是用于计算默认排序和分组的方法
    map执行完后,首先执行的partition
    1 自定义partition
    2 自定义排序sort 同样的年下同样的月下根据温度降序排序的比较排序
    3 自定义分组  分组也是比较
    4 接下来再写reduce
    
    注意 在分析的时候 数据包括哪些范围,是必须知道的,这里天气数据有3年的数据
    
案例2    社交系统中的好友推荐
        什么是离线计算,离线计算就是在你登录后已经计算好了,例如 登录时你的推荐好友已经放到库里面了,直接取就行
    需求分析
        发现 好友的好友就是推荐好友,出现次数越多就越值得推荐
        1  找出一个用户的所有的fof
        2  去掉是直接好友的fof 例如 林志玲       小明    李刚 凤姐 郭美美 后4个人分别通过key林志玲而依次是fof
        3  统计fof出现的次数
        4  降序排
Hadoop进阶经典案例总结 一,以hdfs路径/tmp/table/student_score.txt为输入,表结构为(学号,姓名,课程名称,成绩),字段间分隔符为tab,如下图所示。通过设置reduce个数为2,自定义hash partition实现将其中姓名为"张一"的放到同一个reduce中,非张一的放到其它的reduce中,输出结果字段为(学号,姓名,课程名称,成绩),按tab分隔即可。 具体实现代码(java部分): package com.hadoop.mr.homework2; import com.ha.. 阅读详情

相关推荐

hadoop的小例子,hadoop的小例子

小例子是自己写的,目的是让自己熟悉一下如何在集群上运行一个mapreduce项目,大家可以参考此例子学习hadoop,对入门很有帮助。小例子是自己写的,目的是让自己熟悉一下如何在集群上运行一个mapreduce项目,大家可以参考此例子学习hadoop,对入门很有帮助

Hadoop第五章:几个案例

Hadoop第一章:环境搭建 Hadoop第二章:集群搭建(上) Hadoop第二章:集群搭建(中) Hadoop第二章:集群搭建(下) Hadoop第三章:Shell命令 Hadoop第四章:Client客户端 Hadoop第四章:Client客户端2.0 Hadoop第五章:词频统计 Hadoop第五章:序列化 Hadoop第五章:几个案例...

weixin_50835854的博客 2430

hadoop几个实例

网上很难找的hadoop代码,很适合初学或想从事大数据方向的程序猿,心动者赶紧下载。

Hadoop应用案例分析

hadoop是什么?hadoop能有哪些应用?hadoop和大数据是什么关系?下面我们将围绕这几个问题详细阐述。hadoop是什么?Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进行高速运算和存储。Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称H...

qq_42248663的博客 2万+

计算机组成原理 实验报告

一些基础的hadoop,hive,hbase,MapReduce,以及Java的基础操作,比较适合新手

Hadoop商业应用案例(1)

根据开发商业实例进行Hadoop的使用,开发分析讲解,有视频和学习大纲。

Hadoop环境搭建测试以及MapReduce实例实现

首先我们启动eclipse需要管理员的权限,这样我们在运行这个程序时,避免了“无法访问”的错误。MapReduce实例实现的主要难点是代码的编写.希望各位既可以掌握Hadoop伪分布式的搭建过程,也熟悉一些Linux指令,锻炼动手能力。

黄笳倞的博客 1万+

hadoop示例

是初学hadoop的简单示例,已经跑通,可以直接连接hadoop使用

Day1 Hadoop自带案例统计词频

运行环境: Linux:CentOS Linux release 7.5.1804 (Core) JDK:1.8.0_212 Hadoop:3.1.3 本次实验运用本地模式演示官方案例WordCount WordCount 1、创建一个 input 文件夹 [ndmiao@hadoop102 ~]$ mkdir input 2、在 input 文件夹下创建一个 word.txt 文件 [ndmiao@hadoop102 ~]$ cd input [ndmiao@hadoop102 input]$ vi.

南岛鹋 1165

解决TextMeshPro在AB打包中的字体冗余问题:源码修改全记录

本文详细介绍了如何解决TextMeshPro在AB打包中的字体冗余问题,通过源码改造和工程实践优化Unity项目的性能。内容包括资源加载路径重构、AB打包策略优化及运行时加载方案,有效减少包体体积和构建时间,提升内存效率。

weixin_42558257的博客 185

YOLOv8 ultralytics使用笔记----labelme标记数据,训练模型、追踪目标。

Ultralytics是一个Python库,它是为执行高级计算机视觉任务而创建的,如对象检测、实例分割、图像分类等。Ultralytics为YOLO模型发布了一个全新的存储库,它被构建为用于机器视觉统一框架。这里先利用,并激活。

qq_48050838的博客 1万+

Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例

Hadoop〖一〗Hadoop3.2.1版本本地安装伪集群实现词频统计案例一. 安装Hadoop在虚拟机上1.1 准备一台虚拟机1.2 安装JDK1.3 安装Hadoop二. 接下来进行配置伪分布式(上面的Hadoop只是单机模式)2.1 创建文件夹2.2 修改hadoop配置文件2.3 启动Hadoop2.4 访问UI界面三. 实现WordCount案例(词频统计)3.1 词频统计实现3.2 将...

kingtok的博客 919

单细胞双胞过滤-scrublet安装

pip install scrublet ----use-pep517有如下报错,分析可知安装annoy时不会自动更新gcc的版本,centos默认是4.8.5。pip install scrublet ----use-pep517 仍然报错,但似乎不影响使用,提示Successfully installed。打开终端,进入Python环境,输入以下代码,查看Python安装位置。暂时还没尝试是否存在问题,如果存在问题,降级scrublet版本。包的开发依赖的是比较低版本的numpy,会用到。

hzau_t的博客 796

hadoop1-入门案例Grep|wordCount

download and install 官网下载 https://hadoop.apache.org/releases.html 版本 2.8.5,解压 cd /opt tar -zxvf hadoop-2.8.5.tar.gz 目录结构 Grep案例 2.测试 创建文件夹,将配置文件复制到input [root@localhost hadoop-2.8.5]# mkdir input [r...

橘子味的阳光 512

强化学习Q值迭代的几何视角:从策略区域到快速收敛

在强化学习中,Q值迭代是求解最优策略的核心算法,其理论基础建立在贝尔曼不动点定理之上。该算法通过迭代更新Q函数,使其逐步逼近最优值函数。从几何视角看,整个Q函数空间可被视为一个高维流形,每个Q函数对应流形上的一个点,而贝尔曼最优算子则定义了流形上的变换轨迹。理解这一几何结构,特别是由策略超平面划分出的凸多面体区域,对于分析算法的收敛行为至关重要。在实际工程中,传统Q值迭代可能在高维或稀疏奖励环境下收敛缓慢,甚至陷入策略高原。通过引入策略区域缓存与自适应学习率等几何启发方法,可以更高效地导航策略空间,加速策略

weixin_30444111的博客 319

LLC 谐振变换器开发设计1

本文档详细介绍了基于DSP28335的LLC谐振变换器开发设计。系统采用频率调制(FM)控制方式,实现高效率、高功率密度的隔离型DC/DC变换。文档阐述了LLC拓扑结构和工作原理,给出了谐振频率、品质因数等关键参数的计算公式。硬件设计包括功率器件选型和采样电路实现,软件部分提供了DSP28335的核心控制算法和代码示例,涵盖频率转换、PI控制和PWM生成。系统还设计了启动策略和保护机制,确保可靠运行。该设计实现了主开关零电压开通和低纹波输出特性。

341

大数据hadoop3.1.3——Hadoop序列化以及案例操作

1、序列化概述 2、自定义bean对象实现序列化接口(Writable) 在企业开发中往往常用的基本序列化类型不能满足所有需求,比如在Hadoop框架内部传递一个bean对象,那么该对象就需要实现序列化接口。 具体实现bean对象序列化步骤如下7步。 (1)必须实现Writable接口 (2)反序列化时,需要反射调用空参构造函数,所以必须有空参构造 public FlowBean() { ...

caron的博客 397

工业预测性维护实战:振动分析+Transformer预警系统构建指南

摘要:本文聚焦工业设备预测性维护难题,提出基于振动分析与Transformer模型的全栈解决方案。通过低成本硬件选型(单传感器¥380)实现设备振动信号实时采集,利用边缘计算单元完成特征工程(RMS、峰度、峰值频率提取),并在云端部署Transformer时序模型进行异常预警。某风电龙头企业实践显示,系统将故障误报率从38%降至6%,维护成本降低58%,非计划停机时长减少87%。文中提供完整的边缘端特征提取代码、云端模型架构及实施流程,适配ISO 13373振动分析标准,为制造业设备健康管理提供可复用的工程

专注于人工智能、软件开发、工控自动化、工厂数字化及智能化等领域,希望和大家共同进步! 627

Hadoop官方案例Grep解析--本地模式(Hadoop学习 1)

Hadoop官方案例Grep解析和学习 这是我第一次写博客,如果有写的不好的地方,希望各位多担待,并且可以指出我的错误所在。 Grep是什么东西呢? grep (缩写来自Globally search a Regular Expression and Print)是一种强大的文本搜索工具,它能使用特定模式匹配(包括正则表达式)搜索文本。 这是我从百度百科上面复制来的,从这上面可以看出来Grep是一...

weixin_42369418的博客 1535

uniapp:人脸识别功能,已测试,直接复制源码,支持H5,APP安卓。不依赖任何js,SDK。

uniapp人脸识别功能,已测试可直接复制源码,支持H5,APP安卓。不依赖任何js,SDK。 APP效果图:

sunluyi的博客 2228

YOLOv5源码逐行超详细注释与解读(2)——推理部分detect.py

全网最详细的YOLOv5之推理部分detect.py源码逐行注释,近四万字的超详细讲解!小白入门必看!

路人贾的博客 5万+

Hadoop(八)MapReduce 案例1

map reduce初始案例

技术博客 677

ssm框架搭建

这个是一个在idea上成功跑起来的ssm框架项目,保存在这里方便以后使用直接下载

大数据管理技术 Hadoop-JavaAPI程序案例1

案例一 在hadoop上进行编写mapreduce程序,统计关键词在text出现次数。 mapreduce的处理过程分为2个阶段,map阶段,和reduce阶段。在要求统计指定文件中的所有单词的出现次数时, map阶段把每个关键词写到一行上以逗号进行分隔,并初始化数量为1(相同的单词hadoop中的map会自动放到一行中) reduce阶段是把每个单词出现的频率统计出来重新写回去。 //MyMap...

JxufeCarol的博客 682

深度学习工具包 DeepLearningToolbox

深度学习工具包Deprecation notice.-----This toolbox is outdated and no longer maintained.There are much better tools available for deep learning than this toolbox, e.g. [Theano](http://deeplearning.net/software/theano/), [torch](http://torch.ch/) or [tensorflow](http://www.tensorflow.org/)I would suggest you use one of the tools mentioned above rather than use this toolbox.Best, Rasmus.DeepLearnToolbox================A Matlab toolbox for Deep Learning.Deep Learning is a new subfield of machine learning that focuses on learning deep hierarchical models of data.It is inspired by the human brain's apparent deep (layered, hierarchical) architecture.A good overview of the theory of Deep Learning theory is[Learning Deep Architectures for AI](http://www.iro.umontreal.ca/~bengioy/papers/ftml_book.pdf)For a more informal introduction, see the following videos by Geoffrey Hinton and Andrew Ng.* [The Next Generation of Neural Networks](http://www.youtube.com/watch?v=AyzOUbkUf3M) (Hinton, 2007)* [Recent Developments in Deep Learning](http://www.youtube.com/watch?v=VdIURAu1-aU) (Hinton, 2010)* [Unsupervised Feature Learning and Deep Learning](http://www.youtube.com/watch?v=ZmNOAtZIgIk) (Ng, 2011)If you use this toolbox in your research please cite [Prediction as a candidate for learning deep hierarchical models of data](http://www2.imm.dtu.dk/pubdb/views/publication_details.php?id=6284)```@MASTERSTHESIS\{IMM2012-06284, author = "R. B. Palm", title = "Prediction as a candidate for learning deep hierarchical models of data", year = "2012",}```Contact: rasmusbergpalm at gmail dot comDirectories included in the toolbox-----------------------------------`NN/` - A library for Feedforward Backpropagation Neural Networks`CNN/` - A library for Convolutional Neural Networks`DBN/` - A library for Deep Belief Networks`SAE/` - A library for Stacked Auto-Encoders`CAE/` - A library for Convolutional Auto-Encoders`util/` - Utility functions used by the libraries`data/` - Data used by the examples`tests/` - unit tests to verify toolbox is workingFor references on each library check REFS.mdSetup-----1. Download.2. addpath(genpath('DeepLearnToolbox'));Example: Deep Belief Network---------------------```matlabfunction test_example_DBNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit RBM and visualize its weightsrand('state',0)dbn.sizes = [100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);figure; visualize(dbn.rbm{1}.W'); % Visualize the RBM weights%% ex2 train a 100-100 hidden unit DBN and use its weights to initialize a NNrand('state',0)%train dbndbn.sizes = [100 100];opts.numepochs = 1;opts.batchsize = 100;opts.momentum = 0;opts.alpha = 1;dbn = dbnsetup(dbn, train_x, opts);dbn = dbntrain(dbn, train_x, opts);%unfold dbn to nnnn = dbnunfoldtonn(dbn, 10);nn.activation_function = 'sigm';%train nnopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.10, 'Too big error');```Example: Stacked Auto-Encoders---------------------```matlabfunction test_example_SAEload mnist_uint8;train_x = double(train_x)/255;test_x = double(test_x)/255;train_y = double(train_y);test_y = double(test_y);%% ex1 train a 100 hidden unit SDAE and use it to initialize a FFNN% Setup and train a stacked denoising autoencoder (SDAE)rand('state',0)sae = saesetup([784 100]);sae.ae{1}.activation_function = 'sigm';sae.ae{1}.learningRate = 1;sae.ae{1}.inputZeroMaskedFraction = 0.5;opts.numepochs = 1;opts.batchsize = 100;sae = saetrain(sae, train_x, opts);visualize(sae.ae{1}.W{1}(:,2:end)')% Use the SDAE to initialize a FFNNnn = nnsetup([784 100 10]);nn.activation_function = 'sigm';nn.learningRate = 1;nn.W{1} = sae.ae{1}.W{1};% Train the FFNNopts.numepochs = 1;opts.batchsize = 100;nn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.16, 'Too big error');```Example: Convolutional Neural Nets---------------------```matlabfunction test_example_CNNload mnist_uint8;train_x = double(reshape(train_x',28,28,60000))/255;test_x = double(reshape(test_x',28,28,10000))/255;train_y = double(train_y');test_y = double(test_y');%% ex1 Train a 6c-2s-12c-2s Convolutional neural network %will run 1 epoch in about 200 second and get around 11% error. %With 100 epochs you'll get around 1.2% errorrand('state',0)cnn.layers = { struct('type', 'i') %input layer struct('type', 'c', 'outputmaps', 6, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %sub sampling layer struct('type', 'c', 'outputmaps', 12, 'kernelsize', 5) %convolution layer struct('type', 's', 'scale', 2) %subsampling layer};cnn = cnnsetup(cnn, train_x, train_y);opts.alpha = 1;opts.batchsize = 50;opts.numepochs = 1;cnn = cnntrain(cnn, train_x, train_y, opts);[er, bad] = cnntest(cnn, test_x, test_y);%plot mean squared errorfigure; plot(cnn.rL);assert(er<0.12, 'Too big error');```Example: Neural Networks---------------------```matlabfunction test_example_NNload mnist_uint8;train_x = double(train_x) / 255;test_x = double(test_x) / 255;train_y = double(train_y);test_y = double(test_y);% normalize[train_x, mu, sigma] = zscore(train_x);test_x = normalize(test_x, mu, sigma);%% ex1 vanilla neural netrand('state',0)nn = nnsetup([784 100 10]);opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samples[nn, L] = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.08, 'Too big error');%% ex2 neural net with L2 weight decayrand('state',0)nn = nnsetup([784 100 10]);nn.weightPenaltyL2 = 1e-4; % L2 weight decayopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex3 neural net with dropoutrand('state',0)nn = nnsetup([784 100 10]);nn.dropoutFraction = 0.5; % Dropout fraction opts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex4 neural net with sigmoid activation functionrand('state',0)nn = nnsetup([784 100 10]);nn.activation_function = 'sigm'; % Sigmoid activation functionnn.learningRate = 1; % Sigm require a lower learning rateopts.numepochs = 1; % Number of full sweeps through dataopts.batchsize = 100; % Take a mean gradient step over this many samplesnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex5 plotting functionalityrand('state',0)nn = nnsetup([784 20 10]);opts.numepochs = 5; % Number of full sweeps through datann.output = 'softmax'; % use softmax outputopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, train_x, train_y, opts);[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');%% ex6 neural net with sigmoid activation and plotting of validation and training error% split training data into training and validation datavx = train_x(1:10000,:);tx = train_x(10001:end,:);vy = train_y(1:10000,:);ty = train_y(10001:end,:);rand('state',0)nn = nnsetup([784 20 10]); nn.output = 'softmax'; % use softmax outputopts.numepochs = 5; % Number of full sweeps through dataopts.batchsize = 1000; % Take a mean gradient step over this many samplesopts.plot = 1; % enable plottingnn = nntrain(nn, tx, ty, opts, vx, vy); % nntrain takes validation set as last two arguments (optionally)[er, bad] = nntest(nn, test_x, test_y);assert(er < 0.1, 'Too big error');```[![Bitdeli Badge](https://d2weczhvl823v0.cloudfront.net/rasmusbergpalm/deeplearntoolbox/trend.png)](https://bitdeli.com/free "Bitdeli Badge")

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

Hadoop:Yarn 案例 1

相同月份下,显示(第3参数)最高值的3条数据,(第二参数象征性的数据,暂无实用) 源数据 处理后 案例地址:https://download.youkuaiyun.com/download/lian582796149/20320309

程序猿启程 155

jdk-8u144-linux-x64.tar.gz.

该资源为搭建Linux系统Java环境用,资源的后缀为tar.gz格式的压缩包

Hadoop-MapReduce计算案例1:WordCount

案例描述:计算一个文件中每个单词出现的数量 代码: package com.jeff.mr.wordCount; import org.apache.hadoop.conf.Configuration; import org.apache.hadoop.fs.FileSystem; import org.apache.hadoop.fs.Path; import org.apache.ha...

674

Hadoop大数据综合案例1-Hadoop2.7.3伪分布式环境搭建

部署前提 配置映射地址 ( /etc/hosts ) 关闭防火墙 ( systemctl stop firewalld systemctl disable firewalld ) 关闭Linux 安全子系统 SELinux ( /etc/sysconfig/selinux | /etc/selinux/config ) 使用 ping baidu.com 测试网络是否联通,安装 vim 编辑器 ( yum install vim ) 配置主机的 hosts 映射 ( C:\Windows\Syste

CDHong.it的技术分享博客 4300
上一篇: Mapper类/Reducer类中的setup方法和cleanup方法以及run方法的介绍
下一篇: hadoop_案例_2
时冲
博客等级 码龄15年 12粉丝 35原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值