Scala 学习(六)--- 单机实现wordcount详细解读

基于Hadoop+Scala+Spark的单机WordCount实战项目 Hadoop作为大数据技术的奠基者,其核心由分布式文件系统HDFS和计算框架MapReduce构成。HDFS采用主从架构,通过NameNode管理元数据、DataNode存储实际数据块,具备高容错性与横向扩展能力。数据以默认128MB的块大小切分并多副本存储,保障了大规模数据的可靠读写。# HDFS基本操作示例hdfs dfs -put input.txt /input # 上传本地文件至HDFShdfs dfs -cat /output/part-00000 # 查看输出结果。 阅读详情
object WordCount {
  def main(args: Array[String]): Unit = {
    val lines = List("hello tom hello jerry", "hello jerry", "hello kitty")
    val words = lines.flatMap(_.split(" "))
    val wordAndOne = words.map((_, 1))
    val grouped = wordAndOne.groupBy(_._1)
    val wordCount = grouped.mapValues(_.foldLeft(0)(_ + _._2))
    val sortedWord = wordCount.toList.sortBy(_._2)
    sortedWord.foreach(println)
  }
}
  1. 切分单词

    1.1 对每一行即每个字符串进行切割
    这里写图片描述
    1.2 对切分后的单词平铺
    这里写图片描述
    以上两步可简化为:
    这里写图片描述

  2. 将每个单词计数为1

    这里写图片描述

  3. 将单词作为key进行分组

    这里写图片描述

  4. 统计每个单词出现的次数

    欠妥方法:此种做法不适合局部先进行单词统计,再整体单词统计,因为如果局部某个单词计数不是1,那么再这样做,结果错误
    这里写图片描述
    更好的方法:
    这里写图片描述

  5. 对统计的单词进行排序

    这里写图片描述
    如果降序排列
    这里写图片描述

Python自动化神器:OP插件64位版从安装到实战(附雷电模拟器截图技巧) 本文详细介绍了Python自动化神器OP插件64位版的安装与实战应用,包括环境搭建、窗口控制、鼠标键盘模拟等核心功能。特别针对雷电模拟器提供了最小化截图技术和OCR识别优化方案,帮助开发者高效实现Windows自动化任务。 阅读详情

相关推荐

ARM Cortex平台NEON指令集优化实战指南

本文为ARM Cortex平台开发者提供了一份全面的NEON指令集优化实战指南。文章从NEON的SIMD架构原理讲起,详细介绍了开发环境搭建、NEON内联函数与自动向量化两种核心编程方法、关键数据类型与指令,并通过图像饱和运算、矩阵乘法等实战案例,深入解析了性能调优技巧与常见避坑指南,旨在帮助开发者充分释放ARM处理器的并行计算潜力。

weixin_29162439的博客 262

scala单词统计

在list集合里输入文本 scala> val lines = List(“hello tom hello jerry”, “helo jerry”,“hello kitty”) lines: List[String] = List(hello tom hello jerry, helo jerry, hello kitty) 按空格切分 scala> val n1=lines.fl...

weixin_42767528的博客 600

PS/2鼠标接口协议

一、PS/2鼠标接口        PS/2接口用于许多现代的鼠标和键盘,由IBM最初开发和使用。物理上的PS/2接口有两种类型的连接器:5脚的DIN和6脚的MINI-DIN。        二、鼠标的接口协议原理             PS/2鼠标接口采用一种双向同步串行协议。即每在时钟线上发一个脉冲,就在数据线上发送一位数据。但是在相互传输中 ,主机是拥有总线控制权的

Ant's home 1万+

Scala-单词计数程序、并行计算,文件IO(集合常用函数例子)

1、分组 使用grouped(n),每n个为一组,最后不足的略过 scala> val lst3 = lst2.grouped(5) lst3: Iterator[List[Int]] = non-empty iterator scala> lst3 res2: Iterator[List[Int]] = non-empty iterator //将Iterator转为Li...

onway_goahead的博客 388

泛微OA与金蝶云星空深度集成实战:审批与表单双场景解析

本文深入解析泛微OA与金蝶云星空的深度集成实战,聚焦审批流程与表单对接两大核心场景。通过具体案例,详细阐述了如何实现业务数据与审批流程的自动联动,打破数据孤岛,提升企业运营效率与数据一致性,并分享了接口设计、安全策略及实战避坑指南。

4k5l6j7h8的博客 469

微腔光频梳仿真入门:MATLAB求解LLE方程全流程解析

光学频率梳在精密测量、光通信和微波光子学中有着广阔应用,而微环谐振腔中的Kerr非线性与四波混频效应能够紧凑地产生宽带梳齿。仿真这类系统的核心是求解Lugiato-Lefever方程(LLE),但直接从物理参数到数值代码往往让初学者无从下手。本文从微腔光频梳的物理图像出发,介绍LLE方程的推导与归一化方法,并重点讲解MATLAB数值实现的两种思路:基于ode45的频域耦合方程组求解与分裂步长RK4IP方法。同时讨论失谐扫描、孤子态识别、参数稳定性边界,以及如何将真实器件参数换算为无量纲仿真参数。无论你是刚接

weixin_32325225的博客 294

Scala实现wordCount

废话不多说直接上代码 val list = List("rose is beautiful","jennie is beautiful","lisa is beautiful","jisoo is beautiful") /** * 第一步,将list中的元素按照分隔符这里是空格拆分,然后展开 * 先map(_.split(" "))将每一个元素按照空格拆分 ...

SX的博客 1万+

28、时间敏感网络中可靠性感知的综合路由与调度

本文针对时间敏感网络(TSN)中现有路由与调度机制主要关注时间触发(TT)流量而忽略其他类型流量效用的问题,提出了一种可靠性感知的综合路由与调度机制。通过将具有不同可靠性和延迟要求的各类流量的联合路由与调度问题形式化为基于优化模理论(OMT)的混合整数规划问题,设计了完整的路由约束与调度约束,并分析了不同类型流量的传输效用,设定了优化目标以提升整体网络性能。实验结果表明,该机制在满足TT流量严格时延与可靠性要求的同时,显著提高了AVB和BE等非关键流量的传输效用,实现了多类型流量的高效协同传输。

hhh00的博客 96

Scala---WordCount

安装Maven仓库管理工具,版本要求是3.2版本以上。新建Maven项目,配置pom.xml。导入必要的包。

yaya_jn的博客 959

YOLOv13添加DRB模块map暴涨12.33!准确率提升8.56!召回率提升15.66

本文介绍了在YOLOv13模型中添加DRB模块的改进方法。实验结果显示,添加DRB模块后模型性能显著提升,mAP暴涨12.33%,准确率提升8.56%。文章详细说明了移植过程,包括创建yolov13-DRB.yaml配置文件、修改tasks.py和__init__.py文件,以及引入UniRepLKNet模块的具体实现。其中重点描述了GRNwithNHWC、NCHWtoNHWC等核心组件的实现细节,并提供了完整的模型结构配置代码。这些改进使得YOLOv13模型在保持原有架构优势的同时,获得了更强大的特征提取

FJN110的博客 2822

【AirPlay】苹果认证MFI学习

配件认证是一个过程,通过这个过程,可验证其配件符合MFi技术规范,并通过苹果指定的任何认证测试。MFi门户中的产品计划 "认证 "页面将指导你完成特定配件所需的认证步骤,并指出何时完成所有要求。在完成所有MFi认证要求之前,你不得制造、分发或销售任何配件。在开始MFi认证过程之前,你必须测试你的配件,以确保它符合最新的MFi技术规范,通过产品计划 "测试计划 "上的所有适用测试,并与它将声称具有兼容性的每个苹果设备兼容。

天天的博客 2277

wordcount- scala

一、reduce集合高级函数 package com.atguigu.scala.chapter07 /** * Copyright (c) 2018-2028 尚硅谷 All Rights Reserved * * Project: scala0621 * Package: com.atguigu.scala.chapter07 * Version: 1.0 * * Created by wushengran on 2020/9/19 9:07 */ object Te

qq_40001792的博客 324

OpenClaw 生成测试用例

OpenClaw 只是躯干,Skills 才是灵魂。很多同学觉得 OpenClaw 没用,就像是买了一台顶级电脑却没装操作系统。通过这四步走,不仅可以学会如何让 AI 干活,更重要的是,可以学会如何管理 AI 的能力。

十二测试录 741

wordcount多种写法(单机版、MapReduce、Hive、Spark、Scala)

单机版 public class WordCount { public static void main(String[] args) throws IOException { Map<String, Integer>[] maps=new HashMap[5]; int a=0; for (...

M10F的博客 1413

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

LinePhone3.2.7(android端最新版本) sip客户端

SIP客户端For android:LinePhone3.2.7(最新版本),官网地址:http://www.linphone.org/

Scala/Spark--实现WordCount

v1 package cn.hanjiaxiaozhi.exercise import scala.collection.mutable /** * Author hanjiaxiaozhi * Date 2020/7/16 9:27 * Desc 演示使用Scala函数式编程API完成WordCount-v1-入门程序员版 */ object WordCount_1 { def main(args: Array[String]): Unit = { //1.准备数据 val

qq_46893497的博客 778

计算机控制技术及应用

《计算机控制技术及应用》通过总结作者的科研成果和吸收国内外的先进理论、方法和技术,以计算机控制系统的网络化、开放化、智能化和集成化发展趋势为主线索,主要介绍计算机控制系统的基本概念和计算机控制系统的典型形式,计算机控制系统的数学描述与基本分析方法,以及数字PID控制器、最少拍控制系统、达林算法、状态变量设计法等设计方法及其各种改进算法。重点突出计算机控制系统输入输出通道接口的设计方法和典型控制系统的设计案例与实现方法等。

大数据-86 Spark+Scala实现WordCount:大数据学习的入门实践

WordCount程序作为大数据学习的“Hello World”,不仅是入门的第一步,更蕴含了分布式计算的核心思想——分而治之。通过使用Spark和Scala实现,从文本加载、单词拆分、映射到计数归约,每一步都展示了分布式处理的基本流程。在实践中,可以深入理解RDD在集群中的分布机制、shuffle带来的性能影响、DAG与lineage实现的容错机制,以及如何合理配置资源。Scala的函数式编程和Spark的惰性求值、内存计算进一步突出了简洁与高效。虽然示例简单,但应用范围广泛,可用于日志分析、用户行为分析

谢谢你的喜欢 我们一起无限进步 5386

Data-Structures-and-Algorithm-Analysis-in-Java.pdf

作者: Weiss, Mark A. 出版社: Addison Wesley Data Structures and Algorithm Analysis in Java is an “advanced algorithms” book that fits between traditional CS2 and Algorithms Analysis courses. In the old ACM Curriculum Guidelines, this course was known as CS7. This text is for readers who want to learn good programming and algorithm analysis skills simultaneously so that they can develop such programs with the maximum amo...

用Scala书写一个简单的单机WordCount程序

WordCount程序主要是统计单词出现次数的程序,本例中将给出一个简单的本地单机WorldCount程序。 说明:首先建立一个文本文件,在文本文件中写入若干单词,每个单词占一行,程序每读一行即读入一个单词,然后对相同的单词进行分组并统计。 设在G盘根目录下建立个words文件,里面写入:...

chengyanre2017的博客 305

用scala写一个入门的单机版wordcount

1、这里准备一个字符串List作为输入数据源val lines = List("hello tom hello jerry", "hello jerry", "hello kitty") 2、WordCount 2.1、将每一个字符串按照空格切分 lines.map(_.split(" ")) 2.2、将切分后的数组取掉,直接将每一个单词放在外层的List中 lines.map(_.spli...

小凡 1811

Scala实现WordCount

Scala实现wordCount功能——单机版 1.细节语法如下: map是操作 是把数组/集合中的每一条拿出来进行操作,究竟如何操作,关键在于map中的参数(参数是函数) reduce -&gt; 调用 reduceLeft 是从左往右加 fold(初始值)(自定义的函数) -&gt; 调用 2.代码如下: object Test{ def main( args:Arr...

说文科技,做有态度的研究。 969

Scala Actor并发编程WordCount

Scala Actor并发编程WordCount需求: 用 actor 并发编程写一个单机版的 WordCount,将多个文件作为输入,计算完成后将多个任务汇总,得到最终的结果。 大致步骤: 1、通过 loop +react 方式去不断的接受消息 2、利用 case class 样例类去匹配对应的操作 3、其中 scala 中提供了文件读取的接口 Source,通过调用其 fromFile

Running_Tiger的博客 637

Scala编程基础(八)-- Actor实现WordCount

使用Actor实现WordCount 需求: 用actor并发编程写一个单机版的WordCount,将多个文件作为输入,计算完成后将多个任务汇总,得到最终的结果。 大致的思想步骤: 通过loop +react 方式去不断的接受消息 利用case class样例类去匹配对应的操作 其中scala中提供了文件读取的接口Source,通过调用其fromFile方法去获取文件内容 将每个文件...

happy-vicky的博客 419

使用 scala 实现单机版 WordCount

1、定义一个list,这个list里面模拟一行一行的文本数据val lines = List("hello aa bb cc ", "hello dd ee ff aa ", "hello kk hh jj")2、用map函数对lines按照空格进行切割val lineword = lines.map(_.split(" "))3、用flatten函数对lineword进行“压平”val words

jiaotongqu6470的博客 459

大数据HelloWorld-Flink实现WordCount

MR,Spark,Flink自开篇第一个程序都是Word Count。那么今天Flink开始目标就是在本地调试出Word Count。所有的语言开篇章都是Hello Word,数据处理引擎也有Hello Word。那就是Word Count。 单机安装Flink 开始Flink之前先在本机尝试安装一下Flink,当然FLink正常情况下是部署的部署方式。作者比较穷,机器配置太低开不了几...

CainGao 505

在hadoop环境下用spark跑wordcount(没有安装scala)

在spark和hdfs上运行wordcount: 一、单机单节点安装spark: 1、解压 2、配置conf,cp,, spark-env.sh,写路径,sbin跑动 [root@localhost spark-1.6.1-bin-hadoop1]# cd sbin [root@localhost sbin]# ls slaves.sh                       st

AStar的博客 2257

spark实现wordcount(java,scala版)

scala版object WordCount_Scala_test1 { def main(args: Array[String]) { new SparkContext(new SparkConf().setMaster("local").setAppName("WordCount_Scala_test")) .textFile("D:\\1.txt").flatMap(...

wjn19921104的博客 254

Spark 运行第一个Scala程序WordCount

安装 首先去官网下载Spark。注意Spark和Hadoop之间版本对应关系,我自己装的Hadoop 2.7.5版本,按照下面方式下载即可。 下载完成后,解压安装包至路径/usr/local tar -zxf ./spark-2.3.0-bin-hadoop2.7.tgz -C /usr/local/ cd /usr/local sudo mv ./spark-2.3.0-bin-had...

charming的专栏 2万+
上一篇: Scala 学习(五)--- 练习
下一篇: Scala 学习(七)--- 类
晚秋_梦依在
博客等级 码龄11年 7粉丝 28原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值