大数据学习--beginning

最新推荐文章于 2025-04-21 22:06:10 发布
最新推荐文章于 2025-04-21 22:06:10 发布
阅读量270 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： 综合
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/suishaojian/article/details/70193705
本文记录了作者从零开始的大数据学习历程，包括Hadoop和Spark的配置及应用实践，并逐步过渡到具体的公司级案例分析。同时，还规划了从Java、Linux到Scala的开发语言学习路径。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

大数据学习一直都是断断续续，总结的也少，所以思考了好几天，专门在此地开个博客，记录下在学习过程中遇到的问题，也是鞭策自己能把一直坚持下去。


学习路线：hadoop的配置和案例实现 ---> spark的配置和案例实现 ---> 结合具体公司级案例实现部分功能。


开发语言学习路线：  java ---> linux ---> scala。

大数据学习-Kafka原理详解
暁洣的博客
04-24 633
Kafka简介 Kafka是由LinkedIn开发的一个分布式的消息系统，最初是用作LinkedIn的活动流（Activity Stream）和运营数据处理的基础。 Kafka使用Scala编写，它以可水平扩展和高吞吐率而被广泛使用。目前越来越多的开源分布式处理系统如Cloudera、Apache Storm、Spark都支持与Kafka集成。 综上，Kafka是一种分布式的，基于发布/订阅的消息...
尚硅谷大数据技术-Kafka视频教程-笔记01【Kafka 入门】
upward
08-30 1633
尚硅谷大数据技术-Kafka视频教程-笔记01【Kafka 入门】
大数据学习-Flink
06-12 1160
1、将任务提交到yarn上运行，yarn会为每一个flink地任务启动一个jobmanager和一个或者多个taskmanasger。可以定时将flink计算的状态持久化到hdfs中，如果任务执行失败，可以基于hdfs中保存到的状态恢复任务，保证之前的结果不丢失。我们先实现第一版报警程序，对于一个账户，如果出现小于 $1 美元的交易后紧跟着一个大于 $500 的交易，就输出一个报警信息。2、如果表的数据量很大，随着时间的推移状态会越来越大，状态的数据时先保存在TM的内存中的，时间长了可能会出问题。
大数据学习05-Kafka分布式集群部署
Java721的博客
07-20 633
系统环境：centos7软件版本：jdk1.8、zookeeper3.4.8、hadoop2.8.5本次实验使用版本 kafka_2.12-3.0.0。
大数据案例--网站流量项目（中）
我睡觉的时候不困
04-24 4447
一、Hive做离线批处理 1、实现步骤 ①、启动hadoop，启动hive 进入hive的bin目录（以后台方式启动） nohup hive --service metastore & nohuphive --service hiveserver2 & sh hive ②、在hive下创建weblog库，并使用 create database weblog; use weblog ③、 创建外部表管理数据 建立总表，用于管理所有的字段数据。 总表特.
大数据学习--问题集锦（hadoop篇）--集群搭建
suishaojian的博客
04-24 626
虚拟机复制出3台centos7 配置如下： ip hostname 192.168.0.104 earth(既是master也是slave) 192.168.0.105 jupiter 192.168.0.106 mars 问题1： 在master中执行 . /usr/hadoop/sbin/start-all.sh . /usr/local/spark/spa
大数据组件学习之--Kafka 安装搭建
xq_123dd的博客
04-21 546
在搭建kafka之前，请确认自己的hadoop、zookeeper是否搭建完成且可正常运行。from-beginning这是用来同步历史消息的。进入解压后的目录更改文件名称。加上 & 符表示后台启动。
大数据实战-访问pv实时统计
JiajunBernoulli的博客
01-17 844
文章目录前言代码FlumeKafkaFlink总结 前言 最近在学习如何从零实现一个完整的实时数仓项目，便自己想了一个需求练练手。简单介绍一下，模拟词典工具的PV统计。每个用户查询一个单词便记录到日志，实时统计前5分钟查询的人数。 大概的效果如下，需要注意，生产环境中，这个图在不断更新最近五分钟的数据。也就是说，12点的时候只能看到当天12点前的数据，下面这张图是接近24点才能看到的数据。 要做这个项目练手的话，首先要解决数据的问题。为了数据看上去合理一些，夜间低，白天高，我一次生成了全天的数据。 imp
大数据学习之搭建canal
m0_58050808的博客
08-16 498
开启binlog之后mysql的性能会手动影响。
大数据学习总结------在VMware下搭建（hadoop+spark+hbase+hive+zookeeper+kafka+flume）
qq_32586857的博客
05-15 1215
hadoop学习总结------在VMware下基于Centos7搭建（hadoop+spark+flink+hbase+mysql+hive+zookeeper+kafka+flume）集群 准备环境 VMware Workstation,CentOS-7,hadoop-2.7.7, jdk-1.8, flink-1.9, flume-1.8, hive-2.3, hbase-2.2, kafka-2.12, mysql-5.7, mysql-connector-java-5.1, scala-2.12,
数据科学与大数据技术;kafka-linux安装包
04-16
kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic my-topic --from-beginning ``` 了解这些基本操作后，你就可以开始探索Kafka的更高级特性，如Kafka Connect用于集成外部系统，Kafka ...
大数据学习笔记-------------------(16)
WEL测试
10-11 470
第16章 KAFKA基本操作 首先开始实现“单个单节点中间件(single node-single broker)”配置，然后将设置迁移到单个多节点中间件配置。 机器上已经安装Java、ZooKeeper和Kafka。 在迁移到kafka集群之前，首先需要启动ZooKeeper，因为Kafka集群依赖于ZooKeeper。 16.1 启动zookeeper服务 打开一个新的终端，输入命令：
使用窗口法和模板匹配进行心率跟踪。.zip
最新发布
08-24
1.版本：matlab2014a/2019b/2024b 2.附赠案例数据可直接运行。 3.代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 4.适用对象：计算机，电子信息工程、数学等专业的大学生课程设计、期末大作业和毕业设计。
基于 Go 开发的智能运维命令行工具.zip
08-24
基于 Go 开发的智能运维命令行工具.zip
spring-context-4.0.9.RELEASE.jar中文文档.zip
08-24
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
slf4j-simple-1.7.5.jar中文文档.zip
08-24
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
python39-scipy-1.5.4-3.module_el8.5.0+738+dc19af12.tar.gz
08-24
# 适用操作系统：Centos8 #Step1、解压 tar -zxvf xxx.el8.tar.gz #Step2、进入解压后的目录，执行安装 sudo rpm -ivh *.rpm
mockito-all-1.9.0-rc1.jar中文文档.zip
08-24
1、压缩文件中包含： 中文文档、jar包下载地址、Maven依赖、Gradle依赖、源代码下载地址。 2、使用方法： 解压最外层zip，再解压其中的zip包，双击 【index.html】 文件，即可用浏览器打开、进行查看。 3、特殊说明： （1）本文档为人性化翻译，精心制作，请放心使用； （2）只翻译了该翻译的内容，如：注释、说明、描述、用法讲解 等； （3）不该翻译的内容保持原样，如：类名、方法名、包名、类型、关键字、代码 等。 4、温馨提示： （1）为了防止解压后路径太长导致浏览器无法打开，推荐在解压时选择“解压到当前文件夹”（放心，自带文件夹，文件不会散落一地）； （2）有时，一套Java组件会有多个jar，所以在下载前，请仔细阅读本篇描述，以确保这就是你需要的文件。 5、本文件关键字： jar中文文档.zip,java,jar包,Maven,第三方jar包,组件,开源组件,第三方组件,Gradle,中文API文档,手册,开发手册,使用手册,参考手册。
这是在caffe上基于Deep Residual Network实现显著性目标检测的模型，算法是fine tune训练好的Resnet网络实现的
08-24
资源下载链接为： https://pan.quark.cn/s/1f1cee67feab (最新版、最全版本)这是在caffe上基于Deep Residual Network实现显著性目标检测的模型，算法是fine tune训练好的Resnet网络实现的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值