大数据技术及应用（林子雨老师的文章链接）

已于 2024-10-28 23:05:12 修改
阅读量335 收藏 5
点赞数 8
分类专栏： 大数据 文章标签： 大数据
于 2024-10-28 22:50:32 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/m0_73939014/article/details/143315713
版权

  1. 在Windows中使用VirtualBox安装Ubuntu虚拟机

在Windows中使用VirtualBox安装Ubuntu虚拟机（2020年7月版本）_厦大数据库实验室博客

  1. Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)

Hadoop3.1.3安装教程_单机/伪分布式配置_Hadoop3.1.3/Ubuntu18.04(16.04)_厦大数据库实验室博客

  1. Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu

Hadoop集群安装配置教程_Hadoop3.1.3_Ubuntu_厦大数据库实验室博客

  1. HDFS编程实践（Hadoop3.1.3）

HDFS编程实践（Hadoop3.1.3）_厦大数据库实验室博客

  1. HBase2.2.2安装和编程实践指南

HBase2.2.2安装和编程实践指南_厦大数据库实验室博客

  1. MapReduce编程实践(Hadoop3.1.3)

MapReduce编程实践(Hadoop3.1.3)_厦大数据库实验室博客

  1. Hive3.1.2安装指南

Hive3.1.2安装指南_厦大数据库实验室博客

  1. Spark安装和编程实践（Spark2.4.0）

Spark安装和编程实践（Spark2.4.0）_厦大数据库实验室博客

  1. Flink安装与编程实践（Flink1.9.1）

Flink安装与编程实践（Flink1.9.1）_厦大数据库实验室博客

大数据学习路线
weixin_54707168的博客
04-15 407
文章目录大数据学习路线前言编程语言阶段学习视频链接大数据框架阶段学习一、Linux（基本操作）视频：二、Hadoop（重点中的重点）视频：三、Zookeeper视频：四、Hive（重点）视频：五、Flume视频：六、Kafka（重点）视频：七、HBase（重点）视频：八、Spark视频：九、Flink（重点中的重点）视频：项目阶段大数据项目实战机器学习 大数据学习路线 前言   要从事计算机行业的工作，不管是什么工作，开发、测试、还是算法等，都是要有一门自己比较熟练的编程语言，编程语言可以是C语言、Jav
大数据处理技术作业——使用HBase&MongoDB&MapReduce进行数据存储和管理
SG_teresa's blog
11-05 4897
【1．列出数据的下载链接，或者说明数据的采集方法。2．概述数据的背景与内容。3．概述数据的 Volume和 Variety。】本次作业的原始数据是在 kaggle 上找的开源的亚马逊餐饮评论数据集，数据集是由几个学者共同收集的，该数据集包含对亚马逊不同美食的评论。数据跨度超过 10 年，包括截至 2012 年 10 月的所有 500000 条评论。评论包括产品、用户信息、评级和纯文本评论，它还包括来自所有其他亚马逊类别的评论。
参考大数据厦门大学林子雨编著的《大数据技术原理与应用（第3版）》中第三课《HDFS编程实践（Hadoop3.1.3）》遇到的bug
伟庭师兄的博客
08-21 353
方式二：通过web查看（因为：Hadoop提供了关于HDFS在Linux操作系统上进行文件操作的常用Shell命令以及Java API。Hadoop根目录：是否是安装目录（非也，它是HDFS 系统的一个目录~ 至于在哪，HDFS文件系统的根目录是/，用户主目录是/user/[hadoop用户名]/data/input应该是存放从本地上传至HDFS文件系统的文件，/data/output应该是存放hadoop运行的结果。原因：“-mkdir”的“-”字符编码错误。/user下的是用户空间，
林子雨_大数据技术原理与应用课后习题
热门推荐
qq_40669059的博客
03-24 3万+
第一章 大数据概述 P26 试述信息技术发展史上的3次信息化浪潮及其具体内容 信息化浪潮 发生时间 标志 解决的问题 第一次浪潮 1980年前后 个人计算机 信息处理 第二次浪潮 1995年前后 互联网 信息传输 第三次浪潮 2010年前后 物联网、云计算和大数据 信息爆炸 试述数据产生方式经历的几个阶段 3个阶段，分别是运营式系统阶段、用户原创内容阶段和感知式系统阶段。 运营式系统阶段：...
《大数据技术原理与应用》林子雨(第二版)--总结
成功唯有积累，没有奇迹。
01-22 1万+
文章目录第一篇 大数据基础大数据处理架构Hadoop 厦大子雨老师的这本书内容不多，但是很全面，推荐适合大数据入门。本篇文章主要是根据书中内容，对书中的课后答案做下总结。 第一篇 大数据基础 大数据处理架构Hadoop 试述 hadoop 和谷歌的 mapreduce、gfs 等技术之间的关系 答：Hadoop 的核心是分布式文件系统 HDFS 和 MapReduce。HDFS 是谷歌文件系统 GFS 的开源实现，具有较高的读写速度、很好的容错性和可伸缩性，支持大规模数据的分布式存储。MapReduce
林子雨 VirtualBox + Ubuntu[linux] 配置 java、hadoop、Spark[python]、pyspark快速配置流程
m0_59344040的博客
03-15 2158
林子雨 VirtualBox + Ubuntu[linux] 配置 java、hadoop、Spark、pyspark流程
厦门大学数据库实验室林子雨Hadoop3.1.3单机/伪分布式安装
G46829362的博客
10-26 3341
通过查看sshd_config文件，将PermitRootLogin设置为yes，然后重启SSH服务，可以解决此问题。我个人建议不创建，也省去给创建的用户添加权限问题，减少不必要的代码（这个看个人喜好，当然如果还是想创建也是没有问题的，我这里就不创建——就用。这里不要输入任何，一直回车就行了（这边主要就是公私密匙的位置和密码，直接回车默认即可） ，我们会看到存储的位置（我的是在：/root/.ssh/），报错3：这里严格上说不算报错，所以如果看到这个提示不要太在意，ssh还是可以正常使用的。
厦门大学-林子雨-大数据技术原理与应用-第11章大数据在互联网领域的应用-Python实践逻辑回归的准备工作
11-20
本课程的主讲教师林子雨提供了详细的步骤和资源链接，确保学生能够在不同操作系统上顺利进行Python环境的配置，以便进行逻辑回归的实践。通过这些步骤，学生能够掌握大数据推荐系统中的关键技术和Python实践逻辑回归...
实验二-HDFS编程
weixin_51942429的博客
11-07 3076
大数据技术原理与应用-实验二-HDFS编程 这里包括了实验步骤以及实验过程中遇到的问题及解决方法~ 实验要求：编写shell与Java代码检验分布式系统HDFS上是否存在一个input.txt，并对代码进行详细注释，通过流程图阐述数据查找过程。
大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第七章 MapReduce
m0_62096596的博客
04-06 1542
大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第七章 MapReduce
从0开始的Ubuntu分布式配置（林子雨）
weixin_61787820的博客
09-28 975
本文依照厦门大学林子雨老师的大数据教程进行安装和配置，完善了一些细节和解决了一些可能出现的错误。教程网址如下https://dblab.xmu.edu.cn/blog/4189/
大数据技术原理与应用答案 林子雨 第二版
qq_43395427的博客
12-04 3万+
第一章 1.试述信息技术发展史上的3次信息化浪潮及具体内容。 信息化浪潮 发生时间 标志 解决问题 代表公司 第一次浪潮 1980年前后 个人计算机 信息处理 Intel、AMD、IBM、苹果、微软、联想、戴尔、惠普等 第二次浪潮 1995年前后 互联网 信息传输 雅虎、谷歌、阿里巴巴、百度、腾讯等 第三次浪潮 2010年前后 物理网、云计算和大数据 信息爆炸 将涌现出一...
林子雨《大数据技术原理与应用》第五讲——NoSQL数据库
weixin_42020212的博客
01-20 1439
NoSQL数据库 林子雨《大数据技术原理与应用》第五讲笔记 NoSQL数据库特点 灵活的可扩展性 灵活的数据模型 和云计算结合 查询性能差 未形成通用的行业标准 维护更加复杂 NoSQL数据库有四大类型 键值数据库：redis 列族数据库：HBase、Cassandra 文档数据库：MongoDB 图数据库：Neo4j 键值数据库 数据模型：键是一个字符串对象，值可以是任意类型的对象 典...
《数据采集与预处理》(林子雨) 书实验二 实现思路与教程(使用Python爬取豆瓣Top250-显示影片基本信息；存储影片详细信息；访问热搜榜并发送邮件)【爬虫实验&课程设计可参考】[含源码]
一些笔记
10-20 2424
​访问豆瓣电影Top250，获取每部电影的中文片名、排名、评分及其对应的链接，按照“排名-中文片名-评分-链接”的格式显示在屏幕上。,,在问题1的基础上，获取每部电影的导演、编剧、主演、类型、上映时间、片长、评分人数以及剧情简介等信息，并将获取到的信息保存至本地文件中。访问微博热搜榜（https://s.weibo.com/top/summary），获取微博热搜榜前50条热搜名称、链接及其实时热度，并将获取到的数据通过邮件的形式，每20秒发送一次到个人邮箱中。
【hadoop安装配置向】：厦门大学林子雨老师博客
weixin_64218437的博客
04-19 940
本科课程内容要求 本文不介绍原理，操作向！# 默认已经完成虚拟机的安装和配置，作者自用ubuntu22版1.确保虚拟机内存足够大，否则出现大文件解压缩或者失误操作会造成虚拟机内存占用率达到100%，可能需要通过扩充磁盘或者重新下载配置虚拟机（重开）！2.在虚拟机内完成网页版微信登陆，用于大文件传输！3.如果有条件建议配置好虚拟机与主机的复制粘贴设置，以便后续使用（作者没有配置明白，所以不强求这点）4.将，方便随时打开运行。
大数据技术原理与应用-林子雨版-课后习题答案
2401_84185626的博客
04-12 1769
答：①Pig是Hadoop生态系统的一个组件，提供了类似SQL的Pig Latin语言（包含Filter、GroupBy、Join、OrderBy等操作，同时也支持用户自定义函数），允许用户通过编写简单的脚本来实现复杂的数据分析，而不需要编写复杂的MapReduce应用程序，Pig会自动把用户编写的脚本转换成MapReduce作业在Hadoop集群上运行，而且具备对生成的MapReduce程序进行自动优化的功能，所以用户在编写Pig程序的时候，不需要关心程序的运行效率，这就大大减少了用户编程时间。
大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第五章 NoSQL数据库
m0_62096596的博客
03-13 1915
大数据技术原理与应用 概念、存储、处理、分析和应用（林子雨）——第五章 NoSQL数据库
Hadoop集群安装配置解析——林子雨老师博客教程
最新发布
G46829362的博客
12-10 1605
另外还需要在Master节点上通过命令“hdfs dfsadmin -report”查看数据节点是否正常启动，如果屏幕信息中的“Live datanodes”不为 0 ，则说明集群启动成功。在配置集群/分布式模式时，需要修改“/usr/local/hadoop/etc/hadoop”目录下的配置文件，这里仅设置正常启动所必须的设置项，包括workers 、core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml共5个文件。
林子雨案例----淘宝伪数据分析
qq_36125181的博客
01-23 5966
淘宝双11数据分析与预测 准备工作： 软件工具 本案例所涉及的系统及软件： Linux系统（CENTOS 7） MySQL Tomcat（7.0.9） Hadoop（3.2.0） Hive（2.3.5） Sqoop（1.4.6） ECharts（4.5.0） Idea（2019.1.3） Spark（2....
hive3.1.2安装指南
06-09
以下是在 CentOS 7 上安装 Hive 3.1.2 的步骤： 1. 安装 Java JDK Hive 需要运行在 Java 环境中，因此需要先安装 Java JDK。 ```bash sudo yum install java-1.8.0-openjdk-devel ``` 2. 下载并解压 Hive 在 Apache Hive 的官网 https://hive.apache.org/downloads.html 下载 Hive 3.1.2 的压缩包，并解压到指定的目录。 ```bash # 下载 wget https://mirrors.tuna.tsinghua.edu.cn/apache/hive/hive-3.1.2/apache-hive-3.1.2-bin.tar.gz # 解压 tar -zxvf apache-hive-3.1.2-bin.tar.gz sudo mv apache-hive-3.1.2-bin /usr/local/hive ``` 3. 配置环境变量 编辑 /etc/profile 文件，添加以下内容： ```bash export HIVE_HOME=/usr/local/hive export PATH=$PATH:$HIVE_HOME/bin ``` 保存并退出，执行以下命令使环境变量生效： ```bash source /etc/profile ``` 4. 配置 Hive 在 $HIVE_HOME/conf 目录下，将 hive-env.sh.template 文件复制为 hive-env.sh，并修改其中的 JAVA_HOME 变量指向 Java JDK 的安装路径。 ```bash cp $HIVE_HOME/conf/hive-env.sh.template $HIVE_HOME/conf/hive-env.sh vi $HIVE_HOME/conf/hive-env.sh # 修改为 export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk ``` 5. 配置 Hadoop 将 Hadoop 的配置文件 core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml 复制到 $HIVE_HOME/conf 目录下。 ```bash cp $HADOOP_HOME/etc/hadoop/core-site.xml $HIVE_HOME/conf/ cp $HADOOP_HOME/etc/hadoop/hdfs-site.xml $HIVE_HOME/conf/ cp $HADOOP_HOME/etc/hadoop/mapred-site.xml $HIVE_HOME/conf/ cp $HADOOP_HOME/etc/hadoop/yarn-site.xml $HIVE_HOME/conf/ ``` 6. 配置元数据库 Hive 需要一个元数据库来存储它的元数据。在本地安装 Derby 数据库作为 Hive 的元数据库。 ```bash # 下载 Derby 数据库 wget https://mirrors.tuna.tsinghua.edu.cn/apache/db/derby/db-derby-10.15.2.0/db-derby-10.15.2.0-bin.tar.gz # 解压 tar -zxvf db-derby-10.15.2.0-bin.tar.gz sudo mv db-derby-10.15.2.0-bin /usr/local/derby # 配置环境变量 echo 'export DERBY_HOME=/usr/local/derby' >> /etc/profile echo 'export PATH=$PATH:$DERBY_HOME/bin' >> /etc/profile source /etc/profile # 创建元数据库 mkdir -p /usr/local/derby/data derby/bin/startNetworkServer & $HIVE_HOME/bin/schematool -dbType derby -initSchema ``` 7. 启动 Hive 执行以下命令启动 Hive： ```bash hive ``` 如果一切顺利，就可以看到 Hive 的命令行界面了。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值