自己对大数据的简单体会

最新推荐文章于 2020-09-28 10:57:52 发布
原创 最新推荐文章于 2020-09-28 10:57:52 发布 · 714 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#大数据

最近对于大数据的发现越来越多了，感触也是越来越多，首先我来说几个例子吧

每天早晨起床我得手机首先会给我推荐当天的上班路况，这你受得了吗？我不开车也不坐公交而是坐地铁😅

其次是一些系统你会发现比如说京东、天猫、淘宝之类的会根据你经常浏览的物品，当你无聊浏览时候你会发现看到的就是你经常搜索的东西，这个我觉得应该是根据你的行为动作去实现的一个功能

再有就是这个博客啦，就拿我得博客举例吧，搜@RequestParam的同学可能就要比搜Servlet的同学多，以上是举例

欢迎大家评论~~~

未完待续~~~

大数据杂谈篇：认识大数据生态(个人心得分享)
萧邦主的城邦
08-07 3777
内容简介一、什么是大数据？二、走进大数据生态1.Hadoop2.Spark3.Hive4.HBase5.Kafka6.Flume7.Zookeeper三、总结 一、什么是大数据？ 接触大数据也有一段时间了，从当初什么都不会的纯小白到现在已经基本入门(还是很弱)，在学习的道路上跌跌撞撞的，一部分原因是国内大数据的学习资料相比于其他IT技术要少很多，还有一部分原因是大数据涉及的知识比较多，知识点多，...
都说大数据，大数据是什么，来自大数据的自我介绍
程序猿
06-26 1834
数据的分析与管理以原始数据为基础，同时需要培养数据感觉、建立数据思维，不同的定义及分析方向不同，造成的结果和数字也不尽相同，所以我们用最复杂而有效的多方交叉验证方式，提供丰富的维度和科学的方法。一、用户画像与标签来源一般而言角色不同，做用户画像的目的也不尽相同：关注作者：需要大数据学习方面的额，其他文章可以找到组织广告公司是为精准营销，电商是为用户购买更多的商品，内容平台是推荐更感兴趣的内容，提升...
大数据分析思路的4点心得
weixin_34056162的博客
08-02 401
大数据分析能力对于一名产品经理来说是最基本的能力。 在面试的过程中，社招会有面试官会问你以往你负责的产品的相关数据，如何看待这些数据，如何通过这些数据来做接下来的产品优化;校招的面试官可能会问小伙伴们关于分析数据的思维;在产品经理的日常工作当中，要时长盯着数据的报表来分析产品的健康程度。本文不再对一些基本的数据定义再做描述，而是从分析的思路总结了一些心...
大数据的感想
巫巫巫政霖
07-28 3633
1.大数据即全数据（即n=All，这里n为数据的大小），其旨在收集和分析与某事物相关的“全部”数据，而非仅分析“部分”数据。 2.“N=All（所有）”常常仅仅是对数据的一种假设，而不是现实。现实数据是含有系统偏差的，通常需要人们仔细考量，才有可能找到并纠正这些系统偏差。大数据，看起来包罗万象，但“n=All”往往不过是一个颇有诱惑力的假象而已。 3.醉汉找钥匙的行为，恰恰就是科学研究所遵循的
浅谈大数据（一）
感受微风
11-10 193
1. 大数据时代，我们可以分析更多的数据，有时候甚至可以处理某个现象的相关的所有数据。 这点是建立在计算机硬件的不断发展，可以储存和调用所有的数据，通过对所有数据的分析， 得出具有即时性的结果。 2. 不在于追求精确度 因为数据时全部的，所以肯定会有一定的错误性存在，不会像少量数据时得出的结果。 3. 不热衷于寻找因果关系，而是关注相关关系 由数据得出的结果是没...
关于大数据的一点感想
weixin_40657079的博客
03-23 2062
前一段时间学习了传智播客大数据课程，觉得掌握的不太牢靠以后还要再重复的看看。我想简单的总结一下课程吧！！ 首先大数据课程要有JAVAEE的基础和LINUX基本功。整个课程有以下几点： linux基础篇：包括liunx安装软件，网络设置、vim编辑器、免密登陆、shell基础。 java高级基础：反射，高并发，RPC，JVM，netty zookeeper：存储和监听特性。 Hadoop基...
大数据心得体会范文(1).doc
最新发布
06-18
这标志着互联网的作用从简单的数据交流和信息传递，提升到了一个新的层次。 大数据技术的核心特征主要体现在四个“V”上：Volume（体量）、Velocity（速度）、Variety（多样性）、Value（价值密度）。体积指的是...
大数据读书心得体会精彩范文.doc
06-14
在大数据的背景下，数据不再只是简单地收集和存储，更需要通过有效的分析手段挖掘出其中的模式、趋势和价值，从而推动知识的创新和科技的进步。因此，大数据的概念不仅是技术发展的产物，也是对传统数据管理和分析...
大数据实验四-MapReduce编程实践
04-03
### 大数据实验四-MapReduce编程实践 #### 一、实验内容与目的 ##### 实验内容概述 本次实验的主要内容是使用MapReduce框架来实现WordCount词频统计功能，即统计HDFS（Hadoop Distributed File System）系统中多个...
大数据实验报告总结体会-大数据挖掘流程及方法总结.pdf
12-24
学习大数据挖掘通常涉及从基础概念到实际项目的经验积累，涵盖大数据技术如Java全栈开发、Web前端、数据分析、人工智能等。通过课程学习和实战项目，可以帮助你快速掌握企业所需的前沿技术，提升职业竞争力。
大数据实验三-HBase编程实践
04-03
HBase的Shell命令是进行表管理、数据插入、查询等操作的一种简单方式。以下是一些常用的Shell命令： 1. **创建表**： - `create 'tablename', 'columnfamily'`：用于创建一个新的表，其中`tablename`是表的名字，`...
第一次关于计算机大数据的感悟
cqupt_shiguang的博客
03-07 822
如果你想从容的面临未来的生活，就需要彻头彻尾的改变。多一份稳重，多一份责任，多一份担当---致自己。
关于大数据技术的一点自我思考
WGS.
09-28 1221
文章目录1.什么是大数据？2.大数据技术是什么？3.为什么会有大数据技术？4.大数据技术的原理是什么？5.大数据系统构建的几个核心问题？6.大数据技术的几个大变迁感受 大数据技术在当下时代，已经不算是什么新鲜东西了。但绝大部分同学往往又是没机会接触大数据相关底层技术的，包括我自己。 不过，俗话说没吃过猪肉还没见过猪跑吗？今天就来说说我对大数据技术的思考吧，希望会给部分同学解开一些迷惑 1.什么是大数据？ 我们不搞虚的：大数据就是数据量比较大的场景，比如上TB或者PB级别以上的，基本就要归属于大数据的范畴了。
简单可持久化数据结构总结
Rocket_Raccoon的博客
12-22 327
这里讲的是不加嵌套等的简单可持久化数据结构 可持久化数据结构的根本目的是为了解决多棵树存不下的问题，核心思想就是继承某个历史版本，只新增需要修改的结点。一、可持久化线段树： 主席树能够实现区间中求k大，求满足某要求的数量等 线段树在可持久化后，原本的标记下传便不能再使用，我们往往使用标记永久化 1.[bzoj4408] [Fjoi2016]神秘数 题解：(http://blog.csdn.
心得体会
简单而深刻
10-11 196
最近忙论文 关于云计算和数据挖掘。很恼火！ 其实我一直在纠结，到底应该好好弄出来还是随便搞搞就毕业就行？ 我思想上产生了惰性！可是又觉得真的要好好学学东西，可是最近又不自信！ 这真的是打击很大！ 我想，学习的方法，学习的习惯，思维的方式，这些我似乎好久忘掉的东西真的应该拾起来！ 总结，认真的程度，思考的深度！ 那么，每天都要做好总结。每天都要思考自己是否在正确的方向上以正确的步伐在前进...
我对于大数据的认识
sincere_love的博客
06-10 2万+
今天来说一说对于大数据这个词的理解 以及初步的认识； （以下只是本人简短学习之后的总结，如有错误欢迎指出） 我对于大数据的认知是：短时间内快速产生的大量且多种多样的有价值的信息； 在以往，数据产生速度慢，节奏慢，而现在呢社会科技发展之快是肉眼可见的，当然也有很多是我们还没真正地感受到，就已经有开始了更先进的技术发布；对于这一数据量过大的问题，有两个解决方法： 1：垂直扩展：就好比你的电脑要扩大容量...
大数据学习心得
热门推荐
知行_那片天
03-01 5万+
大数据学习心得一、 概述1大数据简介 1.1起源 “大数据“，近几年来最火的词之一。虽然大数据这个词的正式产生也就10年左右，但对大数据分析却早就有之。早在互联网初期，就有很多公司通过计算机技术对大量的分析处理，比如各个浏览引擎。然而，大数据的真正提出却是源自2008.09.03 《Nature》专刊的一篇论文，紧接着，产业界也不断跟进，麦肯锡于2011.06 发布麦肯锡全球研究院报告，标志着
大数据分析的学习感悟
腾帅PLUS
05-15 8779
由于近期我们团队在做大数据方面的项目，所以在大数据方面进行了一轮学习和研究，现在拿出来和大家一起分享一下。 一、何谓数据分析 数据分析是指从大量的数据中，通过统计学、数据可视化等方法，挖掘出有价值的信息和知识的过程。把隐藏在一大批看似杂乱无章的数据背后的信息集中和提炼出来，总结出所研究对象的内在规律。 二、大数据分析的意义 伴随着大数据、云平台、物联网、人工智能技术的快速发展，大数据分析必然会发挥更大的作用。大数据的意义归根到底就四个字：辅助决策。利用大数据分析，能够分析现状、分析原因、发现规律、总结经验
【大数据实验一 】熟悉常用的Linux操作和Hadoop操作实验总结及体会
03-21
### 常用Linux操作 在大数据实验中，掌握一些常见的Linux操作是非常重要的。这些操作可以帮助用户更高效地管理文件、查看系统状态以及执行其他必要的任务。以下是几个常用的Linux命令： - **文件和目录操作**: `ls`, `cd`, `mkdir`, `rm` 和 `cp` 是最基本的用于浏览和修改文件系统的命令[^1]。 - **权限管理**: 使用 `chmod` 可以更改文件或目录的访问权限；`chown` 则用来改变文件的所有者。 - **文本处理工具**: 如 `cat`, `grep`, `awk`, 和 `sed` 这些工具对于查找特定字符串或者编辑大量文本非常有用。 - **压缩解压**: 对于大容量的数据集来说，学会如何使用 `tar` 或 `gzip` 来打包和压缩文件也是必不可少的一项技能。 ```bash # 创建新目录并进入该目录 mkdir new_directory && cd $_ # 查找当前路径下包含关键词 'error' 的日志文件 find . -name "*.log" | xargs grep error ``` --- ### Hadoop基础命令 Hadoop提供了丰富的命令来管理和监控集群中的数据存储与计算资源。下面列举了一些最常使用的Hadoop命令: - **启动/停止服务节点**: 通过 `/hadoop/hadoop/sbin/hadoop-daemon.sh start|stop datanode` 控制DataNode的服务启停[^3]。 - **上传下载文件到HDFS**: 使用 `-put` 将本地文件复制至分布式文件系统上, 而 `-get` 执行相反的操作。 ```bash hadoop fs -put /local/path/to/file.txt /hdfs/target/directory/ ``` - **查询HDFS上的元信息**: 比如显示某个具体位置下的内容列表(`-ls`)或是统计整个目录大小(`du -s`)等功能均可以通过简单的CLI指令完成。 - **删除不需要的内容**: 当不再需要某些数据时可利用 `-rmr` (递归移除) 清理掉它们。 --- ### 实验心得总结 参与此次关于熟悉常用Linux及Hadoop操作的大数据分析课程后发现，在实际动手实践之前确实存在较多陌生领域需提前学习准备。例如刚开始接触各类Shell脚本编写技巧还有理解MapReduce工作流程等方面的知识点都需要额外花时间去深入研究才能更好地适应后续更加复杂的编程需求。 另外值得注意的一点是在调试阶段经常会碰到各种各样意想不到的小错误但是只要耐心寻找原因几乎都能找到对应的解决方案这不仅锻炼了自己的问题排查能力同时也增强了面对困难的信心水平最后成功完成后也获得了极大的成就感[^2]. 尽管像Hive这样的技术虽然基于较慢的MapReduce框架但在适当场景下仍然具有其独特优势; 同样Kylin凭借预计算方式实现了快速响应特性从而吸引了越来越多用户的青睐显示出不同工具有着各自适用范围的重要性[^4]. ---
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值