关于大数据

墨衍会员 · AI 创作全网分发 墨衍智能分发 本文由作者通过墨衍一键同步至各平台 1分发平台 500+累计阅读 583平均单平台已同步平台优快云微信公众号微博知乎掘金百家号博客园抖音小红书 你的文章也可以这样分发 墨衍会员 ¥399起/年，写一次发全网我也要 → 码龄13年

关注

原创最新推荐文章于 2026-09-29 12:30:51 发布 583 阅读 AI 写同款· GEO 优化 ›

大数据（Bigdata）常用技术栈提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈首先通过一张图来了解一下目前大数据领域常用的一些技术，当然大数据发展至今所涉及技术远不止这些。 BigData Stack：下面分不同层介绍各个技术，当然各个阅读详情

早上起来，先背了一个list的单词。

然后看到了昨天刚下的一本书，大数据时代，这是最近某位校长推荐的一本书。生活、工作与思维的重大变革。

这本书真的很不错。以后对这些更有感触时再回来补充。

作者

收录于

machine learning

当前文章被收录于：

machine learning

4 篇文章 0 人学习

订阅专栏查看详情

当前文章被以下社区和专栏收录：

大数据BigData总结笔记(一) 一什么是大数据? 大数据（big data），IT行业术语，P级甚至是E级数据量! 是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 eg: 19g 的txt文件--打开失败:常规软件无法捕捉管理,处理.. 买枪案例:洞察发现力.. 啤酒和尿布案例:洞察发现力,流程优... 阅读详情

相关推荐

【计算机视觉学习03】全景图像拼接

文章目录一、基本原理1.1 图像拼接的几何原理1.2 直线,圆，复杂曲线方程拟合1.3 RANSAC算法1.4 APAP算法1.5 寻找最佳拼接缝（Seam Finding）1.5.1 最大流问题1.5.2 最大流问题的增广链算法1.5.3 最大流最小割定理二、图像拼接具体实现2.1 代码2.2 运行结果一、基本原理将两幅或多幅具有重叠区域的图像，通过特征匹配将具有相同的特征点（SIFT特征点）的图像拼接在一起，将来自多个不同视角拍摄的图像变换到同一视角下，拼接成一张宽视野图像。图像拼接基础流程

一个正在努力学习的iter 7787

大数据分析的逻辑与认识差异：北京大学刘德寰

为什么80%的码农都做不了架构师？>>> ...

weixin_34007879的博客 200

从报错到成功：手把手教你避坑clusterProfiler安装全流程

本文详细解析了clusterProfiler安装过程中的常见报错及解决方案，从CRAN安装误区到Bioconductor拼写错误，再到依赖包安装失败等问题，提供了五步正确安装法。特别适合生物信息分析新手快速掌握R包安装技巧，避免踩坑。

weixin_30859423的博客 379

膨胀卷积原理与实战：如何用空洞卷积指数级扩大感受野

膨胀卷积（Dilated Convolution）是一种通过在卷积核采样中引入固定步长跳跃，从而在不增加参数、不降低空间分辨率、不依赖下采样的前提下，显著扩展感受野的基础卷积变体。其核心原理是修改离散卷积的索引偏移，使输入采样呈k×d间隔，实现感受野随膨胀率d指数增长（RF∝2^d）。相比普通卷积的线性感受野扩张和RNN/Transformer的高计算开销，它在语义分割、语音建模、时序预测等需兼顾长程依赖与高分辨率输出的任务中展现出独特技术价值。本文结合DeepLab、WaveNet等工业级应用，解析其数学

weixin_34152820的博客 600

AD | Altium Designer(原理图设计、电路仿真、PCB绘图)汉化版

Altium Designer(原理图设计、电路仿真、PCB绘图)

Qt历险记，专注Qt技术，三年医疗设备研发经验，1年机器视觉研发经验，半年柔性传感研发经验。 4162

大尺寸智能车的CAN驱动控制器制作(一)

本驱动板使用8个半H桥BTS7960驱动，使用CAN接口于车体主控制器通讯，最大承受电压48V 电流20A ,主控为STM32F103VET6，电机控制频率为18KHz,CAN通讯芯片为TJA1042T，全驱动板6-24V宽电压供电，采用24V降5V，5V降3.3V的方案供电，其中经过AMS1117作为降压芯片，可以有效降低主控损毁几率。在这里可以看到555电机相比于其他电机的功率大很多，所以需要大功率的电机驱动，在以往的电机驱动选型中选择了TB6612,L298N等小功率电机驱动。

技术的力量能够改变世界 568

一个故事，带你看什么是大数据时代

2019独角兽企业重金招聘Python工程师标准>>> ...

weixin_33842328的博客 245

Win10 环境下 ISE14.7 iMPACT 闪退的 DLL 修复方案 - FPGA 开发实战

本文详细介绍了在Win10系统下解决ISE14.7 iMPACT工具闪退问题的DLL修复方案，特别针对FPGA开发中常见的兼容性问题。通过替换关键DLL文件，有效解决了iMPACT在生成PROM文件时的崩溃问题，并提供了详细的步骤说明和注意事项，帮助开发者提升工作效率。

weixin_29197051的博客 209

关于SQL认识，转载

在我们的大多数应用开发中或多或少的用到SQL语句，那么Sql到底是什么？下面我们将讨论一下什么是sql 1.首先我们编程都是告诉计算机我们做的代码，计算机按照我们给出的步骤执行，然后得到我们想要的结果，但是SQL非也，它是一个结果程序语言，主要特点就是，我想要某个数据或者某种数据，好的，SQL你帮我找一下，看看数据库里面有没有，ok，有返回数据，没有，反馈没有信息。 2.sql并不是按软件程序

活到老学到老，技术成就梦想 630

如何通过单步调试的方法，找到 SAP Gateway 到底把 Fiori 应用发送的 OData 请求，投递到哪一台 ABAP 后台服务器了？

这是一个 Count 请求，得到服务器响应的数据是 204，这个 204 会以数字的形式，显示在 Fiori Launchpad tile 上。那如果当前 Gateway 系统可以连接到多台 ABAP 后台服务器，比如下图所示，可以连接 SAP S/4HANA，ERP 或者 SAP CRM，我怎么知道 SAP UI5 应用上显示的数据，到底来自哪一台 ABAP 后台服务器呢？，就是上图 ABAP 调试器里断点停留的位置，即 SAP Frontend 服务器，通过 RFC 将 OData 请求投递给。

2007 年 ~ 2025 年，深耕 SAP 技术 18 年 640

yolov26改进 | 检测头篇 | 利用渐近特征金字塔网络AFPN改进yolov26检测头融合P2网络结构(让小目标无所遁形，全网独家首发)

本文介绍一种基于AFPN渐近特征金字塔网络改进的YOLOv26四检测头Detect_FPN。AFPN通过逐级融合底层细节、中层结构与高层语义特征，缩小不同尺度特征之间的语义差距，减少直接融合带来的信息冲突，使检测头获得更稳定、更充分的多尺度表达。本文进一步增加高分辨率小目标检测分支，强化对微小目标、密集目标和复杂背景目标的感知能力，适合工业缺陷、遥感及无人机等场景。文中将展示基础模型与改进模型的训练对比结果，并提供完整代码、配置文件、模块注册方法及Codex修改思路，方便直接复现和二次创新。

Snu77的博客 367

用大数据讲商业地产新故事

在北京798中国导演中心表演厅的看台上，万科集团总裁郁亮、执行副总裁毛大庆并排端坐，他俩中间是一位新伙伴——百度公司副总裁张东晨。一场极具科技感的开场秀之后，郁亮宣布万科将联合百度启动商用地产的科技化运营。未来万科与百度的合作，将应用在万科商用旗下的社区商业、生活广场、购物中心，基于百...

cigang4063的博客 503

【QNX+Android虚拟化方案】136 - QNX 侧 Coredump 文件解析

|~~~热爱生活、努力学习的小伙汁~~~| 1905

大数据学习必备 | 推荐几个牛X 的 github 项目，助你事半功倍

花了5个小时，为你整理出了这几个牛X 的 github大数据项目

大数据梦想家 1万+

Probability and Statistics - 4th edition

NTscan扫描工具

ntscan是一个扫描器，可以扫描没有密码和弱密码的共享，先到配置文件中填写猜测的用户名和密码，扫描过程中右侧出现的是扫描日志。

SZT-bigdata完整部署教程：从零搭建大数据集群

SZT-bigdata是深圳地铁大数据客流分析系统，本文将为您提供从零开始搭建SZT-bigdata大数据集群的完整部署教程，帮助您快速掌握部署要点和关键步骤。 ## 一、环境准备与集群规划在开始部署SZT-bigdata大数据集群之前，需要做好环境准备和集群规划工作。确保服务器满足硬件和软件要求，合理规划集群节点数量和角色分配。 ### 1.1 硬件与软件要求硬件方面，建议每台服务器

gitblog_00229的博客 1228

ET2012新版免狗免安装绿色软件

ET2012新版免狗免安祖昂绿色软件。，新界面，新视觉，

BigData-Notes：全面解析大数据技术栈入门指南

BigData-Notes：全面解析大数据技术栈入门指南本文全面解析了大数据技术生态体系，涵盖了从数据采集、存储、处理到应用的全生命周期技术栈。详细介绍了Hadoop生态系统三大核心组件（HDFS、MapReduce、YARN）的架构原理和协同工作机制，深入对比分析了主流流处理框架（Flink、Spark Streaming、Storm）与批处理框架的技术特性、性能差异和适用场景。最后提供了系统...

gitblog_00043的博客 1012

OV9734 DATASHEET，完整规格书

OV9734完整规格书，包括电气参数，尺寸规格，寄存器配置表等

探索大数据世界的宝藏 —— bigdata-learning-notes 项目深入剖析

探索大数据世界的宝藏 —— bigdata-learning-notes 项目深入剖析在浩瀚的数据海洋中，每个开发者都渴望找到那个能够引领自己乘风破浪的灯塔。今天，让我们一起揭开一个名为 bigdata-learning-notes 开源项目的神秘面纱。这不仅是一套笔记，更是一个通往大数据领域的钥匙，它汇聚了从基础理论到实践操作的全方位指导，是每一个数据工程师和分析师的知识宝库。项目介绍 bi...

gitblog_00391的博客 995

大数据bigdata

前言： 大数据就是互联网发展到现今阶段的一种表象或特征而已，没有必要神话它或对它保持敬畏之心，在以云计算为代表的技术创新大幕的衬托下，这些原本看起来很难收集和使用的数据开始容易被利用起来了，通过各行各业的不断创新，大数据会逐步为人类创造更多的价值。定义：是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合，是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。提出时间：2008年8月中旬 大数据的5V特点（IBM提出）： Volume（大量）

这里是菠萝味菠萝啤的博客 2280

探索大数据平台：goldlone的bigdata_platform

探索大数据平台：goldlone的bigdata_platform 去发现同类优质开源项目:https://gitcode.com/ 项目简介是一个开源的大数据处理和分析框架，旨在简化大数据项目的开发、部署和运维过程。该项目提供了全面的数据集成、存储、计算、查询与分析功能，适用于各种规模的企业和开发者，帮助他们更好地管理和利用海量数据。技术分析 1. 基于Hadoop的分布式架构 bigdat...

gitblog_00073的博客 1244

探索大数据世界的窗口——bigdata-file-viewer

探索大数据世界的窗口——bigdata-file-viewer 在这个数据驱动的时代，处理和解读复杂的大数据文件变得尤为重要。然而，对于那些以二进制形式存储的常见大数据格式（如Parquet、ORC和Avro）而言，找到一个直观且功能强大的查看器并非易事。今天，我们就来介绍一下bigdata-file-viewer，一个跨平台的应用程序，它能够帮助您轻松管理并分析这些大文件。项目介绍 bigda...

gitblog_00791的博客 1198

探秘大数据面试：BigData-Interview项目深度解析

探秘大数据面试：BigData-Interview项目深度解析去发现同类优质开源项目:https://gitcode.com/ 在当今大数据时代，数据处理和分析能力成为了众多企业和开发者的核心竞争力。如果你正在准备进入大数据领域或者希望提升自己的相关技能，那么项目绝对值得你关注。这是一个专注于大数据领域的面试题库，包含了丰富的技术知识和实战经验，旨在帮助开发者更好地理解和应对大数据面试。项目简...

gitblog_00050的博客 738

大数据必读书单：专业书籍推荐awesome-bigdata指南

想要在大数据领域快速成长？awesome-bigdata项目为你精心整理了最全面的**大数据必读书单**，涵盖从基础理论到实践应用的方方面面。这个项目汇集了**大数据学习资源**、**分布式系统书籍**和**数据科学经典著作**，帮助你在数据时代脱颖而出！🚀 ## 📚 大数据学习路径全解析 ### 分布式系统基础入门想要掌握大数据核心技术，首先要理解分布式系统的原理。awesome-bi

gitblog_00117的博客 1352

如何快速掌握大数据技术：awesome-bigdata知识分享终极指南

大数据技术正在改变我们的世界，但面对如此多的框架和工具，新手往往感到无从下手。😅 今天我要为大家介绍一个宝藏项目——**awesome-bigdata**，这是一个精心策划的大数据框架、资源和其他优秀项目的集合，帮助你在大数据领域快速成长！ ## 📊 什么是awesome-bigdata？ awesome-bigdata是一个全面的大数据技术资源库，包含了从分布式编程到数据可视化的各种工具

gitblog_00046的博客 1126

大数据 BigData

集群系统是一个互相通过网络连接起来的计算机（节点）所构成的分布式系统，集群中的每一个节点都具有独立的存储系统，和共享存储系统相比集群是一种松耦合的系统。集群系统现在是实现高性能计算主要方法，集群系统不只是计算的聚集也是存储的聚集。这里所指的分布式系统包括分布式计算和分布式存储。

BlueProtocolBlog 1725

bigdata-ecosystem的10个真实用途：从大数据技术选型到学习路线图

**bigdata-ecosystem** 是一个开源的 BigData Ecosystem Dataset（大数据生态数据集）：它把 **500 多个大数据相关开源项目** 和 **190 余篇经典论文**（1997–2016）全部整理成了结构统一的 JSON 文件。对刚接触大数据的同学来说，它相当于一张"全景地图"——既能帮你快速做技术选型、对比数据库和流处理框架，也能按年份梳理出完整的学习路

gitblog_00698的博客 1368

bigdata-file-viewer--大数据文件查看工具

m0_53157173的博客 2186

上一篇： matlab归一化与神经网络

下一篇： python中的map、filter、reduce函数

【计算机视觉学习03】全景图像拼接

一个正在努力学习的iter

04-13

7787