做大数据的,别把路走窄了!

大数据基础知识全集,大数据爱好者收藏必备          目前,市场上的大数据产品太多,但远远低于IAAS的标准化水平,各产品之间的差异还不十分清楚。当许多公司正在制造大数据平台或大数据解决方案时,他们往往不知道选择哪些产品来满足他们的需求。一般的做法是做研究、学习、建造环境、测试和整合各种产品,但通常这个过程很长,而且成本很高。关注作者;需要大数据学习视频资料,在其他文章可以找到大神组织,我们有最好系统学习路线,课程适合零基础.进阶.... 阅读详情

见字如面,我是军哥!

我一般很少推荐人,今天必须要推荐这位朋友—熊大,他专注大数据领域,文章深入浅出质量很高,目前是某大厂数据负责人,推荐看完哈!

以下是他的文章。

我是大熊!某大厂数据负责人。

图片

“哥,听说大数据行业早就不缺人了?”

图片

我弟才大一,985院校,也感受到了寒冬。

2015就像妖风起

10年前我刚毕业的时候,大数据爆发的也莫名其妙,有点名气的公司都要玩Hadoop,没那体量也硬上。

2015年Hadoop爆发,2020年“数据中台”成为年度热词🔥,再到如今大厂“流批一体”架构招人门槛卷到PhD起步,这个行业确实经历了洗礼。

我很确信:大数据行业基础岗位的供给早已溢出。

而学校还在源源不断的批量造“牛马”。未来只会更卷,机会还有吗?

我的看法是:有!还很多!

这行卷的从来就不是技术,而是思维惯性。

就像2019年当我给团队培训SparkSQL时,有个执着于MR的工程师嚼舌头“搞SQL算什么技术”。去年他在被裁员了,微信问我能否内推,我委婉说暂时没HC。

10年前驱动我们的是技术理想,钱当时也很重要,但不是最重要的,而今天大家更多讨论的是35岁焦虑。

大模型来势汹汹  

很多公众号说:Claude、Deepseek正在摧毁SQLBoy护城河,我拍手叫好!

94085c97561dd85d05e4b4186c8bf708.png

站着说话不腰疼???你就是吃了时代的红利而已 

我觉得你说的:对!我很赞同!

生在这个时代,运气也很重要。

你也在这个大模型时代中心,能不能抓住运气,吃这个时代的红利呢?

上次听小酒馆播客:诸葛越那期,前Hulu的VP大佬,关于GPT她打了一个有趣的比喻

3872e796815c680f0d6fafd1e933d26a.png

马夫时代,突然出现了汽车。作为马夫,如果不学开车技术转行做司机,通常都会被社会所淘汰。那些被淘汰的马夫往往错估了自己的核心技能。

马夫的护城河不是训马技巧,而是对周边地图的熟悉。

作为数开人,我希望你能看清自己的护城河是什么!

更希望持续保持好奇心,积极主动去尝试新事物,例如:

  • 我思考技术方案的时候用DeepSeek提供新思考角度;  

  • Cursor就解放了我很多基础代码的时间,让我专注在核心复杂的逻辑;

未来的选择  

“每天主要写SQL,搞搞治理,也不知道在职场剧里,能不能活过35集?”

我曾经也愁!很快就释怀了。大不了,到时候一起摆地摊的时候,旁边的那个是组里SQL优化最厉害的那位。

Oracle的存储过程是数仓1.0阶段。

Hadoop生态数仓处在2.0阶段。

2.0的数仓能力为总结为“π图”(个人拙见)

21314bf7bca7a9f6d686228a6c5fb675.png

那3.0呢?  

我尝试总结数据+AI的能力栈,但它变化太快了,3个月前我构建的Agent链路,现在方案也变了,算法也变了。

现在大模型就是野蛮生长的时候,充满着不确定性,各个大厂都在摸索一套稳定的数据范式。或许靠谱的方式,先从JD里管中窥豹。

9d71303b9bfe40049665be1b22d6e568.png

4abfacca0b96885b2d6ded53e5db410d.png 

说白了,你还是要我去卷! 

不倦也可以,2.0技术也可以降维打击。

2024营收超过470亿元的公司只有500家,也称中国500强。但营收超3千万的公司有超过6000家,大量的传统企业是没有IT部门的,去传统企业躺也很舒服,不用天天追新技术!

我一个大学同学,在二线城市给传统制造业做报表,每月靠着20套Dolphin Scheduler + 帆软报表能收60万服务费。有次吃饭聊起,他说上周刚帮一位做水产批发的老板用Mysql数据搭了个进销存数据看板,相比养程序员团队,他宁可每年付我8万维护费。

9cd0e4c74d675e06e3e3a74829ed0b8e.png 

太Low,项目外包,亲戚觉得没出息

那你适合去做公务员或国家单位!国家数据局官网发布了《数据要素×三年行动计划》,就看第3-11页。  

数据要素×三年行动计划.pdf

国家已经点明了方向,势必接下来就是政策、资金猛砸的时候,有的时候往大和远点看,别太微观,个别岗位不具备代表性,研究趋势,做决策的正确率比较高!  

而且,最近国家数据局,各省市数据集团的成立,民营企业见面会,动作挺频繁的,你需要理解这背后的逻辑,ZF 工作模式一定是先建立组织和班子,再干活,而且一定会出活。

跑偏了,回到我弟

给他的建议:学历本质是公司筛选聪明人的工具,但真正的职场只认能力。  

除了平时上课,还可以做三件事:

  • 注册个阿里云账号,用DataWorks + MaxCompute完整跑通一次数据加工过程,这个过程会教你看懂80%的数开JD本质需求。  

  • 用大模型实现“认知升维”,别只盯着ChatGPT套壳应用,去Huggingface扒DLRM模型源码,看Uber怎么用Pytorch-Forecast做动态定价  

  • 混进Datawhale这类社群,去年我面过一个本科生(非985),曾在社区坚持回答了200多个Spark问题,我直接一路强保到HR,就要这个人。

说到这,我突然想起2015年,我给登顶过Oracle官网的中国区ACM演讲嘉宾,发了感想邮件,并请他推荐书籍和希望加他微信。

2个月后,前辈在朋友圈分享一个央企岗位,我果断请求内推。介于他身份太高,面试一路绿灯,让我获得了改变职业轨迹的机会。

回想这10年旅程,我有幸获得过3位前辈的关键指点,职业突破的痛点有时只是差一个真正懂行的指路人。  

当我写下这些文字时,或许就是我们建立深度连接的开始,欢迎加我微信bigbear2048

现在是从“一片蓝海”到“众人争渡”,但真正懂航海的人从不慌。

<<<  END >>>

往期精彩文章合集

【数据建模】

 数仓专家如何进行数据调研?

 建模实战:业务驱动DWD层设计策略

 从业务到数仓-网约车平台Gra建模设计

 Amazon如何设计高效的流量域模型?

【数据性能优化】

 直播电商:不一样的数据倾斜SQL优化

 直播大促如何确保实时大屏Flink稳定性?

 SQL千亿数据膨胀OOM优化经验

【面试经验】

 明知我只写SQL,为何面试狂考动态规划?

 面试官的陷阱,专坑“八股文选手”

大熊啊

WHAT I WANT

每周2篇原创,分享大厂数据经验,你永远百度不到的那种

图片

YOLOv8剪枝 l1剪枝测试精度仅掉0.8个点,速度提高10.7fps! 文章摘要: 本文提出了一种基于组归一化的重要性评分方法GroupNormImportance,用于神经网络剪枝中的通道选择。该方法支持多种变体,包括标准L1范数、组L1范数和BN缩放因子等计算方式。核心实现包括三个关键部分:1)支持p范数计算(默认为L2);2)提供7种组重要性归约方法(如均值、最大值等);3)提供8种归一化方案(包括标准化、高斯化、LAMP等)。该方法输入一个剪枝组,输出各通道的重要性分数,通过依赖图可实现结构化剪枝。实验对比图展示了剪枝前后的效果差异,验证了该方法的有效性。 阅读详情

相关推荐

【已解决】Claude应用地区限制问题:通过Slack注册与魔法节点切换实战指南

本文详细介绍了如何通过Slack注册和切换魔法节点解决Claude应用地区限制问题。从Slack账号注册、创建工作区技巧,到突破地区限制的关键步骤和成功后的配置使用,提供了全面的实战指南。特别强调了节点选择和网络环境对解决'App unavailable'错误的重要性,帮助用户顺利使用Claude AI助手。

weixin_29209801的博客 1775

优秀大数据博主

http://www.iteblog.com/ 过往记忆 http://lxw1234.com/ lxw大数据田地 http://www.aboutyun.com/ about云 http://tech.meituan.com/ 美团技术博客 http://dongxicheng.org/ 董西成 http://www.cnblogs.com/shishanyuan 转载于:https://ww...

weixin_30514745的博客 501

告别电机啸叫!手把手教你配置TMC5160的StealthChop2静音模式(附参数自整定避坑指南)

本文详细介绍了如何通过配置TMC5160的StealthChop2模式彻底消除3D打印机电机噪音。从硬件准备到参数自整定,再到高级调优与异常处理,手把手教你实现实验室级别的静音效果,提升打印质量和使用体验。

weixin_33724659的博客 488

Hadoop 生态系统

1.概述   最近收到一些同学和朋友的邮件,说能不能整理一下 Hadoop 生态圈的相关内容,然后分享一些,我觉得这是一个不错的提议,于是,花了一些业余时间整理了 Hadoop 的生态系统,并将其进行了归纳总结,进而将其以表格的形式进行了罗列。涉及的内容有以下几点: 分布式文件系统 分布式编程模型 NoSQL 数据库 SQL-On-Hadoop 数据采集 编程服务中间件 调度系...

weixin_34096182的博客 261

VPI与Matlab协同仿真:相干光通信接收端DSP算法全解析

本文详细解析了如何利用VPI与Matlab协同仿真,构建完整的相干光通信接收端DSP算法处理闭环。重点介绍了从VPI导出数据后,在Matlab中实现时钟恢复、偏振解复用和载波相位估计等核心算法的步骤与原理,并阐述了如何通过误码率计算完成仿真验证,为相干光通信系统算法研究与验证提供了高效实用的方法。

ll5678的博客 611

把群晖NAS变成游戏开发服务器:Perforce与虚幻引擎深度整合的5个关键配置(含.p4ignore模板)

本文详细介绍了如何将群晖NAS配置为游戏开发服务器,重点讲解了Perforce与虚幻引擎的深度整合。通过五个关键配置节点,包括用户权限架构、Workspace策略、资产同步优化、仓库清洁度保障和编辑器深度集成,帮助小型团队打造高效开发环境。文章还提供了实用的.p4ignore模板和优化技巧,显著提升开发效率。

weixin_30430677的博客 319

当我说要做大数据工程师时他们都笑我,直到三个月后……

GitChat 作者:Fickr孫啟誠

技术杂谈 13万+

jmeter问题系列:Begin size 0 is not equal to fixed size 5

Begin size 0 is not equal to fixed size 5 ,问题的解决

雨水的早晨的博客 2415

该博主博客值得看,大数据

https://www.cnblogs.com/felixzh/p/5869212.html

llxx1234的博客 398

对称加密和非对称加密、公钥和私钥、单向认证和双向认证、数字签名、数字证书、根证书

文章目录1. 什么是公钥和私钥?2. 加密算法2.1 对称加密2.2 非对称加密2.2.1 非对称加密的重要性质2.2.2 非对称加密算法应用2.2.2.1 应用1 加密通信2.2.2.1.1 单向认证和双向认证2.2.2.1 应用2 数字签名3. 数字签名3.1 数字签名用法演示3.2 数字签名存在问题4. 数字证书(Digital Certificate)4.1 创建数字证书4.1.1 举例,CA如何给我们签发一个有效证书: 1. 什么是公钥和私钥? 摘自《什么是公钥和私钥?》 公钥(Public Ke

m0_45406092的博客 1万+

lammps多晶正弦粗糙界面建模

其中,30可以理解为正弦曲线的幅度,150为正弦曲线的基准坐标值,80控制周期,改变参数多试试就能找到规律。很久之前介绍过lammps粗糙界面建模,主要是在lammps中进行一维和二维的正弦粗糙面建模。运行完成后,会生成final.data,这个模型即为上表面为正弦波动的粗糙界面。新建1.py文件,粘贴下面内容后,运行:python 1.py。多晶需要在atomsk中进行,因此上述的方法就不再适用。最近有学员咨询多晶模型的正弦粗糙界面建模应该如何实现。在cmd窗口按顺序运行以下命令创建多晶模型。

lammps_jiayou的博客 390

【大数据】宽表和窄表

(1)定义:宽表是将多个相关实体的字段(列)合并到一张表中,通过冗余字段减少表连接(JOIN)操作。(2)特点:列数多(通常包含数十到数百列),行数相对较少,数据冗余度高。本质:通过空间换时间,牺牲存储成本提升查询性能。

weixin_44823875的博客 2360

【2025年美团春招(算法岗)-3月15日-第三题(300分)- 字符串权值】(题目+思路+Java&C++&Python解析+在线测试)

小美定义一个字符串的权值为:其长度为3的回文子序列数量。例如,“abca"的权值为2,因为包含两个回文子序列"aba"和"aca现在给定一个仅包含小写字母的字符串,小美希望你输出该字符串每个前缀的权值。

m0_73659489的博客 312

做技术到底可以做到哪种地步-技术为什么越走越窄?

尽管做技术已经有不少年头了,不管是犹犹豫豫还是坚定不移,我们走到了现在,依然走在技术这条路上。不管我们处于何种职位,拿着哪种薪水,其实,我们会是不是的问问自己“做技术到底可以做到那种地步...

JAVA高级架构 449

VC中sqlite的使用

在VC中对sqlite的使用,实现数据库大批数据的快速插入,读取数据库中的数据在ListCtrl中显示

锂电池充电器电路设计 里面有电路

锂电池充电器电路设计 里面有电路 3.7V升压到5V电路设计。

bigdata-ecosystem的10个真实用途:从大数据技术选型到学习路线图

**bigdata-ecosystem** 是一个开源的 BigData Ecosystem Dataset(大数据生态数据集):它把 **500 多个大数据相关开源项目** 和 **190 余篇经典论文**(1997–2016)全部整理成了结构统一的 JSON 文件。对刚接触大数据的同学来说,它相当于一张"全景地图"——既能帮你快速做技术选型、对比数据库和流处理框架,也能按年份梳理出完整的学习路

gitblog_00698的博客 1408

C# WinForm 基于DirectShow.dll编写的程序,可边预览边保存视频,音频和图片

基于微软的DirectShow.dll的二次开发1.自动识别连接的摄像头跟麦克风且可以对其进行选择(默认选中第一个)2.可录制wmv和avi两种格式的视频并且都带有音频,avi可以录制的分辨率和帧数进行选择,wmv默认进行了淸晰度优化如不喜欢可去除代码中有相关提示3.可在预览点开之后进行拍照,也可边录制视频边拍照4.添加了视频和音频的压缩功能(酌情使用)这次二次开发发现C#对DirectShow的相关信息太少,这次做完也不敢藏私共享出来,还望大家指正

技术为什么越走越窄?做技术到底可以做到哪种地步

尽管做技术已经有不少年头了,不管是犹犹豫豫还是坚定不移,我们走到了现在,依然走在技术这条路上。   不管我们处于何种职位,拿着哪种薪水,其实,我们会是不是的问问自己“做技术到底可以做到那种地步”,说的直白一点,其实我们很多人对技术这条路依然充满很多彷徨,不管我们的现状是多么的满意与辉煌。   最近一直招聘技术人员,见了很多求职的朋友,也和他们探讨了很多与职业发展,技术能力方面的问题,下面说下我

quanquan_i的专栏 467

jre9下载 jdk9

(Java SE Runtime Environment 9.0) 9.0u175 官方最新版 【x86|x64】

大数据学习必备 | 推荐几个牛X 的 github 项目,助你事半功倍

花了5个小时,为你整理出了这几个牛X 的 github大数据项目

大数据梦想家 1万+

【大数据技术】大数据技术之数仓宽表和窄表的区别

这里写自定义目录标题欢迎使用Markdown编辑器新的改变功能快捷键一级目录二级目录三级目录合理的创建标题,有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能,丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 欢迎使用Markdown编辑器 你好! 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如

u011762522的博客 3390

SZT-bigdata完整部署教程:从零搭建大数据集群

SZT-bigdata是深圳地铁大数据客流分析系统,本文将为您提供从零开始搭建SZT-bigdata大数据集群的完整部署教程,帮助您快速掌握部署要点和关键步骤。 ## 一、环境准备与集群规划 在开始部署SZT-bigdata大数据集群之前,需要做好环境准备和集群规划工作。确保服务器满足硬件和软件要求,合理规划集群节点数量和角色分配。 ### 1.1 硬件与软件要求 硬件方面,建议每台服务器

gitblog_00229的博客 1265

从大数据到人工智能 我们还有多远的路要走

从去年开始,从政府到企业,从分析机构到业界专家,几乎所有的企业和个人都将目光锁定到了人工智能上。如果说2016年是人工智能的新纪元,人们对于人工智能的探讨还是基于概念的探讨和前景的展望上,那么2017年则是人工智能如何落地的关键一年。从广义上讲,人工智能的应用已经非常广泛,各大新闻客户端会根据你的阅读兴趣推送相关新闻、各大电商平台会根据你的购买习惯推送相关商品、几乎所有你浏览的网页所呈现的广告都与...

bingdata123的博客 1584

大数据bigdata

前言: 大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本看起来很难收集和使用的数据开始容易被利用起来了,通过各行各业的不断创新,大数据会逐步为人类创造更多的价值。 定义:是指无法在一定时间范围内用常规软件工具进行捕捉、管理和处理的数据集合,是需要新处理模式才能具有更强的决策力、洞察发现力和流程优化能力的海量、高增长率和多样化的信息资产。 提出时间:2008年8月中旬 大数据的5V特点(IBM提出): Volume(大量)

这里是菠萝味菠萝啤的博客 2320

探索大数据世界的宝藏 —— bigdata-learning-notes 项目深入剖析

探索大数据世界的宝藏 —— bigdata-learning-notes 项目深入剖析 在浩瀚的数据海洋中,每个开发者都渴望找到那个能够引领自己乘风破浪的灯塔。今天,让我们一起揭开一个名为 bigdata-learning-notes 开源项目的神秘面纱。这不仅是一套笔记,更是一个通往大数据领域的钥匙,它汇聚了从基础理论到实践操作的全方位指导,是每一个数据工程师和分析师的知识宝库。 项目介绍 bi...

gitblog_00391的博客 1042

探索大数据平台:goldlone的bigdata_platform

探索大数据平台:goldlone的bigdata_platform 去发现同类优质开源项目:https://gitcode.com/ 项目简介 是一个开源的大数据处理和分析框架,旨在简化大数据项目的开发、部署和运维过程。该项目提供了全面的数据集成、存储、计算、查询与分析功能,适用于各种规模的企业和开发者,帮助他们更好地管理和利用海量数据。 技术分析 1. 基于Hadoop的分布式架构 bigdat...

gitblog_00073的博客 1297

探索大数据世界的窗口——bigdata-file-viewer

探索大数据世界的窗口——bigdata-file-viewer 在这个数据驱动的时代,处理和解读复杂的大数据文件变得尤为重要。然而,对于那些以二进制形式存储的常见大数据格式(如Parquet、ORC和Avro)而言,找到一个直观且功能强大的查看器并非易事。今天,我们就来介绍一下bigdata-file-viewer,一个跨平台的应用程序,它能够帮助您轻松管理并分析这些大文件。 项目介绍 bigda...

gitblog_00791的博客 1253

BigData-Notes:全面解析大数据技术栈入门指南

BigData-Notes:全面解析大数据技术栈入门指南 本文全面解析了大数据技术生态体系,涵盖了从数据采集、存储、处理到应用的全生命周期技术栈。详细介绍了Hadoop生态系统三大核心组件(HDFS、MapReduce、YARN)的架构原理和协同工作机制,深入对比分析了主流流处理框架(Flink、Spark Streaming、Storm)与批处理框架的技术特性、性能差异和适用场景。最后提供了系统...

gitblog_00043的博客 1053

pyspark行转列、列转行或宽表转窄表、窄表转宽表

列转行(宽表转窄表) from pyspark.sql import functions as F def unpivot(df, keys): #参数说明 dfdataframekeys 待转换表中需要保留的主键key,以list[]类型传入 #转换是为了避免字段类不匹配,统一将数据转换为string类型,如果保证数据类型完全一致,可以省略该句 df = df.select(*[F.col(_).astype("string") for ...

lquarius的博客 4881
上一篇: 为什么我说程序员的核心能力不是技术更不是架构能力?
下一篇: 字节面试场景题:200万QPS的系统如何设计呢?
军哥手记
军哥手记 业界专家认证 业界专家认证
博客等级 码龄21年 661粉丝 608原创
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付:10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值