- 博客(204)
- 收藏
- 关注
RSS订阅原创 最全大数据简介，技术体系分类整理，如何系统全面性学习大数据开发语言
Sqoop是一款开源的工具，主要用于在Hadoop、Hive与传统的数据库例如：MySql间进行数据的传递，可以将一个关系型数据库（例如：MySQL，Oracle 等）中的数据导进到Hadoop的HDFS中，也可以将HDFS的数据导进到关系型数据库中。ZooKeeper是一个分布式的，开放源码的分布式应用程序协调服务，是Google的Chubby一个开源的实现，是Hadoop和Hbase的重要组件。R是属于GNU系统的一个自由、免费、源代码开放的软件，它是一个用于统计计算和统计制图的优秀工具。
2024-05-16 04:17:40
739
原创 最全大数据测试：构建Hadoop和Spark分布式HA运行环境！(1)，薪资翻倍
无论是Hadoop还是Spark，建立了HA环境后，监控和警报都是至关重要的。测试Hadoop的HA配置，模拟不同类型的故障，例如NameNode故障或ResourceManager故障，以确 保HA配置正常运行。与Hadoop类似，您需要准备一个Spark集群，确保各个组件正常运行，包括Spark Master和Spark Worker。测试Spark的HA配置，模拟不同类型的故障，例如主Master故障或备用Master故障，以确保HA配置正 常运行。一种开源监控系统，可用于多种大数据组件的监控。
2024-05-16 04:17:07
1030
原创 最全大数据测试学习笔记之Python工具集_大数据测试主要工具，最新阿里大数据开发高级面试题及答案
numpy和稀疏矩阵运算包scipy配合使用更加方便。笔者注：numpy是基础数值计算的库，更是必须掌握的，便于我们深入理解原理，为后续学习其他库打下扎实的基础。
2024-05-16 04:16:34
635
原创 最全大数据测试学习笔记之01_大数据测试笔记，2024年最新一起看看这些大厂面试真题查漏补缺吧
大数据测试在国内的落地依旧有很长的路要走，我们要面临的挑战不能以多来形容，应该说是从无到有的艰难从2014年开始考虑构建车险行业的数据质量测试模型，碰到了无数的坑，依旧有很多无法落地的事项，所面临的的问题不仅仅是技术问题。同样的团队、流程、机制、企业文化、人等等都会成为助力也会成为阻力既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-16 04:16:01
353
原创 大数据最新三分钟，我让搞后端的学弟爱上了Eolink_eolink 生成代码(1)，2024年最新2024华为大数据开发高级面试题及答案
Eolink强大的权限和项目管理功能，一键分享API文档、离线导出各种格式、通过Open APl与各种平台快速结合。Eolink APIKit 提供了满足API团队协作和流程自动化的所有功能。
2024-05-15 19:29:38
442
原创 大数据最新三入职场 - 你可以从我身上学到这些（附毕业Vlog）(2)，2024年最新一口气拿了9家公司的offer
刚好拿到第二硕士学位，没想到竟然能名正言顺的以毕业生的身份参加这次征文。同时拥有5年的工作经验，从事过软件开发、大数据、各种形式的培训、进行过创业、同时也行进在自媒体的道路上。希望用自己的故事将学习、工作、生活三个方面融合在一起，为大家带去一点方向。
2024-05-15 19:29:05
346
原创 大数据最新一篇文章搞懂数据仓库：维度表（设计原则、设计方法）(1)，2024年最新【好文推荐】
有些维度属性获取需要进行比较复杂的逻辑处理，有些需要通过多表关联得到，或者通过单表 的不同宇段混合处理得到，或者通过对单表 的某个字段进行解析得到。退化维度是维度建模领域中的一个非常重要的概念，它对理解维度建模有着非常重要的作用，退化维度一般在分析中可以用来做分组使用。维度的属性并不是始终不变的，它会随着时间的流逝发生缓慢的变化，这种随时间发生变化的维度我们一般称之为缓慢变化维（SCD），维度是维度建模的基础和灵魂。维度表包含了事实表中指定属性的相关详细信息，最常用的维度表有日期维度、城市维度等。
2024-05-15 19:28:32
473
原创 大数据最新一篇文章搞懂数据仓库：数据治理（目的、方法、流程，作为一个程序员你觉得最大的悲哀是什么
数据治理的目的是使用，对于一个大型的数据仓库来说，数据使用的场景和需求是多变的，那么可以使用 BI 类的产品快速获取需要的数据，并分析形成报表，比较知名的产品有 Microsoft Power BI，QlikView，Tableau，帆软等。：数据治理的第一个步骤是从业务的视角厘清组织的数据资源环境和数据资源清单，包含组织机构、业务事项、信息系统，以及以数据库、网页、文件和 API 接口形式存在的数据项资源，本步骤的输出物为分门别类的数据资源清单。是应采集和实际采集到数据之间的比例。
2024-05-15 19:27:59
458
原创 【Kafka面试演练】那Kafka消费者手动提交、自动提交有什么区别？(1)
嗯嗯好的。主要有：生产者、消费者、Brocker、Topic、消息分区。面试官思考中…
2024-05-14 23:49:17
390
原创 【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛_kafka服务端会主动把数据放入缓存吗
如果你刚接触 HashMap，你刚有兴趣去看其源码，在看 HashMap 的时候，有一个知识：当链表长度达到 8 之后，就变为了红黑树，小于 6 就变成了链表，当然，还和当前的长度有关。最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。
2024-05-14 23:48:41
895
原创 【Kafka从成神到升仙系列 四】你真的了解 Kafka 的缓存池机制嘛_kafka服务端会主动把数据放入缓存吗(1)
如果你刚接触 HashMap，你刚有兴趣去看其源码，在看 HashMap 的时候，有一个知识：当链表长度达到 8 之后，就变为了红黑树，小于 6 就变成了链表，当然，还和当前的长度有关。最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。
2024-05-14 23:48:04
831
原创 【Kafka从成神到升仙系列 五】面试官问我 Kafka 生产者的网络架构，我直接开始从源码背起
如果你刚接触 HashMap，你刚有兴趣去看其源码，在看 HashMap 的时候，有一个知识：当链表长度达到 8 之后，就变为了红黑树，小于 6 就变成了链表，当然，还和当前的长度有关。最重要的还是慢慢地打击你的积极性，说我的学习怎么那么不 happy 啊，怎么那么没劲那，因为你的学习方法错了，大体读明白，先拿来用，用着用着，很多道理你就明白了。你如果进到庐山里头，二话不说，蹲下头来，弯下腰，就对着某棵树某棵小草猛研究而不是说先把庐山的整体脉络研究清楚了，那么你的学习方法肯定效率巨低而且特别痛苦。
2024-05-14 23:47:27
983
原创 Apache Flink 替换 Spark Stream的架构与实践( bilibili 案例解读)_streamsparkflink加载udf(1)
流量规模大，如 bilibili 首页推荐的流量，AI 的展现点击 Join，来自全站的点击量和展现。而流和维表及特征信息的 join 来产出实时 instance 流，但早期相关的工程服务存在着单点问题，服务质量、稳定性带来的维护成本也很高，致使 AI 在早期 Pipeline 的构建下投入非常大。实际过程中，采用原生 Flink 在该规模下会遇到较多的性能问题，如在早期 Flink 1.3.* 版本，其稳定性会较差。下一层是 BSQL 层，主要进行 SQL 的扩展和解析，包括自定义算子和个性算子。
2024-05-14 14:29:21
613
原创 Apache Doris新手指南：10分钟内搭建数据分析引擎！_doris priority_netwoks
这里假设你的节点 IP 是，那么我们可以通过掩码的方式配置为。注意：这里你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，单独配置元数据目录，需要你提前创建好你指定的目录。
2024-05-14 14:28:44
795
原创 Apache Doris新手指南：10分钟内搭建数据分析引擎！_doris priority_netwoks(3)
注意：这个参数我们在安装的时候是必须要配置的，特别是当一台机器拥有多个IP地址的时候，我们要为 FE 指定唯一的IP地址。这里假设你的节点 IP 是，那么我们可以通过掩码的方式配置为。注意：这里你可以不配置，默认是在你的Doris FE 安装目录下的 doris-meta，单独配置元数据目录，需要你提前创建好你指定的目录。
2024-05-14 14:28:09
1130
原创 Apache Doris新手指南：10分钟内搭建数据分析引擎！_doris priority_netwoks(2)
如果返回结果中带有字样，则说明启动成功。你也可以通过 Doris FE 提供的Web UI 来检查，在浏览器里输入地址可以看到下面的界面，说明 FE 启动成功。
2024-05-14 14:27:32
962
原创 2024年最全【前沿技术RPA】 一文了解UiPath的项目活动设置_uipath 画中画，2024年最新腾讯大数据开发开发面试
UiPath是一种机器人流程自动化工具，用于自动化枯燥和重复的任务。它由罗马尼亚企业家 Daniel Dines 和 Marius Trica 于 2005 年创立。它还消除了自动化无聊任务的人工干预，并为所有活动提供了拖放功能，它是最简单的 RPA 工具。通过Activity项目设置，我们可以在项目级别更改属性值，并将其应用于属于项目依赖项的所有活动。并将它们应用于所有属于项目依赖项并配置了默认值的活动。
2024-05-14 05:51:19
762
原创 2024年最全【初学者入门C语言】之编译预处理（十）_(2)，2024年最新IBM大面积辞退40岁+的员工
预编译伪指令一般都以#打头，且前面不能有其他字符，只能出现空白字符，执行过程是C的编译处理器对预编译伪指令进行处理后生成中间文件作为编译器的输入，因此所有的预编译伪指令都不会进入编译阶段。宏定义相当于自己定义一个常量，宏定义具有文件作用域，宏定义晚后，后面任意一个地方都可以引用宏。宏定义不是C语句，所以不需要使用语句结束符“；格式：#define 宏名 宏体举例为了便于区分，宏名为大写字母与函数类似，宏定义中的参数称为形式参数。
2024-05-14 05:50:43
605
原创 2024年最全【初学者入门C语言】之编译预处理（十）_(1)，大数据开发面试题库
预编译伪指令一般都以#打头，且前面不能有其他字符，只能出现空白字符，执行过程是C的编译处理器对预编译伪指令进行处理后生成中间文件作为编译器的输入，因此所有的预编译伪指令都不会进入编译阶段。宏定义相当于自己定义一个常量，宏定义具有文件作用域，宏定义晚后，后面任意一个地方都可以引用宏。宏定义不是C语句，所以不需要使用语句结束符“；格式：#define 宏名 宏体举例为了便于区分，宏名为大写字母与函数类似，宏定义中的参数称为形式参数。
2024-05-14 05:50:07
603
原创 2024年最全【其他】多维分析预汇总应该怎样做才管用？(2)，2024年最新2024大数据开发大厂面试真题
将时间段分成三段，2月到8月整月的数据基于月汇总cube2计算聚合值，再使用cube1计算 1 月 22 日到 1 月 31 日和 9 月 1 日到 9 月 8 日的聚合值，涉及的计算量是 7（2 月 -8 月）+10（1 月 22 日 -1 月 31 日）+8（9 月 1 日 -9 月 8 日）=25，而如果使用cube1数据聚合，其计算量是 223（从 1 月 22 日到 9 月 8 日的天数），几乎减少了 10 倍。预汇总能够应对的场景仍然很有限，要做出灵活的多维分析，还是要指望过硬的遍历能力。
2024-05-14 05:49:31
620
原创 2024年大数据最全浅谈大数据生态，还没吃透内存缓存LruCache实现原理的看这篇文章
这就好比你有了汇编语言，虽然你几乎什么都能干了，但是你还是觉得繁琐。你希望有个更高层更抽象的语言层来描述算法和数据处理流程。于是就有了。Pig是接近脚本方式去描述MapReduce，Hive则用的是SQL。它们把脚本和SQL语言翻译成MapReduce程序，丢给计算引擎去计算，而你就从繁琐的MapReduce程序中解脱出来，用更简单更直观的语言去写程序了。有了Hive之后，人们发现SQL对比Java有巨大的优势。一个是它太容易写了。
2024-05-13 21:02:55
894
原创 2024年大数据最全每天学习几道面试题｜Kafka(三) 应用场景和性能调优类，2024年最新大数据开发开发面试书籍
生产者可以使用事务将一组消息原子性地发送到 Kafka，消费者可以使用事务来将消息原子性地读取和处理。通过使用事务，可以确保消息在发送和消费过程中不会丢失，也不会重复处理。在 Kafka 中，消息的顺序性是通过分区来实现的。可以将消息发送到同一个主题的单个分区中，这样就可以保证相同分区内的消息是按照发送顺序进行存储和传递的。因此，要实现消息的顺序性，需要确保生产者将相关消息发送到同一个分区中。坚持学习，老年痴呆追不上我，Hello 大家好，我是阿月。
2024-05-13 21:02:19
379
原创 2024年大数据最全每天一道大厂SQL题【Day31】腾讯QQ(二)按类别统计QQ号相关信息，大数据开发阿里等大厂面试题汇总
学习！还是他娘地学习！
2024-05-13 21:01:43
495
原创 2024年大数据最全每天一道大厂SQL题【Day26】脉脉真题实战(二)活跃时长的均值，近期有面试的必看
昨日的活跃用户中，各个级别人才，当日最大活跃时长模块的活跃时长，占当日活跃总时长的比值的均值。参考答案适用HQL，SparkSQL，FlinkSQL，即大数据组件，其他SQL需自行修改。表2：maimai.users。点击下方卡片关注 联系我进群。表1：maimai.dau。
2024-05-13 21:01:06
733
原创 2024年大数据最全AI变现之Gpts搞流量+赚钱_gpts广告分成多少钱一次点击(2)，2024年最新字节跳动学习笔记
2）所有应用用户免费使用，官方通过接广告来支付开发者费用，而开发者通过使用次数或者广告展现赚取佣金。3）普通的应用免费使用，官方筛选精选应用建 VIP 商城，用户订阅使用，官方与开发者分成。
2024-05-13 15:29:00
404
原创 2024年大数据最全7 中方法处理 ML 中大型数据加载问题_大型数据使用的加载方法(2)，OMG学它
*也许您可以通过使用其他数据格式，来加快数据加载并且降低内存的使用率。有许多命令行工具可用于将一种数据格式转换为另一种不要求将整个数据集加载到内存的格式的方法。使用另一种格式可以使您将数据存储在更紧凑的窗体中, 借此节省内存, 如2字节的整数或4字节的浮动。**也许你可以访问一台更大的计算机, 是以你电脑的内存的数量级倍数存在的那种。我认为这是一个很好的做法, 在一般的机器学习中，这种方式可以让你快速得到抽查的算法和周转的结果。也许有一个递减反馈的自然点, 让你可以使用其作为你小样本的一个合适的大小值。
2024-05-13 15:28:25
354
原创 2024年大数据最全5分钟通过水痘事件来认识系统架构(3)，2024年最新挑战阿里社招
水痘是一種急性高度傳染性疾病，症状就是会发痒发红，通常得过一次就一般不会再感染。（学委不是水痘专家，这里只是简单摘述）我小时候肯定是打过疫苗的，但是没想到N年后居然被再次攻击了！得了水痘之后周围发生了什么？下面是整个事件。
2024-05-13 15:27:13
739
原创 最新洽谈 “会话技术” 纯干货赶紧收藏吧_回话的技术(8)，这么香的技术还不快点学起来
我们打开谷歌浏览器，点击设置—高级—网站设置点开cookie,可以看到自己刚设置的，如果你访问了其他网站，也会很多cookie文件。
2024-05-12 18:06:10
401
原创 最新每天一道大厂SQL题【Day24】华泰证券真题实战(六)(4)，2024年最新带你快速通过字节跳动面试
一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！
2024-05-12 18:05:34
664
原创 最新每天一道大厂SQL题【Day03】订单量统计_sql查询每天的订单量，2024国内知名大厂大数据开发岗面经
大家好，我是Maynor。相信大家和我一样，都有一个大厂梦，作为一名资深大数据选手，深知SQL重要性，接下来我准备用100天时间，基于大数据岗面试中的经典SQL题，以每日1题的形式，带你过一遍热门SQL题并给出恰如其分的解答。一路走来，随着问题加深，发现不会的也愈来愈多。但底气着实足了不少，相信不少朋友和我一样，日积月累才是最有效的学习方式！
2024-05-12 18:04:59
461
原创 最新案例驱动 ：从入门到掌握Shell编程详细指南_shell编程指南，2024年最新大数据开发工作经验6年
基本语法Action;funname必须在调用函数地方之前，先声明函数，shell脚本是逐行运行。不会像其它语言一样先编译。函数返回值，只能通过$?系统变量获得，可以显示加：return返回，如果不加，将以最后一条命令运行结果，作为返回值。return后跟数值n(0-255)案例：计算两个输入参数的和既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-12 18:04:23
683
1
原创 最全大数据测试学习笔记之测试工具集_bdgs 数据测试，2024年最新腾讯T2大牛亲自讲解
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图
2024-05-12 09:34:29
510
原创 最全大数据测试学习笔记之数据质量_数据质量该怎么测试，2024年最新大佬手把手教你如何仿写出大厂的APP
在数据的处理过程中，数据需要经过人机交互、传输、存储等等，每个环节都可能出现错误而产生数据异常，导致数据质量问题。
2024-05-12 09:33:53
260
原创 最全大数据测试学习笔记之Python工具集_大数据测试主要工具(3)，2024年最新2024最新大数据开发面经分享
numpy和稀疏矩阵运算包scipy配合使用更加方便。笔者注：numpy是基础数值计算的库，更是必须掌握的，便于我们深入理解原理，为后续学习其他库打下扎实的基础。
2024-05-12 09:33:17
283
原创 最全大数据毕业设计-数据类岗位需求可视化大屏_大数据可视化毕业设计，大数据开发者升职加薪的8项技能
数据开发、数据分析、ETL、数据仓库、数据挖掘、“ETL工程师”,“数据仓库”,.csv(“file:\D:\桌面文件\毕设\数据\招聘数据.csv”)print(“开始爬取”+str(job)+“的岗位信息”)# 北京、上海、广州、深圳、杭州、天津、西安、# 苏州、武汉、厦门、长沙、成都、郑州、重庆。job_name = [“数据挖掘”]
2024-05-12 09:32:40
370
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人