- 博客(71)
- 收藏
- 关注
RSS订阅原创 最新《F1 Query：大规模数据的声明式查询》读后感(1)，大数据开发详解
有些算子本身会作为当前 Fragment 的一个输入，比如 LookupJoin 会作为所在 Fragment 的左边输入，因为 LookupJoin 的两个输入的数据分布规则是一样的(左边输入的数据是根据右边输入数据查询出来的)。一样，可以支持对各种异构数据源的查询。的算子是通过 RPC 来实现的（Presto里面也是这样的）, 而且数据的发送和接收之间还有流控的机制，这种基于 RPC 的通信机制的并发性还是挺好的，可以做到每个 Fragment 几千个分区，如果要求更高的并发度，那么就要使用。
2024-05-16 06:55:37
844
原创 最新[机器学习]电影推荐系统设计(五)_基于机器学习的电影推荐系统，真服了
快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。学习的课程是某硅谷的实时推荐和机器学习项目。暑假打算做一个大数据项目巩固所学知识,
2024-05-16 06:55:04
483
原创 最新[机器学习]机器学习数学基础(三)_机器学习与数学基础知识(三)，在一家公司干多长时间跳槽才合适
大家好,我是,我希望自己能成为国家复兴道路的铺路人,大数据领域的耕耘者,平凡但不甘于平庸的人。暑假打算做一个大数据项目巩固所学知识,学习的课程是某硅谷的实时推荐和机器学习项目。
2024-05-16 06:54:32
404
原创 最新Zookeeper：实现“分布式锁”的 Demo_zookeeper实现分布式锁demo，2024年最新大数据开发面试必问
Zookeeper 能保证数据的强一致性，用户任何时候都可以相信集群中每个节点的数据都是相同的。一个用户创建一个节点作为锁，另一个用户检测该节点，如果存在，代表别的用户已经锁住，如果不存在，则可以创建一个节点，代表拥有一个锁。
2024-05-16 06:53:59
361
原创 大数据驱动的工业互联网平台在工厂生产中的应用与创新_制造工厂 大数据(1)
数据分析与优化：通过对收集到的数据进行深度分析和挖掘，发现生产过程中的瓶颈和问题，从而对生产流程进行优化和改进。预测性维护：通过对设备运行数据的分析，预测设备的故障时间和维修需求，从而实现预防性维护，减少设备停机时间，提高生产效率。
2024-05-15 22:07:44
430
原创 大数据项目实践 数据采集清洗存储——b站编程课程采集与分析_大数据数据清洗界面
def(self):(self)self.dt = {‘C语言’: 0, ‘C++’: 0, ‘Python’: 0, ‘PHP’: 0, ‘算法’: 0, ‘Java’: 0, ‘go语言’: 0, ‘Mysql’: 0, ‘C#’: 0, ‘Scratch’: 0, ‘web’: 0, ‘计算机’: 0}
2024-05-15 22:07:11
928
原创 大数据项目实践 数据采集清洗存储——b站编程课程采集与分析_大数据数据清洗界面(2)
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取1、其中 signal = pyqtSignal(str, str, str, str, int, int, str) 对应的每一个类型为我们所爬取的数据的类型，比如我使用的数据为：VideoID（视频编号）、Vide
2024-05-15 22:06:38
830
原创 大数据项目实践 数据采集清洗存储——b站编程课程采集与分析_大数据数据清洗界面(1)
def(self):(self)self.dt = {‘C语言’: 0, ‘C++’: 0, ‘Python’: 0, ‘PHP’: 0, ‘算法’: 0, ‘Java’: 0, ‘go语言’: 0, ‘Mysql’: 0, ‘C#’: 0, ‘Scratch’: 0, ‘web’: 0, ‘计算机’: 0}
2024-05-15 22:06:05
1320
原创 大数据技术—Hadoop之搭建Linux虚拟机（桥接模式下）_haddop虚拟机(6)
在生产环境中，Hadoop集群环境需要搭建在Linux系统上。这里我安装的Linux版本是CentOS 7，虚拟机是VMware，使用的网络服务管理软件是，在使用之前，我们可以进行一些配置操作。（本文是在这三款软件下载完成的基础上进行讲解，Linux版本可以不一样，如CentOS 8，虚拟机版本也可以不一样，而finalshell也可用等来替代，操作基本一样）
2024-05-15 11:24:47
444
原创 大数据技术—Hadoop之搭建Linux虚拟机（桥接模式下）_haddop虚拟机(5)
主机里面填写的是你获得的动态IP值，用户名和密码是你之前自己设置的，填入即可。这里的用户名还可用，一般不建议使用，因为它具有最高权限点击确认后，连接即可，如果连接不上，可多尝试几次。出现该页面就代表连接成功，后续一直在该页面操作即可。这里最后的地方也可能不是ens33，可根据你的实际情况进行调整，如可先进入目录查看具体是什么，如果通过上面命令可直接进去，那就不用管。**注意：如果你是以普通用户登录的，执行该命令时可能无法对该文件进行修改，需要进入到root用户，获取最高权限，命令为：**
2024-05-15 11:24:11
270
原创 大数据技术—Hadoop之搭建Linux虚拟机（桥接模式下）_haddop虚拟机(4)
虚拟机是VMware，使用的网络服务管理软件是，在使用之前，我们可以进行一些配置操作。（本文是在这三款软件下载完成的基础上进行讲解，Linux版本可以不一样，如CentOS 8，虚拟机版本也可以不一样，而finalshell也可用等来替代，操作基本一样）
2024-05-15 11:23:35
335
原创 大数据技术—Hadoop之搭建Linux虚拟机（桥接模式下）_haddop虚拟机(3)
点击Esc结束编辑，同时按住shift+: 进入命令模式，再输入wq（w代表保存，q代表退出），最后按回车退出。（5）我们发现IP已经成功修改了。并且可以连接网络。
2024-05-15 11:22:59
367
原创 【实时数仓篇】（01）美团 Flink 实时数仓应用_实时数仓建模 美团(3)
本文是学习Flink社区在B站的实时数仓篇第一节课程的总结，1. Flink 实时数仓的应用讲师：黄伟伦（美团点评 数据系统研发工程师）。
2024-05-15 02:46:10
618
原创 【实时数仓篇】（01）美团 Flink 实时数仓应用_实时数仓建模 美团(2)
本文是学习Flink社区在B站的实时数仓篇第一节课程的总结，1. Flink 实时数仓的应用讲师：黄伟伦（美团点评 数据系统研发工程师）。
2024-05-15 02:45:34
650
原创 【安全利器SELinux快速入门系列 01】SELinux基础入门_selinux书
进程的主体是进程，客体是被访问的资源。MAC机制的特点在于，资源的拥有者，并不能决定谁可以接入到资源。具体决定是否可以接入到资源，是基于安全策略。而安全策略则是有一系列的接入规则组成，并仅有特定权限的用户有权限操作安全策略。4MAC强制访问控制的流程大致是上图所示，分为3个步骤主体程序必须要通过 SELinux 政策内的规则放行后，就可以与目标资源进行安全性本文的比对；若比对失败则无法存取目标，若比对成功则可以开始存取目标。最终能否存取目标还是与文件系统的 rwx 权限设置有关。
2024-05-15 02:44:22
589
原创 JDBC的两种开源的数据库连接池详解_用于foxpro的开源jdbc驱动程序 开源(1)
/注意：配置文件中的key来自BasicDataSourceFactory的属性（set方法后面单词首字母改小写即可）//(4)等待数据库连接池分配连接的最长时间. 单位为毫秒. 超出该时间将抛出异常.//(3)指定最小活跃的连接数: 在数据库连接池中保存的最少的空闲连接的数量。//(2)指定最大的连接数: 同一时刻可以同时向数据库申请的连接数。//(1)指定数据库连接池中初始化连接数的个数。数据库连接池中的最小的数据库连接数。数据库连接池中的最大的数据库连接数。//3.从数据源中获取数据库连接。
2024-05-14 17:24:27
378
原创 Java面试之数据库篇(offer 拿来吧你)_现在java面试都喜欢考数据库吗
上面名词傻傻分不清，一问搞定数据库 : 数据库(DataBase 简称 DB)就是信息的集合(数据库是由数据库管理系统管理的数据的集合）数据库管理系统 :数据库管理系统(Database Management System 简称DBMS)是一种操纵和管理数据库的大型软件，通常用于建立、使用和维护数据库。数据库系统 : 数据库系统(Data Base System，简称 DBS)通常由软件数据库和数据管理员(DBA)组成。
2024-05-14 17:23:50
1095
原创 Java面试之数据库篇(offer 拿来吧你)_现在java面试都喜欢考数据库吗(4)
数据库事务( transaction)是访问并可能操作各种数据项的一个数据库操作序列，这些操作要么全部执行,要么全部不执行，是一个不可分割的工作单位。经典例子：转账，假如小明要给小红转账 1000 元，这个转账会涉及到两个关键操作，这两个操作必须都成功或者都失败。将小明的余额减少 1000 元将小红的余额增加 1000 元。事务会把这两个操作就可以看成逻辑上的一个整体，这个整体包含的操作要么都成功，要么都要失败。这样就不会出现小明余额减少而小红的余额却并没有增加的情况。
2024-05-14 17:23:14
1073
原创 Java面试之数据库篇(offer 拿来吧你)_现在java面试都喜欢考数据库吗(3)
数据库事务( transaction)是访问并可能操作各种数据项的一个数据库操作序列，这些操作要么全部执行,要么全部不执行，是一个不可分割的工作单位。经典例子：转账，假如小明要给小红转账 1000 元，这个转账会涉及到两个关键操作，这两个操作必须都成功或者都失败。将小明的余额减少 1000 元将小红的余额增加 1000 元。事务会把这两个操作就可以看成逻辑上的一个整体，这个整体包含的操作要么都成功，要么都要失败。这样就不会出现小明余额减少而小红的余额却并没有增加的情况。
2024-05-14 17:22:37
761
原创 2024年最新DirectX12（D3D12）基础教程（十七）(7)，2024年最新完整PDF
网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。需要这份系统化资料的朋友，可以戳这里获取一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！θ)=[n⃗x2(1−cos(θ))cos(θ)n⃗xn⃗y(1−cos(θ))n⃗zsin(θ)n⃗xn⃗z(1−cos(θ))−n⃗ysin(θ)n⃗xn⃗y(1
2024-05-14 08:45:52
298
原创 2024年最新DataX - 全量数据同步工具_datax工具(1)，字节大牛教你手撕大数据开发学习
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取| | SQLServer | √ | √ || | PostgreSQL | √ | √ || | DRDS | √ | √ || | 通用RDBMS | √ | √ || 阿里云数仓数据存储 | O
2024-05-14 08:44:02
596
原创 2024年大数据最新【Redis高手修炼之路】②Redis的五大数据类型(1)，2024年最新系统学大数据开发从零开始
127.0.0.1:6379> lrange list 0 -1 # 相当于lrange list 0 5 ，-1表示末尾。127.0.0.1:6379> smove myset1 newset a #将a从集合myset1移动到newset。127.0.0.1:6379> sismember myset1 c #查询集合中是否存在c。127.0.0.1:6379> spop myset1 2 # 随机移除2个成员。127.0.0.1:6379> srem myset1 f #将集合中的f移除。
2024-05-13 23:57:35
564
原创 2024年大数据最新【python学习小案例】提升兴趣之模拟系统入侵_模拟系统被入侵(1)，2024年大数据开发面试心得
本案例主要核心就是手工实现了一个进度条的展示，并且在最后附加了形似入侵的感觉。喜欢的小伙伴可以自行测试一下哦，有惊喜！！！原创不易，还希望各位大佬支持一下\textcolor{blue}{原创不易，还希望各位大佬支持一下}原创不易，还希望各位大佬支持一下既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！
2024-05-13 23:56:59
425
原创 2024年大数据最新【Python刷题篇】——Python入门 011面向对象(2)，不愧是大佬
础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！方法输出信息，如果没有年龄信息则输出错误信息。输出，否则使用setattr函数为其添加属性。，其中第一个为字符串，后两个为整型数字。，其中第一行为字符串，后两行为整型数字。同时该类包括一个方法。同时该类包括一个方法。根据描述输出错误信息或是打印信息。，并设置值为输入后，再调用。请为牛客网的员工创建一个。请为牛客网的员工创建一个。根据输入的年龄为实例。等于输入值，再次调用。三行分别依次输入姓名。
2024-05-13 23:56:23
514
原创 2024年大数据最新【Python】函数专题（知识总结、习题精练与编程实战(2)，2024年最新阿里面试100%会问到的大数据开发
🆔def 函数名(参数列表):封装的代码返回值...🍑def是英文define的缩写；函数名应该能表达函数封装代码的功能，增加程序的可读性，也方便将来的使用；参数列表和返回值根据程序需要选择性添加；函数名称需要符合标识符的命名规则。📖标识符的命名规则：(回顾)可以由字母、下划线和数字组成；不能以数字开头，且不能与关键字重名。
2024-05-13 23:55:47
761
原创 系统架构设计师-第19章-大数据架构设计理论与实践-软考学习笔记_延展性,最少维护能力,大数据架构特征
Lambda 架构可分解为三层，即批处理层、加速层和服务层。Batch Layer 有两个核心功能: 存储数据集和生成Batch View.主数据集中的数据必须具有以下三个属性:( 1 ) 数据是原始的.( 2 ) 数据是不可变的.(3 ) 数据永远是真实的.( 1) Speed Layer 处理的数据是最近的增量数据流， Batch Layer 处理的全体数据集。
2024-05-12 21:00:46
930
原创 精讲前端实战项目之移动端网易云首页（附源码）_仿网易云音乐移动端开发简历说明
因为我们做的是一个静态页面，所以没有用到JavaScript部分的内容，用html编写整体框架，用css做修饰就好了。其中images中存放的是需要用到的图片。
2024-05-12 21:00:10
443
原创 算法面试高频题解指南【一】_js一个数组a中存有n个整数在不允许(1)
一个数组A中存有 n 个整数，在不允许使用另外数组的前提下，将每个整数循环向右移 M（ M >=0）个位置，即将A中的数据由（A0 A1 ……该方法基于如下的事实：将数组的元素向右移动 k 次后，尾部 m mod n 个元素会移动至数组头部，其余元素向后移动 m mod n 个位置。每个元素被翻转两次，一共 N 个元素，因此总时间复杂度为 O(2N)=O(N)时间复杂度 O(n)：其中 n 为数组的长度，遍历数组时间O(n)进阶：空间复杂度 O(1)O(1)，时间复杂度 O(n)O(n)
2024-05-12 20:59:34
758
原创 算法竞赛入门【码蹄集新手村600题】(MT1351-1400）_马蹄级考试题(3)
【代码】算法竞赛入门【码蹄集新手村600题】(MT1351-1400）_马蹄级考试题(3)
2024-05-12 20:58:58
455
原创 学会IDEA这些断点操作，生产问题解决的越来越快了_idea如何打断点
这两个选项项是字段类型断点特有的，分别对应 访问该字段、修改该字段触发断点，两项同时选中，则访问、修改该字段都会触发断点。所以虽然这个断点的图标是行断点类型图标，但实际上其属于方法类型断点。在方法名这一行加断点，鼠标右键点击该断点图标 ，弹出该断点配置，会有Emulated、Method entry、Method exit选项，此选项是方法类型断点特有的。当程序抛出指定异常时会激活异常断点，与行断点不同，异常断点不需要与源代码映射，因为异常断点应用程序级别的。是否在断点触发后移除该断点，后续不再触发；
2024-05-12 03:50:19
3385
原创 学会IDEA这些断点操作，生产问题解决的越来越快了_idea如何打断点(1)
这两个选项项是字段类型断点特有的，分别对应 访问该字段、修改该字段触发断点，两项同时选中，则访问、修改该字段都会触发断点。在方法名这一行加断点，鼠标右键点击该断点图标 ，弹出该断点配置，会有Emulated、Method entry、Method exit选项，此选项是方法类型断点特有的。当程序抛出指定异常时会激活异常断点，与行断点不同，异常断点不需要与源代码映射，因为异常断点应用程序级别的。输入一段能获得true或false的表达式，程序运行到断点处，且表达式条件为true才会触发断点。
2024-05-12 03:49:43
853
原创 学习编程的第二十三天_在语法图中,关于运算符的语法描述越接近开始符号,运算优先级通常越低
6.byte,short,char三种类型的数据在运算的时候，都会直接有提升为int类型转换，然后再进行运算。5.隐式转换的两种提升规律，取值范围小和取值范围大的进行运算，小的会先提升为大的，再进行运算。（3）结合性：运算的方向，大多数运算符的结合性都是从左向右，即从左向右依次进行运算。（8）结合性从右向左的只有赋值运算符、三目运算符和单目运算符（一个操作数）。3.隐式转换把一个取值范围小的数值，转换取值范围大的数据。（1）Java中的各种运算符都有自己的优先级和结合性。、~、++、–，优先级别高。
2024-05-12 03:49:07
393
原创 大数据最全【分析BMI指数~python】_pythonbmi，2024年最新大数据开发电话面试技巧
但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。
2024-05-11 19:12:24
317
原创 大数据最全【其他】多维分析预汇总应该怎样做才管用？，2024年最新做了3年大数据开发还没看过OkHttp源码
多维分析法是高级统计分析方法之一，是把一种产品或一种市场现象，放到一个两维以上的空间坐标上来进行分析。多维分析（OLAP）通常要求极高的响应效率，当涉及的数据量很大时，每次都基于明细数据汇总效率就会很低，人们会考虑采用预汇总的方式加快查询速度，即事先将要查询的结果计算好，使用时直接读取预汇总结果就可以获得实时响应，从而满足交互分析的需要。
2024-05-11 19:11:48
942
原创 大数据最全【云原生】开源数据分析 SPL 轻松应对 T+0_开源spl，2024年最新大数据开发面试题及解析
数据分离后就会产生T+0问题。数据拆分到两个数据库中，要查询全量数据就涉及跨库查询。而且，我们知道，用于交易的生产库大多使用能够保证事务一致性的RDB，而分离出来的冷数据（量大且不再修改）则会更多使用专门的分析型数据库或数据平台存储，即使是关系数据库也很可能与原来的生产库类型不同，这就不仅涉及跨库，还需要跨异构库（源）查询。遗憾的是，当前实现跨库查询的技术都存在这样那样的问题。
2024-05-11 19:11:12
924
原创 大数据最全【云原生】开源数据分析 SPL 轻松应对 T+0_开源spl(1)，2024年最新限时发布
T+0查询是指实时数据查询，数据查询统计时将涉及到最新产生的数据。在数据量不大时，T+0很容易完成，直接基于生产数据库查询就可以了。但是，当数据量积累到一定程度时，在生产库中进行大数据量的查询会消耗过多的数据库资源，严重时会影响交易业务，这就不能接受了，毕竟生产交易是更关键的任务。所以，我们常常会把大量用于查询分析的历史数据从生产库中分离出去，使用单独的数据库存储和查询，以保证查询统计不会影响生产业务，这就是常说的冷热数据分离。数据分离后就会产生T+0问题。
2024-05-11 19:10:36
841
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人