- 博客(197)
- 收藏
- 关注
RSS订阅原创 最全开源 SPL 打破数据库计算的封闭性_spl数据库，纯干货
把外部数据存储在数据库中，又会形成众多中间表，面临中间表的各种问题。而且有些互联网上取过来的数据常常是多层的 json 或 XML 格式，在关系数据库中还要建立多个关联的表来存储，会进一步加剧中间表的问题。
2024-05-16 04:36:10
703
原创 最全开局掉马，逃荒前我还在学Spark(1)，2024年最新2024金三银四大数据开发大厂面试题来袭
Hadoop是目前应用最为广泛的分布式大数据处理框架，其具备可靠、高效、可伸缩等特点。Hadoop的核心组件是HDFS、MapReduce。1）HDFS（分布式文件系统）：HDFS是整个hadoop体系的基础，它是Hadoop生态系统中的核心项目之一，是分布式计算中数据存储管理基础。2）MapReduce（分布式计算框架）：是一种基于磁盘的分布式并行批处理计算模型，用于大规模数据集（大于1TB)的并行运算。
2024-05-16 04:35:38
1109
原创 最全带你初识微服务_微服务耦合性还是很高，威力加强版
单体架构：结构简单，搭建起来十分迅速，但是高度耦合，扩展性差，比较适合小型项目，譬如：学生管理系统分布式架构：低耦合度，可扩展性好，但是其结构复杂，部署难度大，一般适用于大型项目，最常见的京东、淘宝就是分布式架构微服务：他是一个良好的分布式架构的解决方案优点：耦合度较小、各个服务之间更独立、可扩展性更好缺点：架构复杂、项目部署难度比较大、而且上线后运维、监控的成本较高。
2024-05-16 04:35:05
794
原创 最全带你从零学大数据系列之Java篇---第十六章 集合基础，学海无涯
Collection接口是单列集合的顶级接口。在这种集合中存储的数据， 只占一列。所有的元素， 直接存储于各种数据结构中。白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于这个接口是单列集合的顶级接口， 在这里定义的所有的方法， 在所有的实现类中都是可以使用的。Java中的集合，大致分为两类。分别是 Collection 集合和 Map 集合。其中，Collection是单列集合的顶级接口，Map接口是双列集合的顶级接口。
2024-05-16 04:34:32
878
原创 大数据最新十分钟带汝入门大数据开发语言Scala(1)，2024年最新五年大数据开发开发者小米、阿里面经
Scala是基于Java去实现的，可以理解为是对Java的一个扩展。我们都知道C语言和C++的关系，那么就可以把Scala看作是Java++一样。Java编写的.java程序编译生成.class字节码文件，最后由JVM翻译为机器码然后去执行。Scala也是类似，但是不同的是Scala编写的.scala程序，编译生成.class和x$.class两个文件，也是在JVM上执行的。Scala是一门多范式的编程语言，Scala支持面向对象和函数式编程。Scala编写起来非常简洁高效。
2024-05-15 19:48:20
408
原创 大数据最新医学图像处理（一）使用U-Net进行MRI的肝脏分割_chaos数据集(2)，做了三年大数据开发
src = cv2.imread(src_path) # OpenCV读进来要指定是灰度图像，不然默认三通道。这里之前忘记指定了# flag = 0flag = 1flag = 1 # 表示有肝脏else:if“”"
2024-05-15 19:47:47
360
原创 大数据最新助力工业物联网，工业大数据之费用事实指标分析及实现【二十四】，2024年最新2024大数据开发常见笔试题
既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上大数据知识点，真正体系化！由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新需要这份系统化资料的朋友，可以戳这里获取小结目标：实现DWB层差旅报销事实指标表的构建路径实施数据来源ciss_s_exp_report_wo_payment：汇总报销单与工单费用单对照表ciss_service_travel_expens
2024-05-15 19:47:15
367
原创 大数据最新助力工业物联网，工业大数据之服务域：项目总结【三十九】(2)，2024年这些高频面试知识点最后再发一次
目标：掌握一站制造的项目的主题划分实施服务域安装主题：安装方式、支付费用、安装类型工单主题：派工方式、工单总数、派工类型、完工总数、维修主题：支付费用、零部件费用、故障类型派单主题：派单数、派单平均值、派单响应时间费用主题：差旅费、安装费、报销人员统计回访主题：回访人员数、回访工单状态油站主题：油站总数量、油站新增数量客户域客户主题：安装数量、维修数量、巡检数量、回访数量仓储域保内良品核销主题：核销数量、配件金额保内不良品核销主题：核销配件数、核销配件金额。
2024-05-15 19:46:32
361
原创 又是一年高考填志愿，一篇好文献给【想学计算机 大学在学计算机的学生】，学计算机必备功课(3)
比如说做1个商城，你开始掌握的知识不够多，只能展示一些图片和文字在上面，到了后面你掌握了更多的知识，你可以给它加上交易功能、互动功能、活动功能等等，甚至你自学学了推荐算法，商城还能根据用户行为推荐一些可能感兴趣的产品，这个项目你可以一直做一直做，甚至工作了也可以去做，持续性维护它。在一线城市的刚工作的程序员薪资范围大概在10~15K这个范围，薪资对于刚毕业的人来说确实挺诱惑，可以在较短时的时间内积累较为客观的资本，但相对于非一线的毕业生而言，压力会比较大，生活品质较低，这都是公认的。
2024-05-15 08:50:56
797
原创 又是一年高考填志愿，一篇好文献给【想学计算机 大学在学计算机的学生】，学计算机必备功课(2)
6月27日~8月5日是今年的高考志愿填报时间，大部分高中毕业生应该正在忙着志愿填报的事情，而计算机作为一直以来高考的热门选择，必然有不少的小伙伴们会对此感兴趣。作为1名工作了十几年的老程序员，我觉得很有必要来给大家分享一些我对大学计算机以及未来就业方面的见解。
2024-05-15 08:50:20
928
原创 又是一年高考填志愿，一篇好文献给【想学计算机 大学在学计算机的学生】，学计算机必备功课(1)
2. 当程序员有什么好处?3. 当程序员有什么难处？4. 计算机应届生待遇如何？5. 大学怎么学才能毕业拿高薪？
2024-05-15 08:49:43
960
原创 历经一个月的时间，在大家的共同努力下新星计划圆满结束，让我们看一下详细数据吧！_在共同努力、共同下圆满结束
作者介绍：优快云前端博主 | 人间小美味695（也有人叫我——人间大炮），一个四月份开始接触写作的佛系博主，一个充满好奇心的前端从业者，撸过JS原生，写过JQ后台，做过VUE移动端，玩过mini-program微信小程序，微信订阅号同名【人间小美味695】。作者介绍：一个靠自学为主，普通本科大二在读的大学生，大数据专业，略懂算法参加过算法比赛，目前正在学习数据可视化相关技术、数据分析、机器学习，致力于在大数据领域更进一步！作者介绍：一个正在努力的大三学生，在为自己的未来奋斗，希望可以和大家一起进步！
2024-05-15 08:49:07
262
原创 【Python数据科学 11】应用实战：我的第一个开源项目-基金定投回测工具_基金回测工具(1)
分散到不同的品类：例如沪深300、中证500、创业板；分散到不同的国家：中国、美国(标普500、纳斯达克100)等目前博主的基金组合配比大致为。
2024-05-15 00:12:29
820
原创 【Python学习】python中的数据类型与运算方法_在python中,两个数值型变量(float和int)是可以直接进行算数的运算
标准的数学运算符，即+、-、*、/以及**（幂），可以和能够 改变运算优先级的括号一起使用。注意，当两个整数相除时，其结果是一个浮点数，而整除运算符截去小数部分，只返 回商的整数部分。列表是零个或多个指向 Python 数据对象的引用的有序集合，通过在方括号内以逗号分隔的一 系列值来表达。列表是异构的，这意味着其指向的数据对象不需要都是同一个类， 并且这一集合可以被赋值给一个变量。列表的这一特性被称为可修改性。由于列表是有序的，因此它支持一系列可应用于任意 Python 序列的运算，如表 1-2 所示。
2024-05-15 00:11:53
624
原创 【Python学习】python中的数据类型与运算方法_在python中,两个数值型变量(float和int)是可以直接进行算数的运算(1)
标准的数学运算符，即+、-、*、/以及**（幂），可以和能够 改变运算优先级的括号一起使用。注意，当两个整数相除时，其结果是一个浮点数，而整除运算符截去小数部分，只返 回商的整数部分。列表是零个或多个指向 Python 数据对象的引用的有序集合，通过在方括号内以逗号分隔的一 系列值来表达。列表是异构的，这意味着其指向的数据对象不需要都是同一个类， 并且这一集合可以被赋值给一个变量。列表的这一特性被称为可修改性。由于列表是有序的，因此它支持一系列可应用于任意 Python 序列的运算，如表 1-2 所示。
2024-05-15 00:11:16
763
原创 CSIF（Contiguous Solar-induced Fluorescence， 日光诱导叶绿素荧光）数据下载与批量处理(shp裁剪nc，并输出为tif)(2)
【代码】CSIF（Contiguous Solar-induced Fluorescence， 日光诱导叶绿素荧光）数据下载与批量处理(shp裁剪nc，并输出为tif)(2)
2024-05-14 14:49:52
496
原创 CSIF（Contiguous Solar-induced Fluorescence， 日光诱导叶绿素荧光）数据下载与批量处理(shp裁剪nc，并输出为tif)(1)
【代码】CSIF（Contiguous Solar-induced Fluorescence， 日光诱导叶绿素荧光）数据下载与批量处理(shp裁剪nc，并输出为tif)(1)
2024-05-14 14:49:16
345
原创 Code For Better 谷歌开发者之声——Google 产品深度学习_google以apache开源许可证的授权方式
2011年第一季度，Android在全球的市场份额首次超过塞班系统，跃居全球第一。Android是一种基于Linux的自由及开放源代码的操作系统，主要使用于移动设备，如智能手机和平板电脑，由Google公司和开放手机联盟领导及开发，尚未有统一中文名称，中国大陆地区较多人使用“安卓”或“安致”。Android一词的本义指“机器人”，同时也是Google于2007年11月5日宣布的基于Linux平台的开源手机操作系统的名称，该平台由操作系统、中间件、用户界面和应用软件组成。那么它又是什么样的产品呢？
2024-05-14 14:48:40
538
原创 Code For Better 谷歌开发者之声——Google 产品深度学习_google以apache开源许可证的授权方式(5)
在发布初期就被《PC世界杂志》评为2005年全球最佳100中产品之一可见它的功能是非常受欢迎的。，而Google也针对更加专业的用户推出了三种不同的版本：Google地球、Google地球专业版和Google地球企业版。
2024-05-14 14:48:04
822
原创 2024年最全【项目精选】企业财务管理系统设计与实现（论文+源码(1)，2024年最新再不刷题就晚了
企业财务管理系统主要用于实现公司的财务管理，基本功能包括：系统登录、部门信息管理、员工信息管理、资产、经营、费用信息管理等。职工信息管理模块：实现职工信息的增加、修改、删除、查看功能；部门信息管理模块：实现部门的增加、修改、删除、查看功能；职工工资管理模块：实现职工工资的增加、修改、查看功能；资产类别管理模块：实现资产类别的增加、删除、查看功能；资产信息管理模块：实现资产信息的增加、查看功能；经营信息管理模块：实现经营信息的增加、查看功能；费用信息管理模块：实现费用信息的增加、查看功能；
2024-05-14 06:11:48
349
原创 2024年最全【项目精选】jsp网上招标系统（视频+源码(4)，真服了
另外，随着互联网支付手段的逐步完善，通过互联网为知识，智慧，能力，经验进行定价就成为可能。信息免费共享是促使互联网蓬勃发展的重要因素，例如，维客wiki以人的自我价值体现为动力，把人类已有的杂乱信息结构化形成可免费共享的知识，搜索引擎对互联网中的信息和数据进行索引，人们可以免费使用其搜索功能，新闻类，电子商务，博客类网站为互联网源源不断的提供免费信息。4)智力互动问答类网站（威客），起源于在电子公告牌中发布科学，技术，工作，生活，学习中问题的功能，人们通过互联网寻求问题的解决方案或能够解决问题的人。
2024-05-14 06:11:12
590
原创 2024年最全【项目精选】jsp企业快信系统（论文+视频(1)，我的大数据开发美团求职之路
在一个提供企业级短信的系统的设计与实现中，把 C/S 和 B/S 架构根据实际情况进行结合，着重对数据库存取中的各种机制进行了深入地研究并且根据系统自身特点进行了选择和加强，采用了MySQL 数据供应器池化，并使用 Windows7 自带的性能监视器来监视链接池，最后讨论了设置链接池大小的各种问题，选择合适的大小，实现高效与安全有效的结合。开展增值服务不仅可以直接增加业务收入，而且通过提供不同种类的服务，可以吸引更多的顾客群体，对于拓展用户、提高市场应用效率具有非常重要的意义，潜在的收益更为巨大。
2024-05-14 06:10:36
783
原创 2024年最全【项目精选】 javaEE采购管理系统（论文+视频，2024年最新BAT大厂面试基础题集合
伴随着信息行业的蓬勃发展和人们办公自动化意识的增强，企业采购管理部门的工作也越来越繁重，原来的企业采购管理系统已经不能完全满足相关人员使用的需要。为了协助信息行业开展企业采购管理工作，提高工作效率，充分利用信息行业的现有资源，开发更好的企业采购管理系统势在必行。企业采购管理系统是将IT技术用于企业采购信息的管理, 它能够收集与存储企业采购的档案信息，提供更新与检索企业采购信息档案的接口；企业采购管理系统具有标准企业采购管理系统所具有的现实中完整的企业采购管理步骤，完全的虚拟现实实现。系统设计了多种订单。
2024-05-14 06:09:59
391
原创 2024年大数据最全解析Apache Kafka：在大数据体系中的基本概念和核心组件，怒肝三个月啃完这110道面试题
在当今数字化时代，数据已经成为企业成功的关键要素之一。随着数据量的不断增长和数据处理需求的不断提高，构建高效、可靠的大数据体系成为了企业面临的重要挑战之一。在这个过程中，Apache Kafka作为一个分布式流处理平台，扮演着至关重要的角色。它不仅提供了高吞吐量、低延迟的消息传输服务，还支持实时数据流处理和复杂的事件驱动架构。
2024-05-13 21:23:29
914
原创 2024年大数据最全若依实现第三方登录，史上最全保姆级教程_若依第三方登录(2)，vivo大数据开发面试
**/**/**/**/**/**/***/@Autowired/**/**/**/**/**/**/**第三方账户绑定Controller*/@Autowired/**/**/**/**/**/**/**/***/@Override@Override@Override。
2024-05-13 21:22:18
920
原创 2024年大数据最全自动邮件天气提醒(30分钟Python入门))_自动天气邮件(3)，2024年最新开源至上
体验Python跟我练可以在线输入Python代码,带你快速专注的学习Python知识，快通过右侧在线环境开始你的第一行Python代码吧！1.在右侧命令行窗口输入python，按下回车键，进入到Python解释器环境中。!!2.在当前的Python提示符">>>"的右侧输入以下代码，并按下回车键，打印出你的第一行Python代码。跟我练：在命令行中输出如图所示的北京市天气信息，完成后点击【检测任务】按钮，解锁下一任务。今日北京天气晴。
2024-05-13 21:21:41
399
原创 最新解决spark数据倾斜，大数据开发工程面试问题
1.先回顾一下并行计算和分布式计算并行计算：单个计算机内同时处理多个计算任务。（单机多核处理任务）分布式计算：将计算任务分配给多台计算机或者节点处理的方式。（多机多核处理任务）2.数据倾斜处理海量数据时候，通过分布式计算，使用多个节点帮我们处理海量数据，假如每个节点计算资源是均匀的，那我们希望分给每个节点的数据要尽量均匀。数据倾斜就是我们在计算数据的时候，数据的分散度不够，导致大量的数据集中到了一台或者几台机器上计算，造成数据热点。
2024-05-12 18:26:39
866
原创 最新裸机安装部署运行ELK全套教程，中高级大数据开发面试中你不得不会的知识点
网关按照下面流程寻找：重启网络服务：systemctl restart network查看IP设置执行命令： ip addr在虚拟机上ping物理机IP,执行命令：ping 192.168.3.138在物理机上ping虚拟机IP，执行命令：ping 192.168.48.120在虚拟机上ping百度，执行命令：ping ，说明虚拟机可以连上外网。
2024-05-12 18:26:03
1045
原创 最新自学rabbitmq入门到精通，2024年最新帮你突破瓶颈
1）对于生产者：通过事物消息：对于本地来说，如果在进行一个业务的时候需要进行消息的发送，那么，将这个同时包裹为一个事物，这两个东西必须一块完成。如果说用户在这个时候支付了订单，可以将数据库中的支付状态改为 1 ， 那么消息接收的时候判断支付状态：如果支付状态为1，那么就不删除，如果支付状态不为1，是0（表示未支付） 那么就不将订单删除。但是这样 jvm中开启多个线程就十分的消耗资源，然后使用线程的过程中也是十分占用内存的资源，所以这个选择再开一台服务器，代替来工作，减少单台服务器的压力。
2024-05-12 18:25:27
556
原创 最新自动邮件天气提醒(30分钟Python入门))_自动天气邮件，2024大数据开发面试题知识点总结
项目介绍：自动邮件天气提醒体验自动邮件发送是常见的办公需求，例如你有日常发送报表的工作，或者用Python写了一个监控天气的脚本，就可以通过邮件的方式来提醒自己，方便你的生活和工作。本项目共有八个任务，可带你制作监控和查询城市天气脚本，了解邮件发送的思路，设置邮箱，并发送一封简单的天气监控邮件，在项目实践的过程中学习基础的Python知识。快打开右侧的在线编程环境，开始你的Python编程之旅吧。
2024-05-12 18:24:51
403
原创 最全开发者，云原生数据库是未来吗？_云原生数据库没有前景 (1)，讲的太透彻了
云原生（Cloud Native）是一种构建和运行应用程序的方法，是一套技术体系和方法论。Cloud为云平台，Native表示应用程序从设计即考虑到云的环境，原生应用在云上以最佳姿势运行，充分利用和发挥云平台的弹性+分布式优势。随着时代和技术的发展，不断演化，容器技术、微服务、可持续交付、DevOps，构成云原生的四个要点。云原生数据库，是一种通过云平台构建、部署和分发的数据库服务。它以 PaaS 的形式进行分发，相比于传统数据库，云原生数据库提供了更好的访问性和可伸缩性。
2024-05-12 09:54:58
411
原创 最全常见技术难点及方案，大数据开发大厂74道高级面试合集
比较两者的特点，漏桶算法更，确保系统接收的请求速率稳定。而令牌桶算法则在限制平均传输速率的同时，，以适应流量变化的实际情况。在适用场景上，漏斗算法更多地用于保护系统，防止因流量过大而崩溃。而令牌桶算法则更适用于那些需要应对突发流量的场景，比如在秒杀活动中，用户的请求速率不固定，令牌桶算法可以确保系统既能处理稳定的请求流，又能应对突发的请求高峰。
2024-05-12 09:54:22
361
原创 最全帮你飞的更高-优快云超级实习生与C认证_csdn实习生计划(4)，2024年最新大数据开发岗面试12家大厂成功跳槽
经过培训、学习、考试，在你的能力达到考核标准之后，优快云超级实习生保名企实习offer，而且是优快云的考核标准（C认证）绝对不是你随便花点钱就能考过的。。我在看了官网的认证考试过程视频之后，对其严苛的标准、认证的态度还是表示赞赏的，对于我一个工作十余年的老手，我甚至不敢说我会一次考过。C认证是可以单独报名考试的，职场人士也可以报考。因为C认证更侧重于实际交付能力的测试，所以也得到了各大企业的认可，在你换工作的时候也能给你比较大的助力。
2024-05-12 09:53:46
445
原创 最全带你初识微服务_微服务耦合性还是很高(3)，2024年最新大数据开发开发避坑指南
假设做一个这样简单的商务管理系统，倒是能做，服务小众嘛，讲究开发效率，一些问题在这体现的不是那么多，但是如果我们把眼光上升到京东、淘宝这些大型的电商项目来看，如果每个全部功能都写到一个模块里，这里给大家打个比方，一根钢管的承重力是200kg，我们买的东西全部放到一根钢管上，但凡它超过这个限度，我们现成的系统是不是就bom~，直接原地爆炸。而这样的单一架构的系统，耦合程度还是比较高的。 首先，看了上边，相信小伙伴们对微服务有了一个整体上的了解，但是却有着不清晰的概念，接下来，风哥给大家梳理一下。
2024-05-12 09:53:09
377
原创 大数据最新大数据技术入门：impala查询引擎(1)，2024年最新大数据开发开发基础入门
Impala 核心组件，运行在各个数据节点上面， 守护进程 Impala daemon，它负责接收从 impala-shell、Hue、JDBC、ODBC 等接口发送的查询语句，解析 SQL 语句并执行查询任务，任务完成返回结果给到客户端。负责元数据管理，可以从 Hive 元数据库中提取更新元数据给其他组件，也能将元数据变化通知给集群的各个节点，Impala支持内存中数据处理，它访问/分析存储在Hadoop数据节点上的数据，而无需数据移动。使用类SQL查询访问数据。兼容 HiveSQL。
2024-05-12 01:17:23
368
1
原创 大数据最新大数据技术之集群数据迁移(4)，Jetpack-MVVM-高频提问和解答
再使用hadoop distcp命令进行迁移，-Dmapred.job.queue.name指定队列，默认是default队列。进行分发，这里的hadoop104,hadoop105,hadoop106,分别对应apache的hadoop101,hadoop102,hadoop103。最后注意：重点由于我的Apahce集群和CDH集群3台集群都是hadoop101,hadoop102,hadoop103,所以要关闭域名访问，使用ip访问。数据迁移成功之后，接下来迁移hive表结构，编写shell脚本。
2024-05-12 01:16:47
370
原创 大数据最新大数据技术之集群数据迁移(1)，如何系统全面性学习大数据开发语言
再使用hadoop distcp命令进行迁移，-Dmapred.job.queue.name指定队列，默认是default队列。进行分发，这里的hadoop104,hadoop105,hadoop106,分别对应apache的hadoop101,hadoop102,hadoop103。最后注意：重点由于我的Apahce集群和CDH集群3台集群都是hadoop101,hadoop102,hadoop103,所以要关闭域名访问，使用ip访问。数据迁移成功之后，接下来迁移hive表结构，编写shell脚本。
2024-05-12 01:16:11
343
原创 大数据最新大数据技术spark基础(2)，2024年最新oppo大数据开发面试题
Spark 是当今大数据领域最活跃、最热门、最高效的大数据通用计算平台之一。
2024-05-12 01:15:35
388
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人