- 博客(56)
- 收藏
- 关注
RSS订阅原创 Python自动化模块：开启高效编程新时代
在数字化时代，自动化技术已成为提高效率、降低成本的关键手段。Python 作为一种简洁、高效且功能强大的编程语言，凭借其丰富的库和框架，在自动化领域占据了举足轻重的地位，成为众多开发者的首选工具之一。从简单的文件操作、数据处理，到复杂的网络爬虫、机器学习任务，Python 都能轻松应对，以优雅的代码实现各种自动化需求。无论是企业级应用，还是个人日常任务，Python 都展现出了无可比拟的优势。接下来，让我们一同探索 Python 那些常用的自动化模块，解锁 Python 自动化的强大力量，开启高效编程之旅。
2025-03-29 21:55:27
1074
原创 解锁PyTorch：深度学习的神兵利器（详细干货版）
在深度学习项目中，PyTorch 的优势尤为明显。以图像分类任务为例，使用 PyTorch 可以快速搭建卷积神经网络模型，通过简洁的代码实现数据加载、模型训练和评估等流程。在自然语言处理任务中，PyTorch 对于循环神经网络（RNN）、长短时记忆网络（LSTM）以及 Transformer 等模型的支持，使得处理文本数据变得更加高效和灵活。同时，PyTorch 的动态计算图特性，允许在运行时修改模型结构和计算流程，为模型的调试和优化提供了极大便利，这是许多其他框架所不具备的优势。
2025-03-23 11:46:34
740
原创 告别服务器繁忙！手把手教你Deepseek本地部署
在人工智能飞速发展的当下，DeepSeek 以其卓越的性能和广泛的应用场景，迅速成为了 AI 领域的热门话题，深受全球用户的喜爱。自发布以来，DeepSeek 在全球 140 个市场的应用商店中表现出色，一度排名第一，展现出了强大的市场竞争力。尤其是在印度市场，其拉新效果显著，成为了新用户增长的重要引擎。然而，随着用户数量的急剧增加，DeepSeek 服务器时常面临巨大的压力，“服务器繁忙” 的提示频繁出现，严重影响了用户的使用体验。
2025-03-09 21:50:50
817
原创 Hive函数大揭秘：从基础到实战的进阶之路
在大数据处理的广袤领域中，Hive 凭借其独特的优势占据着举足轻重的地位。它构建于 Hadoop 之上，作为一款卓越的数据仓库工具，能够将结构化的数据文件巧妙地映射为数据库表 ，并赋予用户类 SQL 的查询功能。这使得大数据的分析查询变得更加直观、高效，无需用户深入钻研复杂的 MapReduce 编程模型，就能轻松驾驭海量数据的处理。比如，在面对互联网公司每日产生的数以亿计的用户行为日志时，Hive 可以快速地对这些数据进行存储、查询和分析，帮助企业挖掘出有价值的信息，从而为决策提供有力支持。
2025-03-06 08:48:45
829
原创 深入探秘FlinkCDC：实时数据处理的新利器
FlinkCDC，即 Flink Change Data Capture，是基于 Apache Flink 开发的用于捕获数据源变更数据的工具。
2025-03-04 23:11:19
1047
原创 突破Ajax跨域困境，解锁前端通信新姿势
跨域是指浏览器不能执行其他网站的脚本，当从一个域名的网页去请求另一个域名的资源时，只要协议、域名、端口、子域名中有任何一个不同，就会产生跨域情况。这是浏览器基于同源策略对 JavaScript 施加的安全限制。协议不同：当前页面是，请求的资源在，由于协议分别为http和https，这就构成了跨域。域名不同：当前页面在，而请求的资源在，不同的域名导致跨域。端口不同：当前页面运行在，请求的资源在，端口号的差异使得请求属于跨域。子域名不同：当前页面是，请求的资源在。
2025-03-02 17:56:48
817
原创 Flink 窗口：流处理的核心利器
在 Flink 中，窗口是一种将无界数据流切分为有限的、可管理的数据块的机制。它就像是一个 “数据收集器”，按照一定的规则收集数据流中的元素，当满足特定条件（如达到时间间隔或元素数量）时，对收集到的数据进行处理。窗口的主要作用在于对无界数据流进行分段处理，使得我们能够在流数据上执行基于时间或数据量的聚合、统计等操作。通过窗口，我们可以将连续的数据流按照时间维度（如每小时、每天）或数据量维度（如每 100 条数据）进行分组，从而对每个分组内的数据进行独立的计算和分析。
2025-03-01 20:30:46
752
原创 Python：开启人工智能大门的万能钥匙
Python 凭借其简洁的语法、丰富的库和强大的社区支持，已成为人工智能领域不可或缺的编程语言。通过本文的介绍，我们详细了解了 Python 在人工智能各领域常用的模块，这些模块犹如搭建人工智能大厦的基石，为我们实现各种复杂的人工智能任务提供了有力的支持。在机器学习领域，Scikit - learn 为传统机器学习算法的实现提供了便捷的工具，使我们能够快速构建和评估模型；
2025-02-28 08:43:19
602
原创 一文吃透数仓拉链表：原理、优势与实战
数仓拉链表，英文名为 Slowly Changing Dimension (SCD) Table ，是数据仓库中用于处理维度表中数据缓慢变化的一种数据存储和管理技术。简单来说，它就像是一个数据的时间记录仪，能够详细地记录下数据从开始到当前状态的所有变化信息。在传统的数据库表中，当数据发生变化时，通常是直接覆盖原有数据，这样虽然操作简单，但会导致历史数据丢失，无法追溯数据的变化过程。
2025-02-26 21:30:08
748
原创 Spark算子：大数据处理的魔法棒
在大数据处理的广袤宇宙中，Apache Spark 无疑是一颗璀璨的明星。它诞生于加州大学伯克利分校的 AMPLab 实验室，自开源以来，迅速在大数据领域崭露头角，成为了大数据处理框架中的佼佼者。Spark 以其快速、通用、可扩展的特性，改变了大数据处理的格局。与传统的 Hadoop MapReduce 相比，Spark 基于内存计算的模型，大大减少了数据在磁盘上的读写操作，使得数据处理速度得到了质的飞跃。这种基于内存的迭代计算模型，让 Spark 在数据挖掘、机器学习、实时流处理等多个领域都能游刃有余。
2025-02-19 21:18:59
1019
原创 2025最新主流深度学习算法全解析
深度学习算法家族中的每一位成员都以其独特的魅力和强大的功能，在各自的领域中绽放光彩。卷积神经网络凭借其对图像数据的敏锐洞察力，成为图像领域的中流砥柱；循环神经网络及其变体长短期记忆网络，在序列数据的处理中如鱼得水，为自然语言处理和语音识别等任务带来了突破性的进展；生成对抗网络则以其创造性的对抗训练方式，开启了数据生成的新篇章，为艺术创作和虚拟世界的构建提供了无限可能。这些主流深度学习算法不仅在学术研究中取得了丰硕的成果，更在实际应用中展现出巨大的价值。
2025-02-10 22:05:23
1724
原创 解锁大模型算法：一文吃透主流技术
主流大模型算法以 Transformer 架构为基石，衍生出 Encoder - only、Decoder - only 和 Encoder - Decoder 等多种架构，在自然语言处理、计算机视觉等领域取得了显著成就。它们凭借庞大的参数规模、先进的架构设计和海量数据驱动，展现出强大的表示能力、高效的训练策略和出色的泛化能力。然而，大模型算法的发展仍面临诸多挑战，如训练成本高昂、模型可解释性差以及数据质量与隐私保护等问题。
2025-02-10 21:57:34
902
原创 AI时代，职场人如何开启学习之旅
在当今数字化时代，AI 正以前所未有的速度改变着我们的工作和生活方式。从智能客服到自动化生产，从数据分析到个性化推荐，AI 已经广泛渗透到各个行业和领域。学习 AI，对于工作人员来说，不仅是提升工作效率的关键，更是增强职业竞争力、适应未来职场发展的必然选择。AI 可以显著提升工作效率。以内容创作领域为例，像 ChatGPT 这样的 AI 语言模型，能够快速生成文案初稿，帮助文案撰写人员节省大量构思和起草的时间。通过简单的指令输入，AI 就能在短时间内提供丰富的创意和内容框架，工作人员只需在此基础上进行优化和
2025-02-09 21:15:31
1091
原创 DeepSeek：开启未来应用开发的新大门
DeepSeek，全称杭州深度求索人工智能基础技术研究有限公司 ，是一家专注于开发先进大语言模型（LLM）和相关技术的创新型科技公司，成立于 2023 年 7 月 17 日，由知名量化资管巨头幻方量化创立。在 AI 领域，它凭借独特的技术和出色的性能，迅速崭露头角，成为备受瞩目的焦点。DeepSeek 采用了一系列先进的技术，其中最引人注目的是混合专家模型（MoE）架构。在传统的 Transformer 模型中，前馈网络（FFN）层被 MoE 层所替代。MoE 层包含多个 “专家”，每个专家都是一个独立的神
2025-02-09 21:08:33
1067
原创 大数据与大模型：数字时代的共生力量
大数据，绝非仅仅是大量数据的简单堆砌，它有着独特的定义和鲜明的特征。国际数据公司（IDC）对大数据的定义为：大数据是指那些规模巨大、增长快速、类型多样，且难以用传统数据处理技术和工具进行有效处理的数据集合。Volume（数据量大）：随着互联网、物联网、移动设备等的飞速发展，数据量正以惊人的速度增长。从早期的 GB、TB 量级，迅速跃升至 PB、EB 甚至 ZB 量级。
2025-02-09 20:58:36
937
原创 一文吃透Flink：大数据处理的神兵利器
Flink 是一个开源的分布式流处理框架，由 Apache 软件基金会开发 ，使用 Java 和 Scala 编写。它的核心是一个分布式流数据引擎，能够以数据并行和流水线方式执行任意流数据程序。Flink 的设计目标是提供高吞吐量、低延迟的流数据处理能力，同时支持对有界和无界数据流进行有状态的计算。这里的有界数据流，就像是一个装满数据的固定大小的箱子，数据量是有限的，处理完这些数据任务就结束了，比如我们处理一份固定的历史订单数据报表。
2025-02-09 20:43:19
656
原创 解锁国内主流前端与后端框架
Flask 是一个轻量级的 Python 后端框架，它的核心设计理念是简洁和灵活。Flask 本身只提供了基本的路由系统和请求处理功能，开发者可以根据项目的实际需求，自由选择和集成各种扩展库，如数据库连接库、表单验证库、缓存库等，从而构建出满足不同需求的应用。这种轻量级和灵活性使得 Flask 在小型项目和快速迭代项目中具有明显的优势。
2025-02-09 20:22:12
1215
原创 Flume和Kafka的区别？
一般用于日志采集，可以定制很多数据源，减少开发量，基本架构是一个。一般用于日志缓存，是一个可持久的分布式消息队列，自带存储，提供。追求的是数据和数据源、数据流向的多样性，适合多个生产者的场景；则从分布式系统中收集数据以将数据存储在集中式数据存储中。模式拉取数据，因此适合多个消费者的场景；的操作（数据没有备份、没有副本）；），其中传递的是原 子性的event。可以处理和监视分布式系统中的数据，而。公司研发，适合多个生产者；公司研发，适合多个消费者；追求的是高吞吐，高负载，同一。适合生产和收集数据。
2024-12-24 19:37:59
700
原创 HDFS与HBase有什么关系？
甚至如果不考虑文件系统的分布式或稳定性等特性的话，完全可以用简单的本地文件系统，甚至内存文件系统来代替。可以很好地解决大规模数据的离线批量处理问题，但是，受限于Hadoop MapReduce。传统的通用关系型数据库无法应对在数据规模剧增时导致的系统扩展性和性能问题。换做其他的分布式文件系统也是一样的，不影响 HBase。提供了高层语言支持，使得在HBase上进行数据统计处理变的非常简单。查询延迟的系统，例如键值数据库、文档数据库和列族数据库(算法，在文件系统之上有数据库，在业务层面，
2024-12-24 18:15:33
677
原创 Hive SQL和Spark SQL的区别？
但是，对于实时插入、更新、删除数据，还要求强一致性和毫秒级响应，这个就不是Hive的长处，因为MapReduce。的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供完整的sql查询功能，可以将。上的数据仓库基础构架。过程串起来，中间过程存在内存中，再做一些优化，官方给出的答案是比Hadoop。每支持一种新的应用开发，都会引入一个新的Context。处理数据是一个个阶段进行的，每个阶段都要落盘，不能多个。的一个数据仓库工具，同时也是查询引擎，基于。应用，十分适合数据仓库的统计分析。
2024-12-24 18:12:49
947
原创 Spark和MapReduce之间的区别？
这也催生了一个更好的机遇，那就是用一个平台解决所有问题而不是只能根据任务选取不同的平台，毕竟所有的平台都需要学习和维护。集群的内存至少要和需要处理的数据块一样大，因为只有数据块和内存大小合适才能发挥出其最优的性能。的性能标准，在执行相同的任务的时候，需要的硬件更少而运行速度却更快，因此应该是更合算的，尤其是在云端的时候，此时只需要即用即付。提供的简单易用的构造模块，我们可以很容易的编写自定义函数。会在一个工作完成的时候立即结束该进程，因此它可以很容易的和其它服务共同运行而不会产生明显的性能降低。
2024-12-24 18:09:29
1518
原创 Spark和Hadoop之间的区别
它将巨大的数据集分派到一个由普通计算机组成的集群中的多个节点进行存储，同时还会索引和跟踪这些数据，大幅度提升大数据处理和分析效率。Hadoop可以独立完成数据的存储和处理工作，因为其除了。用户可以在不了解分布式底层细节的情况下，开发分布式程序。的要求，可以以流的形式访问（streaming access。的逻辑，把数据进行切片计算用这种方式来处理大量的离线数据。是一个专门用来对那些分布式存储的大数据进行处理的工具，是专为大规模数据处理而设计的快速通用的计算引擎。MapReduce为海量的数据提供了计算。
2024-12-24 18:05:15
738
原创 MySQL和HBase的对比
同时提供高度多样性，能够提供很多不同的使用者介面，包括命令行客户端操作，网页浏览器，以及各式各样的程序语言介面，例如C+线程是轻量级的进程，它可以灵活地为用户提供服务，而不过多的系统资源。（存储计算分离），支持海量数据读写（尤其是写），支持上亿行、上百万列的，面向列的分布式NoSql。因为数据和数据是有关系的，底层是运行了大量的算法，大量算法会降低系统的效率，会降低性能。非关系数据库没有关系，没有强大的事务关系，没有保证数据的完整性和安全性。，主从架构，不支持事务，不支持二级索引，不支持sql。
2024-12-24 14:24:15
1328
原创 Spark和Hive的联系
结合的一种新形势，随着数据湖相关技术的进一步发展，这种模式现在在市场上受到了越来越多用户的青睐。本质上是没有关系的，两者可以互不依赖。但是在企业实际应用中，经常把二者结合起来使用。的二进制安装包中，所以使用这种模式，我们并不需要额外单独安装hive。（事实上，Hive早期只支持一种底层计算引擎，即。对象的映射关系（以及一起其他的元数据信息）到。本身只负责数据计算处理，并不负责数据存储。的支持，这也是市场推广策略的一种吧）。中的，用户处理和分析数据，使用的是。，通过改造自身代码，支持了。
2024-12-24 14:03:07
878
原创 Spark和Hive的区别
存储元数据，所以在生产环境下一般会采用多用户的数据库进行元数据的存储，并可以读写分离和备份，一般使用主节点写，从节点读，一般使用MySQL。Spark SQL把数据仓库的计算速度推向了新的高度（Spark SQL处理一切存储介质和各种格式的数据。的查询引擎这一部分，企业可以使用Hive+Spark SQL。Spark Sql：负责高速的计算。Hive：负责廉价的数据仓库存储。Spark SQL推出的。的数据仓库工具，同时又是查询引擎，的数据来源非常广泛，可以处理来自。的代码，并且有可能产生很多。
2024-12-21 13:37:08
667
原创 Hive与HBase的区别有哪些
分区允许在数据集上运行过滤查询，这些数据集存 储在不同的文件夹内，查询的时候只遍历指定文件夹(这种机制可以用来，例如，只处 理在某一个时间范围内的文件，只要这些文件名中包括了时间格式。上运行批量操作，它需要花费很长的时间，通常是几分钟到几个小时才可以获取到查询的结果。的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql。，获取指定的行，删除指定的行、列或者是列的版本。适合用来对一段时间内的数据进行分析查询，例如，用来计算趋势或者网站的日志。当然，这两种工具是可以同时使用的。
2024-12-21 13:32:00
619
原创 流式处理，为什么Flink比Spark Streaming好？
在数据传输过程中使用了分布式阻塞队列，一个阻塞队列中，当队列满了以后发送者会被天然阻塞住，这种阻塞功能相当于给这个阻塞队列提供了反压的能力。会根据几个属性，如任务的结束时间、处理时长、处理消息的条数等计算一个速率。在实现控制数据的接收速率中用到了一个经典的算法，即“PID。为了实现反压这个功能，在原来的架构基础上构造了一个。可以基于处理时间，数据时间，没有记录等的窗口。三种状态存储，五种类型的状态，（是真正的实时计算，在状态数据和。的状态管理目前做的比较简单。容错上做的比较好，能够做到。
2024-12-19 21:36:23
538
1
原创 Saprk和Flink的区别
Flink是基于事件的，消息逐条处理，而且他的容错机制很轻量级，所以他能在兼顾高吞吐量的同时又有 很低的延迟，它的延迟能够达到毫秒级;基于每个事件处理，每当有新的数据输入都会立刻处理，是真正的流式计算，支持毫秒级计算。是基于微批的，而且流水线优化做的很好，所以说他的吞入量是最大的，但是付出了延迟的代 价，它的延迟是秒级;支持的窗口操 作则非常灵活，不仅支持时间窗口，还支持基于数据本身的窗口（另外还支持基time。支持三种时间机制：事件时间，注入时间，处理时间，同时支持。支持的时间机制有限，只支持处理时间。
2024-12-19 21:33:46
718
原创 维度建模的流程
例如：一个用户有一个身份证、一个籍贯、多个手机号、多个银行卡，此时与用户粒度相同的粒度属性为身份证粒度、籍贯粒度，因为用户和身份证、籍贯都是一一对应的。维度是事实表的基础，维度是通过不同的视角去看数据，把一堆数据进行分类，从而进行细分对比。这是数据建模过程中最重要的一步，如果在这一步出错，整个维度建模必将以失败告终，所以第一步一定要谨慎且细致的对业务进行描绘。同一事实表中，必须有相同的粒度。比如商城业务，整个商城流程分为商家端，用户端，平台端，运营需求是总订单量，订单人数，及用户的购买情况等。
2024-09-30 16:55:37
388
原创 字符串中 查找/替换/拆分/连接 的使用
字符串的查找可以用find('子串',[开始下标],[结束下标])来查找,如果找到则返回子串第一个字符的出现的位置下标,未找到返回-1下标参数省略则按默认全字符串扫描.也可以以用index()来查找,查到后返回值与find相同,未找到会报错.方法可以替换字符串中的子部分,字符串的替换可以用replace('需被替换的旧字符','新字符',[替换次数]),如果找到旧字符则会用新字符替换,返回替换后的新字符串.未找到则不替换,返回未替换的字符串.替换次数省略则默认全部替换.
2024-08-05 15:20:44
221
1
原创 Hadoop 生态圈中的组件是如何协同工作的？
例如，数据首先可以通过 Flume 收集并存储到 HDFS 中，然后使用 Hive 进行离线分析，或者使用 Spark 进行实时处理，处理结果可以存储在 HBase 中供快速查询，整个过程中的资源分配和任务调度由 YARN 负责管理，而 Zookeeper 则确保各个组件之间的协调一致。：建立在 HDFS 之上，可实现对大规模结构化数据的随机、实时读写访问。客户端将文件切分成数据块，namenode 管理文件系统的元数据，如数据块的位置信息等，而 datanode 则实际存储数据块及其副本。
2024-07-26 14:24:18
444
原创 hadoop重要组件有哪些
HDFS（Hadoop 分布式文件系统）：用于大规模数据的分布式存储，具有高容错性和高可靠性。 MapReduce：一种分布式计算模型，用于处理大规模数据的并行计算。比如在数据分析中，对海量数据进行统计和汇总。 YARN（Yet Another Resource Negotiator）：资源管理和任务调度框架。它能够有效地分配集群中的资源给不同的应用程序。 Hive：基于 Hadoop 的数据仓库工具，可以将结构化的数据映射为数据库表，并使用类似 SQL 的语言进行查询和分析。 HBase：分布式的
2024-07-26 14:21:46
154
原创 mybatis的全局配置文件介绍
如果拿它跟具有相同功能的 JDBC 代码进行对比，你会立即发现省掉了将近 95% 的代码。原理是对SQL语句拦截,拼接分页limit语句,以及自动发出select count语句。– 描述如何从数据库结果集中加载对象，是最复杂也是最强大的元素。事务管理,目前使用JDBC,后期会交给Spring框架管理。推荐使用package方式,一下加载整个包下的映射文件。cache-ref – 引用其它命名空间的缓存配置。– 可被其它语句引用的可重用语句块。映射: sql语句的结果和实体类的映射。
2024-07-26 11:26:18
183
原创 【无标题】
在上述代码中，'ENGINE' 字段指定了数据库引擎，'NAME' 字段指定了数据库文件的路径。如果你使用的是其他数据库，例如 MySQL 或 PostgreSQL，可以将 'ENGINE' 字段设置为相应的数据库引擎，并提供正确的数据库连接信息。通过以上步骤，就可以成功地在 Django 中配置了数据库。3.配置数据库：在项目的 settings.py 文件中，配置数据库的连接信息。4.创建数据库表：使用 Django 的迁移工具可以自动创建数据库表。
2024-03-12 17:47:54
197
原创 什么是Django框架的MTV模式
具体来说，当用户发送一个 HTTP 请求到 Django 应用程序时，该请求会被 Django 的 URL 路由系统接收，并根据请求的 URL 匹配到相应的视图函数。视图函数会处理该请求，并根据需要查询数据库或执行其他操作，然后使用模板生成响应的 HTML 内容。在 Django 的 MTV 模式中，Model 表示数据模型，负责处理与数据库的交互；MTV 是 Model-Template-View 的缩写，是 Django 框架使用的一种设计模式，用于组织 Web 应用程序的代码和结构。
2024-03-12 17:41:31
924
1
原创 python中如何生成随机数
生成一个随机浮点数，范围是 0 到 1。最后，我们返回生成的随机整数和随机浮点数。的函数，它返回一个随机整数和一个随机浮点数。在函数内部，我们使用。生成一个随机整数，范围是 1 到 100，然后使用。函数，将生成的随机整数和随机浮点数打印出来。在示例用法中，我们调用。
2024-03-12 17:28:20
222
1
原创 PYthon中的对称加密与非对称加密
的函数，它接受一个文本和一个公钥作为输入，并返回非对称加密后的字节串。的函数，它接受一个文本和一个密钥作为输入，并返回对称加密后的字节串。非对称加密是一种加密算法，其中加密和解密使用不同的密钥。函数，输入待加密的文本和加密密钥，然后将加密后的字节串打印出来。创建一个非对称加密对象，然后将待加密的文本转换为字节串，并使用。创建一个对称加密对象，然后将待加密的文本转换为字节串，并使用。函数，输入待加密的文本和公钥，然后将加密后的字节串打印出来。最后，我们返回加密后的字节串。最后，我们返回加密后的字节串。
2024-03-12 17:26:27
563
1
原创 在python中使用MD5加密
MD5 加密是一种哈希算法，用于将任意长度的数据映射为固定长度的哈希值。它的原理是通过对输入数据进行一系列的位运算和算术运算，生成一个 128 位的哈希值。的函数，它接受一个文本作为输入，并返回 MD5 加密后的哈希值。在函数内部，我们首先使用。创建一个 MD5 加密对象，然后将待加密的文本转换为字节串，并使用。函数，输入待加密的文本，然后将加密后的哈希值打印出来。在这个示例中，我们定义了一个名为。方法获取加密后的哈希值，并返回。在示例用法中，我们调用。
2024-03-11 14:00:08
345
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人