<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[2401_82853421的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/2401_82853421</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; 2401_82853421]]></copyright><item><title><![CDATA[零基础了解hdfs分布式存储写入文件操作]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/146198549</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/146198549</guid><author>2401_82853421</author><pubDate>Wed, 12 Mar 2025 10:54:13 +0800</pubDate><description><![CDATA[HDFS（Hadoop Distributed File System）是Hadoop生态系统的核心分布式文件系统，专为存储超大规模数据集设计，具有高容错性、高吞吐量和跨硬件扩展的特性。它采用主从架构，由（管理元数据）和多个（存储实际数据块）组成。]]></description><category></category></item><item><title><![CDATA[python实战-使用pandas处理数据]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/146020074</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/146020074</guid><author>2401_82853421</author><pubDate>Tue, 04 Mar 2025 17:25:16 +0800</pubDate><description><![CDATA[很多数据集存在数据缺失、数据格式错误、错误数据或重复数据的情况，如果要使数据分析更加准确，就需要对这些没有用的数据进行处理。数据清洗是对一些没有用的数据进行处理的过程。：识别并填补缺失值，或删除含缺失值的行/列。：转换数据类型或进行单位转换，如日期格式转换。：检查并删除重复数据，确保每条数据唯一。：识别并处理异常值，如极端值、错误值。]]></description><category></category></item><item><title><![CDATA[从ETL到数仓分层：大数据处理的“金字塔”构建之道]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145934384</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145934384</guid><author>2401_82853421</author><pubDate>Fri, 28 Feb 2025 17:38:30 +0800</pubDate><description><![CDATA[数仓分层通过将数据仓库划分为不同的层次（如ODS、DWD、DWS等），实现了数据的逐层加工和优化。这一过程确保了数据的准确性和一致性，为后续的分析和决策提供了可靠的基础。DWD层对ODS层的数据进行进一步的清洗和转换，生成标准化的明细数据。这一层的数据通常以事实表和维度表的形式存在，为上层分析提供支持。ETL是数据从源系统到数据仓库的桥梁，而数仓分层则是数据仓库内部的结构化设计。DWS层对DWD层的数据进行汇总和聚合，生成面向业务主题的宽表。这一层的主要任务是数据的初步清洗和整合，为后续的加工提供基础。]]></description><category></category></item><item><title><![CDATA[deepseek学习之python并行编程的封装]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145884881</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145884881</guid><author>2401_82853421</author><pubDate>Wed, 26 Feb 2025 17:57:26 +0800</pubDate><description><![CDATA[上面说到的是有一个子程序需要运行N次，如果有N个子程序需要运行N次呢？这个时候用到了封装思想，把这个程序封装起来，如果有多少个子程序就实例化多少个这个程序，此时我们可以向deepseek这样提问:帮我把这个程序封装成一个class类。「清华大学第四弹：...一样简单.pdf」，复制整段内容，打开最新版「夸克APP」即可获取。2、在并行调度数量内，一个子进程执行成功之后，另一个子进程开始执行。畅享原画，免费5倍速播放，支持AI字幕和投屏，更有网盘TV版。3、最后需要返回执行成功和执行没有成功的进程。]]></description><category></category></item><item><title><![CDATA[deepseek学习：我用ai写代码之python实现并行调度]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145858409</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145858409</guid><author>2401_82853421</author><pubDate>Tue, 25 Feb 2025 17:49:50 +0800</pubDate><description><![CDATA[带着问题去学习，会让你事半功倍，在开始之前我们先讨论一个问题，如果我们想同时调启一个命令多次，我们会怎么办，这个时候会想到python的两个模块multiprocessing和thread，这两个模块帮我们实现了并行，好，问题解决......但是我们需要看到另一个问题，我们如何控制并行数量呢，如果一个子程序需要运行一百次，一千次，一万次，难道我们要直接全部运行起来吗？答案肯定不，所以我们要想办法把这件事解决，然后我开始询问deepseek。]]></description><category></category></item><item><title><![CDATA[ai之后的新程序员是什么样子的？]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145802562</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145802562</guid><author>2401_82853421</author><pubDate>Sat, 22 Feb 2025 23:10:29 +0800</pubDate><description><![CDATA[未来的程序员将不再是“孤独的码农”，而是“技术与业务的桥梁”，能够利用 AI 工具快速实现想法，解决复杂问题，并推动业务创新。例如，程序员只需用自然语言描述需求：“从订单表中计算每个用户的总消费金额”，AI 会自动生成相应的 SQL 或 Python 代码。随着 AI 工具的普及，技术门槛降低，程序员需要与非技术人员（如产品经理、业务人员）更紧密地协作。由于 AI 工具可以快速生成代码，程序员将有更多时间学习业务知识和其他领域的技能。随着 AI 工具的普及，编写代码的门槛降低，程序员的核心竞争力将转向。]]></description><category></category></item><item><title><![CDATA[实操系列：我用deepseek写sql]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145802457</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145802457</guid><author>2401_82853421</author><pubDate>Sat, 22 Feb 2025 23:09:09 +0800</pubDate><description><![CDATA[如果 SQL 逻辑中存在潜在错误（例如字段名拼写错误或数据类型不匹配），DeepSeek 会自动检测并提示修复建议。如果任务执行失败，DeepSeek 会自动分析失败原因（如数据源连接失败或字段缺失），并尝试修复或通知相关人员。DeepSeek 可以自动将生成的 SQL 逻辑封装为 ETL 任务，并设置调度策略（例如每天凌晨执行）。AI 生成的 SQL 逻辑可能与手动编写的逻辑类似，但速度更快，且无需人工干预。DeepSeek 会自动分析数据表结构，并生成相应的 SQL 逻辑。]]></description><category></category></item><item><title><![CDATA[我的创作纪念日：从问题解决到AI应用的探索之路]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145701181</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145701181</guid><author>2401_82853421</author><pubDate>Tue, 18 Feb 2025 13:16:44 +0800</pubDate><description><![CDATA[回顾这段经历，我感慨万千。从最初的分享初心到如今能够用AI技术解决实际问题，这段探索之路让我收获颇丰。我希望通过这篇文章，能够与更多人分享我的思考过程，并共同学习、成长。未来的路依然充满挑战，但我相信，只要保持对创作的热情和对学习的渴望，我一定能够在平台上找到属于自己的位置，并继续书写属于这个时代的独特故事。让我们一起在这个平台上，探索未知的领域，分享彼此的经验与感悟。因为我们都是创作者，也都是学习者，在共同的成长中，我们能够互相启发、互相进步。愿我们在未来的创作中，都能够收获满满，成长更快！]]></description><category></category></item><item><title><![CDATA[本地部署deepseek-r1:7B模型]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145684242</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145684242</guid><author>2401_82853421</author><pubDate>Mon, 17 Feb 2025 15:45:33 +0800</pubDate><description><![CDATA[注意这里安装的版本，如果是平常使用1.5b版本完全可以，7b要求显卡是4060，按照各自需求进行安装版本，这里我安装的是7b版本。「Deepseek喂饭指令.pdf」，复制整段内容，打开最新版「夸克APP」即可获取。链接：https://pan.quark.cn/s/f749f0bfc015。安装完成后，运行chatbox，左下角打开设置，按照以下进行配置。windows输入win+r打开命令框输入cmd，打开命令窗口。畅享原画，免费5倍速播放，支持AI字幕和投屏，更有网盘TV版。]]></description><category></category></item><item><title><![CDATA[DeepSeek：清华大学团队打造的职场智能革命]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145597561</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145597561</guid><author>2401_82853421</author><pubDate>Wed, 12 Feb 2025 18:00:08 +0800</pubDate><description><![CDATA[DeepSeek通过「规范性执行」与「创造性思考」的双模切换，正在重塑职场生产力范式。无论是标准化文档处理，还是开放式商业决策，这套由清华大学顶尖团队打造的智能系统，都将成为未来职场人的核心竞争武器。立即获取完整指南，开启你的智能办公革命！]]></description><category></category></item><item><title><![CDATA[DeepSeek实战演练之代码优化]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145558847</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145558847</guid><author>2401_82853421</author><pubDate>Mon, 10 Feb 2025 22:11:11 +0800</pubDate><description><![CDATA[通过优化代码，不仅可以提升程序的运行效率，还能增强代码的可读性和可维护性。本文将结合实际案例，探讨如何通过DeepSeek工具进行代码优化，并分享一份实用的学习资料——《DeepSeek 15天指导手册——从入门到精通》。通过DeepSeek工具，我们可以系统地分析和优化代码，提升程序的性能和可维护性。为了帮助大家更好地掌握DeepSeek的使用技巧，我们特别准备了一份详细的学习资料——「清华大学的DeepSeek从入门到精通.pdf」DeepSeek会生成一份详细的报告，列出代码中的潜在问题。]]></description><category></category></item><item><title><![CDATA[信创迁移工作中的总结]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145518925</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145518925</guid><author>2401_82853421</author><pubDate>Sat, 08 Feb 2025 16:45:53 +0800</pubDate><description><![CDATA[数据迁移是信创工作中非常重要且复杂的一环，涉及多个技术难点。脚本改造是信创项目中另一项重要工作，主要涉及数据库函数、存储过程、序列等的适配和优化。数据迁移数据迁移是信创工作中的重点和难点，需要提前规划、详细比对，并制定合理的迁移计划。针对数据类型、编码字符集、迁移效率、分隔符等问题，提出了具体的解决方案。脚本改造脚本改造涉及数据库函数、存储过程、序列等的适配，需要逐一梳理并寻找替代方案。环境配置是改造后的重要环节，确保项目能够在新的数据库环境中正常运行。]]></description><category></category></item><item><title><![CDATA[DeepSeek为什么这么火？]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145518537</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145518537</guid><author>2401_82853421</author><pubDate>Sat, 08 Feb 2025 16:30:59 +0800</pubDate><description><![CDATA[如果你需要处理复杂任务（比如写代码、做数据分析、写论文等），DeepSeek是更好的选择。如果你只是想快速查信息、看新闻、找电影等，QQ浏览器AI助手更方便。]]></description><category></category></item><item><title><![CDATA[DeepSeek：探索未知，洞察未来]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145491419</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145491419</guid><author>2401_82853421</author><pubDate>Fri, 07 Feb 2025 11:30:14 +0800</pubDate><description><![CDATA[你是否曾因为找不到所需的知识而感到沮丧？DeepSeek拥有覆盖全球的知识库，从最新的科学研究到古老的历史传说，从尖端的技术动态到深邃的文化探讨，无所不包。更重要的是，DeepSeek能够将这些知识进行跨领域的整合，为你提供全新的视角和灵感，激发你的创造力和想象力。无论是专业的学术研究，还是日常的生活娱乐，DeepSeek都能为你提供最贴心的服务，让你感受到前所未有的智慧体验。无论你是科学家、学者、学生，还是普通的互联网用户，DeepSeek都能为你提供最强大的支持，让你在信息的海洋中找到属于自己的宝藏。]]></description><category></category></item><item><title><![CDATA[DeepSeek 从入门到精通学习指南]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145461505</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145461505</guid><author>2401_82853421</author><pubDate>Wed, 05 Feb 2025 20:47:53 +0800</pubDate><description><![CDATA[DeepSeek 是一款基于深度学习的搜索引擎，具备高效、准确、智能的特点。它能够处理大规模数据，提供精准的搜索结果和相关推荐。1.插件开发：根据需求，开发自定义插件，扩展 DeepSeek 的功能。2.插件部署：将开发好的插件部署到 DeepSeek 中。3.插件测试：进行充分的测试，确保插件的稳定性和性能。通过本文的学习，您应该对 DeepSeek 有了全面的了解，并掌握了从入门到精通的使用方法。DeepSeek 作为一款强大的 AI 搜索引擎，能够为您的工作带来极大的便利和效率提升。]]></description><category></category></item><item><title><![CDATA[Etl具体是做什么的？流程是什么样子的？]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145167795</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145167795</guid><author>2401_82853421</author><pubDate>Wed, 15 Jan 2025 20:45:52 +0800</pubDate><description><![CDATA[此外，还可能涉及到数据的聚合操作，如将每日的销售数据汇总为每月的销售数据，这需要按照一定的业务规则（如按产品类别、销售区域等）进行分组聚合。然后根据工具的特性和前面确定的ETL流程，进行ETL任务的开发和实施，包括配置数据源和目标连接、编写转换逻辑脚本等。监控的内容包括数据抽取的进度、转换过程中的数据质量（如是否有数据转换错误）、加载的成功率等。如果是关系型数据库，需要确定使用的数据库连接方式（如ODBC、JDBC等）、抽取的频率（是每天、每小时还是实时抽取）以及抽取的数据范围（全量还是增量）。]]></description><category></category></item><item><title><![CDATA[基于python和kettle在etl使用过程中的利弊进行比较]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/145146513</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/145146513</guid><author>2401_82853421</author><pubDate>Tue, 14 Jan 2025 20:01:56 +0800</pubDate><description><![CDATA[例如，如果需要根据实时变化的业务规则对数据进行复杂的动态转换，Kettle的图形化界面可能无法满足这种高度定制化的需求，可能需要寻找一些插件或者编写自定义脚本（如JavaScript脚本在Kettle中），但这仍然不如Python在定制化方面的灵活性。例如，要与一些基于特定协议的新兴大数据存储系统集成，Kettle可能没有现成的组件或者需要进行复杂的配置才能实现，而Python由于其丰富的库和灵活的代码结构，可以更容易地进行集成。例如，使用清晰的函数定义和面向对象编程结构，可以使ETL流程的逻辑更加清晰。]]></description><category></category></item><item><title><![CDATA[python学习之迭代器和生成器]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/139306653</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/139306653</guid><author>2401_82853421</author><pubDate>Wed, 29 May 2024 21:48:40 +0800</pubDate><description><![CDATA[在迭代器中，我们将对列表使用一个iter方法，这个就是迭代器的方法（注意：此时程序并没有在内存中调用该列表中的值），把迭代器想象成一个生产工厂，每一个原材料（列表中的每一个值）都会逐个进入到加工厂（next函数）进行加工(print操作)后生成，所以我产生了一个疑问，那么nums列表是一个一个的减少的吗？4、next调用第三步里的num方法，在yield处向后执行，打印“生成器后操作”，随后while循环打印“生成器前操作”和“生成器：最终值：2”，因为又运行到了yield处，所以程序退出运行。]]></description><category></category></item><item><title><![CDATA[呕心总结，一些心得体会：业务与技术的关系]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/138910286</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/138910286</guid><author>2401_82853421</author><pubDate>Wed, 15 May 2024 15:26:51 +0800</pubDate><description><![CDATA[一个非常恐怖的速度，可能在学习现有技术的时候，就会发现新的技术已经在试运行阶段了，所以此时我想说的是，业务的重要性是优于技术的。其实先去看技术和业务两个词，我们都很难描述，到底什么是技术，什么是业务，下面我也将从以下几点分开讲解技术和业务分别是什么，并总结技术和业务之间的关系应该是什么样？这里需要了解的是数据为什么要按照一定的数据结构来存储，这是因为当数据过于庞大的时候，无法在很快的时间查找到需要的数据，就比如一个拥有一百间屋子的房子，数据库百度百科中描述是：“按照数据结构来组织、存储和管理数据的仓库”。]]></description><category></category></item><item><title><![CDATA[gbase编码字符集导致的入库数据乱码或者无法关联查询的问题]]></title><link>https://blog.youkuaiyun.com/2401_82853421/article/details/138579602</link><guid>https://blog.youkuaiyun.com/2401_82853421/article/details/138579602</guid><author>2401_82853421</author><pubDate>Wed, 08 May 2024 17:19:07 +0800</pubDate><description><![CDATA[此时只需要重新使用create table table_name as select * from 被导入的表名；使用新表进行关联查询就不会报错，所以该问题是出现在两张表的编码字符集不同，导致无法关联查询。入库数据乱码，我们能够很快想到是字符集问题导致的汉字乱码，所以我们需要注意导出的数据的字符集、及表的字符集是否相同，如果不同也会出现上述问题，还有可能出现无法成功导入的情况。]]></description><category></category></item></channel></rss>