<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[涛声依旧, 万古流名]]></title><description><![CDATA[书山有路勤为径，学海无涯苦作舟------学无止境]]></description><link>https://blog.youkuaiyun.com/jingwangfei</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; jingwangfei]]></copyright><item><title><![CDATA[提示工程（Prompt Engineering）：解锁大语言模型潜能的新兴艺术]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/139441406</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/139441406</guid><author>jingwangfei</author><pubDate>Tue, 04 Jun 2024 14:06:27 +0800</pubDate><description><![CDATA[提示工程不仅涉及设计和优化提示词，它还涵盖了与大型语言模型交互的一系列技能和技术。理解模型能力：了解大型语言模型的基本工作原理，以及它们在不同任务上的表现和限制。设计有效提示：创建能够引导模型准确理解和执行任务的提示词。交互式学习：通过与模型的互动，不断调整和优化提示词，以提高任务完成的准确性和效率。集成外部知识：将专业领域的知识或外部数据源与模型结合，以增强其解决问题的能力。安全性和伦理：确保模型的输出符合安全和伦理标准，避免产生有害或不准确的信息。]]></description><category></category></item><item><title><![CDATA[大数据面试之Hive SQL经典面试题]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/138227211</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/138227211</guid><author>jingwangfei</author><pubDate>Fri, 26 Apr 2024 18:40:55 +0800</pubDate><description><![CDATA[请注意，这种方法并没有真正地将行转换为独立的列，而是将多个行的值合并到了一个字符串中。在Hive中，由于schema是静态的，将任意数量的行转换为固定数量的列是不直接支持的。如果知道商品ID的最大数量，并且这个数量是固定的，可以使用条件聚合和。然后，在外部查询中，筛选出序列号小于等于 N 的记录，即销售额最高的前 N 个记录。希望将每个用户的购买记录从行格式转换为列格式，以展示每个用户购买的每个商品。列存储每个订单所购买的商品数组，数组中每个元素都是一个元组，包含商品ID和数量。]]></description><category></category></item><item><title><![CDATA[小红书行业各行业分析摘要]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/138157398</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/138157398</guid><author>jingwangfei</author><pubDate>Wed, 24 Apr 2024 14:08:10 +0800</pubDate><description><![CDATA[小红书行业2024年3月月报各行业分析摘要。]]></description><category></category></item><item><title><![CDATA[数据仓库分层]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/138085573</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/138085573</guid><author>jingwangfei</author><pubDate>Mon, 22 Apr 2024 17:43:52 +0800</pubDate><description><![CDATA[数仓分层是指将数据仓库划分为不同的逻辑层次，每个层次负责处理不同类型和粒度的数据。通过分层，可以实现数据的逐步整合和优化，提高数据仓库的可扩展性、灵活性和性能。]]></description><category></category></item><item><title><![CDATA[flink checkpoint 两阶段提交协议详解]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/137955497</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/137955497</guid><author>jingwangfei</author><pubDate>Fri, 19 Apr 2024 10:16:22 +0800</pubDate><description><![CDATA[精确一次和最少一次的主要区别在于对数据处理的一致性和可靠性的保证程度。精确一次通过复杂的两阶段提交协议确保每条数据只被处理一次，提供了最高的数据一致性保证；而最少一次则通过简单的重试机制确保数据至少被处理一次，但可能会引入数据的重复处理。在实际应用中，需要根据具体的业务需求和场景来选择适合的语义保证。对于需要严格保证数据一致性的场景（如金融交易），通常会选择精确一次语义；而对于一些对数据处理速度有较高要求且可以容忍一定程度数据重复的场景（如日志收集），则可能会选择最少一次语义。]]></description><category></category></item><item><title><![CDATA[程序员的副业指南：如何挖掘额外收入的金矿]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/137910579</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/137910579</guid><author>jingwangfei</author><pubDate>Thu, 18 Apr 2024 10:21:47 +0800</pubDate><description><![CDATA[通过挖掘自己的兴趣和技能，他们可以找到适合自己的副业方向。许多程序员在工作之余会开发一些个人项目，这些项目不仅可以丰富自己的技能和经验，还可以成为潜在的副业收入来源。通过挖掘自己的兴趣和技能，开发个人项目，参与自由职业市场，利用开源项目以及教育和咨询等方式，程序员可以轻松地挖掘额外收入的金矿，实现财务自由和事业上的双丰收。通过参与开源项目，程序员不仅可以提升自己的技能，还可以结识志同道合的伙伴，甚至是潜在的雇主。通过教育和咨询，不仅可以分享自己的知识和经验，还可以获得稳定的收入来源。]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】处理文本数据 - scikit-learn 教程 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78752725</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78752725</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 16:11:44 +0800</pubDate><description><![CDATA[本指南旨在一个单独实际任务中探索一些主要的 scikit-learn 工具: 分析关于20 个不同主题的一个文件汇编（新闻组帖子）.
在本节中，我们将会学习如何:
读取文件内容以及所属的类别
提取合适于机器学习的特征向量
训练一个线性模型来进行分类
使用网格搜索策略来找到特征提取组件以及分类器的最佳配置]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】随机投影 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743615</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743615</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:08:24 +0800</pubDate><description><![CDATA[http://blog.youkuaiyun.com/u012185296/article/details/78663914]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】无监督降维 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743566</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743566</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:08:06 +0800</pubDate><description><![CDATA[如果你的特征数量很多, 在监督步骤之前, 可以通过无监督的步骤来减少特征. 很多的 无监督学习 方法实现了一个名为 transform 的方法, 它可以用来降低维度.]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】预处理数据 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743553</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743553</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:08:02 +0800</pubDate><description><![CDATA[sklearn.preprocessing 包提供了几个常见的实用功能和变换器类型，用来将原始特征向量更改为更适合机器学习模型的形式。
一般来说，机器学习算法受益于数据集的标准化。如果数据集中存在一些离群值，那么稳定的缩放或转换更合适。不同缩放、转换以及归一在一个包含边缘离群值的数据集中的表现在 Compare the effect of different scalers on data with outliers 中有着重说明。]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】Pipeline（管道）和 FeatureUnion（特征联合）: 合并的评估器 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743460</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743460</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:07:58 +0800</pubDate><description><![CDATA[Pipeline 可以把多个评估器链接成一个。这个是很有用的，因为处理数据的步骤一般都是固定的，例如特征选择、标准化和分类。
Pipeline 主要有两个目的:
便捷性和封装性
你只要对数据调用 ``fit``和 ``predict``一次来适配所有的一系列评估器。
联合的参数选择
你可以一次 :ref:`grid search <grid_search>`管道中所有评估器的参数。
安全性
训练转换器和预测器使用的是相同样本，管道有助于防止来自测试数据的统计数据泄露到交叉验证的训练模型中。
管道中的所有评估]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】预测目标 (y) 的转换 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743670</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743670</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:07:32 +0800</pubDate><description><![CDATA[标签二值化]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】成对的矩阵, 类别和核函数 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743647</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743647</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:07:27 +0800</pubDate><description><![CDATA[The sklearn.metrics.pairwise 子模块实现了用于评估成对距离或样本集合之间的联系的实用程序。
本模块同时包含距离度量和核函数，对于这两者这里提供一个简短的总结。
距离度量是形如 d(a, b) 例如 d(a, b) < d(a, c) 如果对象 a 和 b 被认为 “更加相似” 相比于 a 和 c. 两个完全相同的目标的距离是零。最广泛使用的例子就是欧几里得距离。 为了保证是 ‘真实的’ 度量, 其必须满足以下条件:
对于所有的 a 和 b，d(a, b) >= 0
正定性：当且仅]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】内核近似 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743636</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743636</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:07:24 +0800</pubDate><description><![CDATA[这个子模块包含与某些 kernel 对应的特征映射的函数，这个会用于例如支持向量机的算法当中(see 支持向量机)。 下面这些特征函数对输入执行非线性转换，可以用于线性分类或者其他算法。
与 kernel trick 相比，近似的进行特征映射更适合在线学习，并能够有效 减少学习大量数据的开销。标准化使用内核的 svm 不能有效的适用到海量数据，但是使用近似内核映射的方法，对于线性 SVM 来说效果可能更好。 而且，使用 SGDClassifier 进行近似的内核映射，使得对海量数据进行非线性学习也成为了可能]]></description><category></category></item><item><title><![CDATA[Scikit-Learn 中文文档】数据集加载工具 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743686</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743686</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:06:55 +0800</pubDate><description><![CDATA[该 sklearn.datasets 包装在 Getting Started 部分中嵌入了介绍一些小型玩具的数据集。
为了在控制数据的统计特性（通常是特征的 correlation （相关性）和 informativeness （信息性））的同时评估数据集 (n_samples 和 n_features) 的规模的影响，也可以生成综合数据。
这个软件包还具有帮助用户获取更大的数据集的功能，这些数据集通常由机器学习社区使用，用于对来自 ‘real world’ 的数据进行检测算法。]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】特征提取 - 数据集转换 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743540</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743540</guid><author>jingwangfei</author><pubDate>Fri, 08 Dec 2017 09:06:12 +0800</pubDate><description><![CDATA[模块 sklearn.feature_extraction 可用于提取符合机器学习算法支持的特征，比如文本和图片。
Note   特征特征提取与 特征选择 有很大的不同：前者包括将任意数据（如文本或图像）转换为可用于机器学习的数值特征。后者是将这些特征应用到机器学习中。
4.2.1. 从字典类型加载特征












官方文档: http://scikit-learn.org/stable/]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】模型持久化 - 模型选择和评估 - 用户指南 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743440</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743440</guid><author>jingwangfei</author><pubDate>Thu, 07 Dec 2017 17:03:06 +0800</pubDate><description><![CDATA[模型持久化]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】寻求帮助 - 关于科学数据处理的统计学习教程 - scikit-learn 教程 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743376</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743376</guid><author>jingwangfei</author><pubDate>Thu, 07 Dec 2017 16:59:48 +0800</pubDate><description><![CDATA[中文文档: http://sklearn.apachecn.org/cn/stable/tutorial/statistical_inference/finding_help.html

英文文档: http://sklearn.apachecn.org/en/stable/tutorial/statistical_inference/finding_help.html





]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】把它们放在一起 - 关于科学数据处理的统计学习教程 - scikit-learn 教程 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743363</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743363</guid><author>jingwangfei</author><pubDate>Thu, 07 Dec 2017 16:58:47 +0800</pubDate><description><![CDATA[模型管道化]]></description><category></category></item><item><title><![CDATA[【Scikit-Learn 中文文档】无监督学习: 寻求数据表示 - 关于科学数据处理的统计学习教程 - scikit-learn 教程 | ApacheCN]]></title><link>https://blog.youkuaiyun.com/jingwangfei/article/details/78743341</link><guid>https://blog.youkuaiyun.com/jingwangfei/article/details/78743341</guid><author>jingwangfei</author><pubDate>Thu, 07 Dec 2017 16:56:53 +0800</pubDate><description><![CDATA[聚类: 对样本数据进行分组]]></description><category></category></item></channel></rss>