- 博客(48)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 从组会尴尬到学术突破：Transformer助力跨域推荐解析
这篇论文利用了Transformer的多头自注意力机制和前馈神经网络，在序列编码器和域提示学习机制中进行建模。Transformer的全局依赖建模能力，使得模型在捕捉用户行为序列中的复杂模式时更加有效，同时，通过联邦学习保护用户隐私，解决了跨域推荐中的关键问题。
2024-10-12 18:54:27
1257
1
原创 无序中的秩序：Transformer模型的创新性结构解析
transformer的核心功能是处理序列数据，就是处理输入的数据和输出的数据之间的关系，像我自己看的那篇论文，是推荐系统方向的，输入的数据是庞大的用户行为数据，经过整个模型处理，输出的数据就是精确的用户可能点击的数据，提高用户可能点击的概率。多头注意力的计算是将查询、键和值分别线性变换到多个子空间中，然后独立计算每个子空间的注意力分布，最后将所有头的输出拼接起来，进行线性变换，得到最终的结果。另外，解码器中的自注意力机制经过调整，只允许每个位置关注之前已生成的内容，确保生成顺序合理，输出新的输出序列。
2024-10-12 18:50:20
958
原创 纠删码参数自适应匹配问题ECP-AMP实验方案（下）
7.1.综合性能goal根据权重和性能指标，本方案为每个文件确定最佳的纠删码参数，并将文件分组到不同的数据池中。本文使用了以下公式计算每个文件的评分，表示该文件在使用不同的纠删码参数时的综合性能。sijk∑j16cj∗pijk其中，s表示第i个文件大小在使用第j个数据块个数和第k个冗余块个数时的评分，c表示第j个性能指标的critic权重，p表示第i个文件大小对应的第j个数据块个数和第k个冗余块个数对应的第j个性能指标的归一化数据。
2024-10-09 21:46:29
653
1
原创 纠删码参数自适应匹配问题ECP-AMP实验方案（中）
为了收集不同的文件大小和纠删码参数对性能指标的影响，本文在Hadoop平台上进行了模拟实验。Hadoop是一种开源的分布式存储和计算框架，它可以支持不同类型的纠删码，并提供了一些应用程序接口和工具来测试和评估纠删码的性能。本文选取了以下六个性能指标作为评价纠删码参数选择的依据：数据冗余度（DR）：表示存储一个文件所需的编码块总数与数据块总数的比值，反映了存储空间的利用率。数据冗余度越小，表示存储空间利用率越高。在具有k个数据块和m个奇偶校验块的存储系统中，冗余度定义为 DR=m/(k+m)。
2024-10-08 16:53:42
1132
1
原创 技术云图：大数据新手的云端征途
根本不是一个级别的，学习的项目真的太小儿科了，只能说基本的需求包括了，但是业务、数据量什么的根本达不到，用的技术、软件也很落后，现在公司都是用一些云厂商的云数据仓库，他们全部都包装好了，只需要你一键写sql就行了，谁还需要一个环境搭两周啊。我向师兄吐槽现在找实习太难了，师兄向我吐槽公司太压榨，晚上回学校都十点了，需求一直做不完。面试官给我的回答是这样的：现在云技术发展的越来越好，肯定是要去多多了解使用并掌握云数据仓库，这样才能更好的去使用新技术拥抱新技术，但是这是基于大数据基础的扎实的前提下。
2024-05-30 21:40:45
1443
1
原创 大数据中的电商数仓项目：探秘业务的核心
电商数仓系统不仅仅是一个数据存储和处理的系统，更是电商平台背后的“智慧大脑”。通过对海量数据的高效管理和深入分析，数仓系统为电商业务的各个环节提供了强有力的支持，让电商平台能够更加高效、精准地运营。在这个大数据时代，电商数仓的作用无疑是至关重要的。未来，随着技术的发展，电商数仓将会变得更加智能化和高效，为我们的生活带来更多的便利和惊喜。
2024-05-30 21:40:02
1423
原创 当他们在说业务的时候，到底在说什么
业务，就像一场精彩的舞台剧，每个角色都有自己的任务和目标，而所有的角色共同合作，才能演绎出一场成功的表演。对于企业、组织或者个人来说，业务是他们为实现特定目标和使命所进行的各种活动和流程。它包括生产、销售、服务等方方面面的工作，目的是满足客户需求、获取利润、实现社会价值等。业务的核心在于如何有效地利用资源，创造价值并满足市场需要。
2024-05-23 21:41:37
1262
1
原创 欢聚笔试题求助帖
事情是这样的，这段时间一直在求职投简历，期望在暑假之前接到一份大数据开发的实习工作。投了很多公司，然后就收到了欢聚的笔试邀约，HR说要我一天之内做出来，恰巧第二天还有组会要汇报，我就先放下了，打算开完组会，下午再做，也没有超时。拿到的笔试题是一份pdf的建表语句什么的需要自己手动输入，而且建表语句中存在一些小坑。这是需要使用hive sql回答的一份笔试题。建表语句如下：1、班级课后统计表–ls表表定义的最后不应该有逗号（原表中一个最大的错误，困扰了我很久，没有发现）
2024-05-23 21:40:49
1056
原创 JAVA版本的ATM编程问题记录
前段时间用C语言写了个银行ATM系统，还写了一篇文章记录了一些，。后来又用IDEA写了一个JAVA版本的银行ATM。有人就会问为啥浪费这个时间写ATM呢？🧐其实是我本科代码没学好，所以现在想利用比较熟悉的ATM系统来训练一下代码思维。下面是我用JAVA语言写银行ATM时遇到的一些有意思的问题和知识点，方便我之后学习回顾，便记录了下来。
2024-05-08 19:57:49
788
1
原创 SQL奇难怪状知识点分享
SQL语句的执行顺序：可以尝试记一下sql的执行顺序，对自己写sql以及sql调优有帮助，理解记忆也不是很难。sql查询最重要的当然是从哪张表中查询，第一个就是from，和join后的表，当然在这之前可以确定一下，关联的字段那就是on，接下来是过滤的条件，就是where，后面紧接着就是当然就是group by和having了，然后就是返回查询结果，select选择返回指定的列，当然是distinct去重后的列，然后便是按照要求返回的数据是不是要排序啊order，返回指定的个数limit。
2024-05-08 19:55:37
1036
原创 被忽略的C语言堆栈内存编程细节
堆栈是一种特殊的数据结构，它遵循先进后出（LIFO，last in first out）原则，这意味着最后放入的堆栈的元素会最先被取出，堆栈用于多种场景，如函数调用，算法实现等。
2024-05-06 10:06:27
862
1
原创 用于YouTube推荐的深度神经网络YouTube DNN
本文最突出的贡献在于如何结合业务实际和用户场景，选择等价问题，实现推荐系统。首先，深度协同过滤模型能够有效地吸收更多特征，并对它们与深度层的相互作用进行建模，优于以前在YouTube上使用的矩阵分解方法。其次，作者对特征的处理策略充满智慧。比如，对特征的加入，消除了对过去的固有偏见，并允许模型表示流行视频的时间依赖行为。最后，排序阶段，对评估指标的选择能够结合业务，取期望观看时间进行训练。
2024-05-06 10:05:01
951
原创 [leetcode]28. 找出字符串中第一个匹配项的下标
给你两个字符串haystack和needle，请你在haystack字符串中找出needle字符串的第一个匹配项的下标（下标从 0 开始）。如果needle不是haystack的一部分，则返回-1。
2024-03-30 10:32:20
367
原创 [leetcode]283. 移动零
给定一个数组nums，编写一个函数将所有0移动到数组的末尾，同时保持非零元素的相对顺序。，必须在不复制数组的情况下原地对数组进行操作。
2024-03-26 22:11:53
456
1
原创 [leetcode]118.杨辉三角
给定一个非负整数 *numRows，*生成「杨辉三角」的前 numRows行。在「杨辉三角」中，每个数是它左上方和右上方的数的和。
2024-03-26 22:09:31
819
原创 [leetcode]06拿硬币
桌上有n堆力扣币，每堆的数量保存在数组coins中。我们每次可以选择任意一堆，拿走其中的一枚或者两枚，求拿完所有力扣币的最少次数。
2024-03-25 21:12:07
526
1
原创 [leetcode]2605. 从两个数字数组里生成最小数字
给你两个只包含 1 到 9 之间数字的数组nums1和nums2，每个数组中的元素，请你返回的数字，两个数组都包含这个数字的某个数位。
2024-03-25 21:11:17
537
原创 力扣：205. 同构字符串
给定两个字符串s和t，判断它们是否是同构的。如果s中的字符可以按某种映射关系替换得到t，那么这两个字符串是同构的。每个出现的字符都应当映射到另一个字符，同时不改变字符的顺序。不同字符不能映射到同一个字符上，相同字符只能映射到同一个字符上，字符可以映射到自己本身。
2024-03-24 15:37:52
398
1
原创 力扣：290. 单词规律
给定一种规律pattern和一个字符串s，判断s是否遵循相同的规律。这里的指完全匹配，例如，pattern里的每个字母和字符串s中的每个非空单词之间存在着双向连接的对应规律。
2024-03-24 15:25:11
463
原创 [leetcode]374. 猜数字大小
你可以通过调用一个预先定义好的接口来获取猜测结果，返回值一共有 3 种可能的情况（-11或0pick < numpick > num返回我选出的数字。
2024-03-22 09:23:26
357
原创 [leetcode]119. 杨辉三角 II
给定一个非负索引rowIndex，返回「杨辉三角」的第rowIndex行。在「杨辉三角」中，每个数是它左上方和右上方的数的和。
2024-03-22 09:22:33
435
原创 [leetcode]836.矩形重叠
矩形以列表的形式表示，其中(x1, y1)为左下角的坐标，(x2, y2)是右上角的坐标。矩形的上下边平行于 x 轴，左右边平行于 y 轴。如果相交的面积为，则称两矩形重叠。需要明确的是，只在角或边接触的两个矩形不构成重叠。给出两个矩形rec1和rec2。如果它们重叠，返回true；否则，返回false。
2024-03-20 10:03:45
369
1
原创 TOFEC：使用纠删码实现云存储的最佳吞吐量延迟权衡
这篇文章提出了一种使用纠删码（erasure code）来提高云存储系统的吞吐量-延迟性能的自适应策略，称为TOFEC。TOFEC利用纠删码的特性，可以动态地调整文件分块和冗余的级别，根据请求队列的长度作为工作负载的指标。在轻负载时，TOFEC使用更小的分块和更多的并行连接来减少服务延迟；在重负载时，TOFEC减少分块和冗余的级别，以降低开销，提高吞吐量，并防止排队延迟。文章通过基于Amazon S3的实测数据和仿真实验，证明了TOFEC能够有效地适应不同的工作负载，实现最优的吞吐量-延迟折衷。
2024-03-20 10:02:06
752
原创 C语言编程问题分析，以及错误解决方法
大家新年好呀，过年这段时间太忙了，一直没有写文章，这两天才想起来应该搞搞学习了，就把年前写的atm项目中遇到的一些问题整理出来，供需要的人参考学习，也供自己回顾温习。
2024-03-19 11:06:14
3189
1
原创 YOLO_you only look once
计算机图形学的课程即将结束，我需要提交一份关于YOLO模型的学习报告。在这段时间里，我对YOLO进行了深入的学习和研究，并记录下了我的学习过程和心得体会。本文将详细介绍YOLO模型的原理、优缺点以及应用领域，希望能够为后续学习者提供参考和启发。YOLO（You Only Look Once）是一种利用卷积神经网络进行目标检测的算法。它的特点是只需扫视一次图像，就能够确定图像中物体的类别和位置。
2024-03-19 11:03:49
1048
原创 NSGA-III算法：如何在多目标优化问题中找到最合适的解
当我们面临多个目标函数时，单目标的遗传算法可能无法满足需求。这时，我们可以引入多目标遗传算法。在这种情况下，目标函数可能存在冲突，例如，一个目标函数需要最小化，而另一个目标函数需要最大化。某个目标函数的提高可能需要以另一个函数的降低为代价。这就引出了帕累托解（Pareto解）的概念。即每个目标都想达到最优。
2024-03-18 15:27:44
3874
2
原创 超越标签的探索：K-means与DBSCAN在数据分析中的新视角
总结一下，K-means和DBSCAN是两种常用的聚类算法，它们各有优缺点，适用于不同的场景。K-means算法简单易懂，运行速度快，但是需要指定簇的个数，对噪声点和非球形的簇不太适合。DBSCAN算法不需要指定簇的个数，可以发现任意形状的簇，并且能够识别出噪声点，但是运行速度慢一些，对于不同密度的簇可能效果不好。在实际应用中，还是需要根据数据的特点和需求来选择合适的聚类算法，不过如果愿意耐心多次对比参数，训练聚类分析算法，还是推荐DBSCAN算法。
2024-03-18 15:24:10
1125
原创 【kaggle竞赛】从手写图像数据集中正确识别数字
这段代码定义了两个回调函数：第一个是learning_rate_reduction，用于验证集准确率停止提高时，降低学习率。监控的指标是验证准确率，如果在2个周期内没有提高，就出发学习率衰减，学习率衰减的因子是0.5，学习率的最小值是0.00001，学习率不能低于这个值。第二个是early_stoping，用于在验证集损失停止下降时，提前结束训练。监控的指标是验证集损失，如果在5个周期内没有下降，就提前结束训练，可以恢复最佳权重。
2024-03-17 14:29:23
1483
3
原创 伦敦数据科学与Scikit-learn：一次探索与实践的旅程
XGBoost是一种集成学习模型，也是基于决策树的模型，但与随机森林不同的是，它是通过迭代地构建决策树，并让每一棵树对前面所有决策树预测结果的误差进行拟合，从而不断的提高预测精度。这次的数据如此不同，异常数据没有，连缺省数据都没有，数据也不需要处理，那就多用几个模型预测吧，看看什么样的模型更适合这个数据。这个比赛也完成了，总的来说，这次的数据是非常神奇的。K-最邻近的思想是根据一个新的数据点与已知的数据点的距离，找出最近的k个邻居，然后根据这些邻居的类别或数值进行投票或平均，得到新数据点的预测结果。
2024-03-17 14:26:12
1104
1
原创 XGBoost的优势与不足：全面解析这个让无数数据科学家疯狂的算法
XGBoost(eXtreme Gradient Boost)，中文是极致梯度提升，它是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost提供了一个并行树提升，可以快速准确地解决许多数据科学问题，相同的代码运行在主要的分布式环境上，如Kubernetes，Hadoop，SGE，Dask，Spark，PySpark，并且可以解决数十亿个示例以外的问题。记得在学吴恩达老师的机器学习课程时，隐约听到这么一句话：以后的决策树方面几乎都是用XGBoost模型，这个模型已经做的非常好了。
2024-03-15 12:58:17
5156
2
原创 模拟自然进化的智能算法
将遗传算法与暴力搜索算法做比较，让大家更直观的去了解一下遗传算法：暴力搜索算法是枚举搜索的一种算法，遍历所有可能的解空间来寻找最优解，因为是盲目的搜索，所以时间的复杂度较高，适用于解空间较小的问题。而遗传算法是一种模拟生物进化过程的优化算法。通过模拟自然选择、交叉和变异等操作来逐步优化解的质量。遗传算法在种群演化过程中可以很容易地实现并行计算，适用于解空间较大的问题。即遗传算法是一种更高级的搜索算法。
2024-03-15 12:55:43
622
1
原创 纠删码研究热点及未来趋势揭示：借助CiteSpace进行数据分析
本文将使用Citespace软件对Web of Science上有关纠删码的论文进行探索性分析，以了解当前的研究热点和趋势。本文使用CiteSpace 6.2.R4版本来进行操作。
2024-03-14 11:36:07
1232
2
原创 数据保护利器：纠删码技术解密，保障您的数据安全无忧
纠删码是一种通过冗余编码和校验来保护数据的技术，它可以有效地检测和修复数据错误，从而实现数据的快速恢复。以纠删码k=6,m=3为例，冗余度为150%，数据利用率为却达到了66.7%，纠删码以其低存储成本高可靠性，已经成为数据恢复的神奇工具。
2024-03-14 11:33:18
1054
1
原创 解决C语言的内存释放机制
在 C 语言中，临时变量的内存空间是在栈上分配的，它们的内存空间在变量作用域结束时会自动被释放。如果需要动态分配内存，可以使用 `malloc` 函数。当再需要这些内存时，可以使用 free 函数来释放它们，因为malloc函数都不会自动释放内存，所以需要手动调用它们来管理内存。
2024-02-01 22:34:03
886
1
原创 C语言进阶做个ATM银行系统（含完整代码）
随着银行业务的发展和客户需求的多样化，传统的银行管理方式已经不能满足现代化的要求，需要使用计算机技术来提高银行的效率和服务质量。因此，本项目旨在开发一个基于C语言的银行管理系统，实现对银行用户和管理员的信息管理和业务处理。
2024-02-01 22:27:21
2705
8
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人