- 博客(23)
- 收藏
- 关注
RSS订阅原创 多样化知识获取阶段在模型冷启动中的作用
多样化知识获取阶段通过系统性地引入多样化知识和应用标准聚合技术，为模型冷启动问题提供了有效的解决方案。这一过程不仅初始化了全局模型的知识基础，还通过多样性原则确保了模型的稳健性和泛化能力。
2025-11-01 18:43:16
753
原创 对于随机变量x1, …, xn，其和的范数平方的期望不超过n倍各随机变量范数平方的期望之和
摘要：本文首先通过初等不等式(∑x_i)^2≤n∑x_i^2引出随机变量范数平方期望的推广形式E[∥∑X_i∥^2]≤n∑E[∥X_i∥^2]。随后详细证明了该引理：1)展开范数平方为对角线项和交叉项；2)利用柯西-施瓦茨不等式和基本不等式对交叉项进行放缩；3)合并项得到最终结论。证明过程不依赖独立性假设，揭示了随机变量和的二阶矩与各分量二阶矩的关系，是概率论中重要的矩估计工具。该结果将确定性不等式推广至随机情形，保持了初等不等式的结构特征。
2025-10-24 22:35:18
846
原创 卷积核的通道数和卷积层的通道数
这种分层理解有助于设计网络架构时精确控制特征维度，例如通过调整卷积核数量改变模型容量，或使用1x1卷积实现跨通道信息融合。这种设计使CNN能高效处理多通道数据，并通过调整卷积核数量灵活控制特征表达能力。
2025-10-17 16:22:54
339
原创 定理和引理的区别
在我们学习生涯中经常接触到的勾股定理，在几何，物理等诸多领域都有基础性的支撑作用，它揭示了直角三角形三边之间的固定关系，是解决众多相关问题的关键依据。又例如余弦定理，无论是在测量不规则图形的边长和角度，还是在力学中分析力的分解与力的合成等实际问题中，都能发挥重要作用。引理的应用通常局限于特定定理的证明体系中，一旦完成其辅助证明定理的使命，在其他场景中的应用机会相对较少。引理的重要性更多是体现在对特定定理证明的助力上，单独拿出来可能没有定理那样广泛的影响力。，定理的证明是往往是复杂且耗时的。
2025-10-16 23:24:16
209
原创 x₁,...,xₙ是独立的且均值为0
在统计学和概率论中，当描述"x₁,…每个随机变量xᵢ与其他变量xⱼ（i≠j）的取值互不影响，即它们的联合概率分布等于各自边缘概率分布的乘积。PX1x1Xnxni1∏nPXixi这里可以想一下同时掷两枚硬币。对于一枚硬币来说，正反的概率都是0.5。第一枚硬币掷到正面时，第二枚硬币仍有可能掷到正面和反面，所以同时掷两枚硬币一共有四种情况，两枚都掷到正面的概率是0.5X0.5=0.25。EXi0（对所有i=1,…,n成立）
2025-10-16 23:20:36
647
原创 Hessian-向量积
Hessian矩阵描述了损失函数的二阶导数信息，对于优化问题中的二阶方法（如牛顿法）非常重要。它的计算涉及对损失函数进行二次求导。这在高维度的参数空间中是非常昂贵的，特别是在参数维度很大时。
2024-07-21 19:41:32
1279
原创 随机变量向量和的范数平方的期望等于各随机变量向量范数平方期望的和
这个结论在随机优化、机器学习和其他统计领域中非常有用，特别是当我们处理多个随机变量的和，并需要了解其范数平方的期望时。这个引理表述了在一定条件下，随机变量向量和的欧几里得范数平方的期望等于各随机变量向量范数平方期望的和。
2024-07-09 22:03:00
1378
3
原创 差分隐私中的噪声添加
在差分隐私的训练过程中，噪声的添加是根据隐私预算进行的。通过合理分配隐私预算ϵ到每次迭代，并在每次迭代中添加适当的噪声，可以在保护数据隐私的同时，确保模型训练的有效性。这种方法平衡了数据隐私和模型性能，确保总隐私损失在可接受的范围内。
2024-06-16 18:06:49
2751
原创 差分隐私中的隐私损失以及在机器学习中的应用
隐私损失（Privacy Loss）是差分隐私中的一个核心概念，用来定量描述由于个体数据的存在或缺失，对算法输出结果概率分布所造成的影响。通过理解隐私损失，可以更好地掌握差分隐私机制如何在保护隐私的同时，允许有用的数据分析。
2024-06-11 18:01:43
1423
原创 差分隐私中的隐私预算
隐私预算 ε 是控制差分隐私强度的关键参数，它决定了在梯度裁剪后添加噪声的大小，从而影响模型训练的隐私保护程度和数据的有用性。在实际应用中，需要合理分配和管理隐私预算，以在保护隐私的同时，最大限度地利用数据的价值。
2024-06-08 18:24:59
3029
原创 Why vectorization allows you to efficiently compute on all m examples?
向量化通过利用硬件加速、减少解释器开销、支持并行计算和优化内存访问，使得对所有样本进行高效计算成为可能。这是向量化在大规模数据处理和机器学习中被广泛使用的主要原因。
2024-06-06 20:51:56
385
原创 论文笔记(1)Towards Understanding and Mitigating Dimensional Collapse in Heterogeneous Federated Learning
此外，我们在每个客户端上本地训练的模型上观察到类似的现象，并推断(deduce)全局模型上的维度崩溃(dimensional collapse)是从局部模型继承(inherited)来的。联邦学习旨在(aims to)跨不同客户端协作(collaboratively)训练模型，出于隐私考虑(for privacy considerations)不需要共享数据。然而，这种学习范式的一个主要挑战是数据异质性问题，它(which)指的是(refers to)不同客户之间本地数据分布之间的差异。
2023-09-11 19:33:00
429
1
原创 论文阅读笔记—Model-Contrastive Federated Learning(Abstract)
联邦学习使(enables)多方(multiple parties)能够在不交流(without communicating)本地数据的情况下协作(collaboratively)训练机器学习模型。联合学习中的一个关键挑战(A key challenge)是处理(handle)跨各方(across parities)的本地数据分布(local data distribution)的异构性(heterogeneity)。
2023-09-08 23:59:22
474
1
原创 urllib.error.URLError: ＜urlopen error [SSL: CERTIFICATE_VERIFY_FAILED] certificate verify failed: un
在main.py文件中加上。
2023-08-14 16:03:38
256
原创 当我发现Anaconda环境里面安装了各种不兼容的包之后......(重新安装)
另外，发现了一个好东西，当我们在Github上面下载一个程序包之后，需要用requiements.txt安装各种依赖包的时候，使用命令。详见https://blog.youkuaiyun.com/weixin_43846270/article/details/109451249。使用稳定，可创建多个版本的Python虚拟环境。也可以用可视化界面创建虚拟环境。
2023-07-28 13:22:55
372
1
原创 Pytorch报错：RuntimeError : bool value of Tensor with more than one value is ambiguous. 的可能原因
1、使用损失函数的时候，不能直接写loss = nn.CrossEntropyLoss（input, target）或者是nn.NLLLoss (input, target)，必须先把求损失的库函数定义到一个自己命名的函数再调用。例如：loss_fn = nn.NLLLoss()loss = loss_fn(input, target)2、定义库函数的时候要记得加括号：是loss_fn = nn.NLLLoss()而不是loss_fn = nn.NLLLoss...
2022-04-10 18:58:01
3333
原创 CentOS查看CUDA版本
1、在python环境中查看服务器上有没有安装CUDApythonimport torchtorch.cuda.is_available()显示True即为安装过了2、不用进python环境，直接查看版本：
2021-12-08 16:08:11
3620
原创 Spark学习笔记2
Spark核心模块Spark core是Spark的功能核心，其他几个模块是基于core实现和完善的Spark操作结构化数据的一个功能模块结构化数据操作和流式数据操作
2021-10-30 22:15:50
1241
原创 Spark学习笔记1
spark是一种基于内存的快速、通用、可扩展的大数据分析计算引擎。注意！！！主要作用就是做大数据的分析计算！不做其他的功能，比如说存储等。Spark发展时间轴：Spark是一种包含流处理能力的批处理框架。Spark侧重于通过内存计算以及处理优化机制加快批处理的运行优化速度。可以作为独立的集群来部署，也可以和Hadoop集成，取代MapReduce。...
2021-10-30 15:41:27
713
原创 python网络爬虫学习笔记1
网络爬虫定义的通俗理解：爬虫是一个模拟人类请求网站行为的程序。可以自动请求网页、并把数据抓取下来，然后使用一定的规则提取有价值的数据。爬虫的实际应用：1、搜索引擎（百度或谷歌等）2、伯乐在线。3、惠惠购物助手。4、数据分析（瓜子二手车分析车辆保值情况）5、抢票软件等。安装爬虫开发所需软件：1、3.6版本以上的python2、Pycharm2019 社区版3、Chrome软件、73以上的版本（https://www.google.com/chrome/）需要了解的一些概念：Http协
2021-10-29 20:08:45
415
原创 使用Pytorch进行数据预处理报错：can‘t convert np.ndarray of type numpy.object_.
1 问题TypeError: can’t convert np.ndarray of type numpy.object_. The only supported types are: float64, float32, float16, complex64, complex128, int64, int32, int16, int8, uint8, and bool.2 出错代码X = torch.from_numpy(X_data).type(torch.float32)3 出错原因在nump
2021-03-15 21:13:59
5926
1
原创 PyCharm学习笔记一
目录PyCharm集成开发环境功能PyCharm应用PyCharm常用操作PyCharm集成开发环境功能到PyCharm官网下载，专业版每次功能更加齐全，但免费试用每次只能用30分钟，社区版可免费使用。PyCharm应用新建项目：新建程序文件：因为我在创建项目的时候勾选了自动创建main.py文件，所以这个项目现在包含两个程序文件：打开helloWorld.py文件，在里面输入print语句，光标放在句子上时会出现小电灯泡，是集成开发环境环境给出的程序建议，不用管：运行程序
2021-02-04 12:16:37
1282
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人