- 博客(17)
- 收藏
- 关注
RSS订阅原创 Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门task3:实践方法论
在应用机器学习算法时，实践方法论能够帮助我们更好地训练模型。
2024-09-03 21:34:42
549
原创 Datawhale X 李宏毅苹果书 AI夏令营-深度学习进阶task3:批量归一化
我们在计算 B 更新到 B′ 的梯度的时候，这个时候前一层的参数是 A，或者是前一层的输出是 a。因为我们每次都有做批量归一化，就会让 a 和a′ 的分布比较接近，也许这样就会对训练有帮助。如果我们可以给不同的维度，同样的数值范围的话，那我们可能就可以制造比较好的误差表面，让训练变得比较容易一点其实有很多不同的方法，这些不同的方法往往就合起来统称为特征归一化（feature normalization）。其中，µ¯ 是 µ 的个平均值，p 是因子，这也是一个常数，这也是一个超参数，也是需要调的那种。
2024-09-03 21:12:39
1056
原创 Datawhale X 李宏毅苹果书 AI夏令营-深度学习进阶task2：自适应学习率，分类
残差网络里面是有预热的，在残差网络里面，学习率先设置成 0.01，再设置成 0.1，并且其论文还特别说明，一开始用 0.1 反而训练不好。一个比较简单的解释是，y 是独热向量，所以其里面的值只有 0 跟 1，但是 yˆ 里面有任何值。回归是输入一个向量 x，输出 yˆ，我们希望 yˆ 跟某一个标签 y 越接近越好，y 是要学习的目标。AdaGrad 可以做到梯度比较大的时候，学习率就减小，梯度比较小的时候，学习率就放大。走到梯度比较大的地方后，σ会慢慢变大，更新的步伐大小会慢慢变小，从而回到原来的路线。
2024-08-31 23:02:01
966
1
原创 Datawhale X 李宏毅苹果书 AI夏令营-深度学入门task2：线性模型
同时可以用分段线性曲线去逼近任何的连续的曲线，而每个分段线性曲线都可以用一大堆蓝色的函数组合起来。线性模型有很大的限制，只能表示一条直线，这一种来自于模型的限制称为模型的偏差，无法模拟真实的情况。调整这里的 b、w 和 c 可以制造各种不同形状的 Sigmoid 函数，用各种不同形状的 Sigmoid函数去逼近 Hard Sigmoid 函数。把输入的特征 x 乘上一个权重，再加上一个偏置就得到预测的结果，这样的模型称为线性模型（linear model）其横轴输入是 x1，输出是 y，c 为常数。
2024-08-31 22:35:37
407
原创 Datawhale X 李宏毅苹果书 AI夏令营-深度学习进阶task1：局部极小值与鞍点，批量和动量
在做优化的时候经常会发现，随着参数不断更新，训练的损失不会再下降, 但是我们对这个损失仍然不满意或者有时模型一开始就训练不起来，不管我们怎么更新参数，损失都降不下去。过去常见的一个猜想是我们优化到某个地方，这个地方参数对损失的微分为零。图中的两条曲线对应两个神经网络训练的过程。当参数对损失微分为零的时候，梯度下降就不能再更新参数了，训练就停下来了，损失不再下降了。
2024-08-27 21:21:39
699
原创 Datawhale X 李宏毅苹果书 AI夏令营-深度学习入门task1：通过案例学了解机器学习
损失函数输出的值代表，现在如果把这一组未知的参数，设定某一个数值的时候，这笔数值好还是不好。举一个具体的例子，假设未知的参数的设定是 b = 500，w = 1，预测未来的观看次数的函数就变成 y = 500 + x1。x1 代入 4800，预测隔天的观看次数结果为 yˆ = 5300，而已知的真正的结果是 4900，真实的值称为标签（label），它高估了这个频道可能的点击次数。同时可以把每一天的误差，通通加起来取得平均，计算某一段时间内每天的误差。
2024-08-27 11:34:11
879
原创 聪明办法学 Python第6节: 字符串
单引号与双引号要适时出现，多行文本用三引号。字符串中可以包含转义序列。repr()能够显示出更多的信息。字符串本身包含许多内置方法，in是一个特别好用的玩意。字符串是不可变的常量。文件操作推荐使用，这样就不用写f.close()啦。
2024-06-24 18:00:27
802
原创 聪明办法学 Python第5节：循环
For 循环用于指定范围的重复操作。range()可以生成一个数字范围。在不知道循环什么时间停止的时候，应该试试 While 循环。循环同样也是可以嵌套的。巧妙地使用break和continue语句。合理的剪枝，缩小搜索范围/循环范围，可以大幅提高程序运行效率。
2024-06-22 10:44:49
1774
原创 聪明办法学Python第4节：条件
输入格式：1-2 个整数，以空格分隔，第一个数字代表 CET 4 成绩，第二个数字代表 CET 6 成绩，如果四级未通过则没有六级成绩。背景：小 ϵ是一名大四学生，他的学校毕业要求是通过大学英语六级考试，你能写个程序看看他能不能毕业嘛？任务：实现一个函数，返回输入数字的绝对值。实现传说中的“学生分数登记管理系统“Python3.10更新。输出格式：1 个字符串，除非有特殊原因，否则。
2024-06-21 18:43:31
452
原创 聪明办法学Python第3节：变量与函数
变量只是个标签，物理设备上有啥才是重点def、header、body、缩进、return函数是有作用域的，类似双层玻璃，里面可以看见外面，外面不能看见里面Helper Function 有时候会很有用一定要亲眼看你的代码是怎么跑起来的。
2024-06-21 12:57:45
869
原创 聪明办法学Python第2节：数据类型和操作
Python 的类型系统很丰富，可以使用type()查看对应的类型常数类型的值是不可修改的除法操作默认是浮点数除法，整除操作需要使用//运算符之间有运算优先级，运算符作用于不同对象之间的效果是不同的在进行逻辑判断时，会使用短路求值。
2024-06-20 20:49:39
807
原创 聪明办法学Python第1节：启航
写注释是个好习惯调整输入输出的参数来控制其呈现效果大部分错误类型可以归为：语法错误、运行时错误和逻辑错误Python 的库能让很多操作变方便。
2024-06-18 15:44:27
980
原创 隐语训练营第 4 讲：SecretFlow与Secretnote的安装部署
在alice或者bob其中一台机器上执行即可，address填写实际Ray主节点ip和port。中的address填写第一台机器(alice)的Ray主节点ip和port。中的address填写第一台机器(alice)的Ray主节点ip和port。 a. 在第一台机器上部署Ray主节点，模拟参与方alice。 在第一台机器上部署Ray主节点，模拟参与方Alice。 部署两个节点，分别模拟Alice、Bob两个参与方。 在第二台机器上部署Ray主节点，模拟参与方Bob。
2024-06-17 16:47:03
1886
原创 隐语实训第3节：隐语架构概览
主要产品：SCQL（Secure Collaborative Query Language），一种多方安全数据分析系统，可以让互不信任的参与方在保护自己数据隐私的前提下，完成多方数据分析任务。人群画像：隐私保护计算需求方、隐私保护计算集成商、开发人员、研究人员、产品人员。人群画像：数据分析集成商、数据分析产品人员、数据分析需求人员、数据分析研发人员。人群画像：互联互通需求方、算法研发人员 、平台研发人员、隐私保护计算集成商。人群画像：机器学习研发人员、密码协议研发人员、编译器研发人员。
2024-06-12 16:50:30
881
原创 隐语实训第2节，隐私计算开源助力数据要素流通
Facebook剑桥分析数据门：英国剑桥分析公司获取海量Facebook用户数据，未经用户同意的情况下将这些数据用于政治广告分析，以支持2016年唐纳德·特朗普的总统竞选。案发后，扎克伯格表示2014年Facebook平台就已经不再允许第三方应用获取用户好友的数据，并于2015年要求相关公司删除数据 并提交了证明。其以安全、开放为核心设计理念，支持 MPC、FL、TEE 等主流隐私计算技术，融合产学研生态共创能力，助力隐私计算更 广泛应用到AI、数据分析等场景中，解决隐私保护和数据孤岛等行业痛点。
2024-06-10 20:57:07
1418
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人