- 博客(20)
- 收藏
- 关注
RSS订阅
原创 通俗大白话讲大数据（新手筑基篇，中国移动实习）
数据采集传输：Flume、kafka、datax，maxwell，sqoop，logstash数据存储：mysql、hdfs、hbase、redis、mongodb数据计算：hive、spark、flink、storm、tez数据查询：presto、kylin、impala、druid、clickhouse、doris数据可视化：superset、echarts、quickbi、powerBI、AJ-Report任务调度：dolphinscheduler、azkabanoozie、airflow
2024-07-19 00:46:08
1171
原创 通用的深度学习日志记录（logger）
logging的用法，把这段代码放train文件的开头，所有命令行中的logging.XXXX都会被记录到指定文件当中其中logging.basicConfig中。
2025-01-14 21:12:41
114
原创 多分支下loss.backward()过程与原理
在PyTorch中，loss.backward() 是反向传播的核心函数，它负责计算模型参数相对于损失函数的梯度。这个过程是基于自动微分（Automatic Differentiation，简称autodiff）技术实现的，具体来说是采用了反向模式的自动微分（Reverse-Mode AD）。自动微分原理：（1） 前向传播：首先，模型通过前向传播计算输出值。在这个过程中，PyTorch 会记录计算图（Computation Graph），这个计算图记录了从输入到输出的每一步运算及其依赖关系。
2025-01-03 19:39:18
986
原创 nn.ModuleList和nn.Sequential的用法以及区别
nn.ModuleList,它是一个存储不同module，并自动将每个module的parameters添加到网络之中的容器。可以把任意nn.Module的子类（如nn.Conv2d，nn.Linear等）nn.Sequential与nn.ModuleList的结合使用。
2025-01-03 19:16:28
214
原创 Ubuntu中pycharm闪退问题（已解决）
解决方案：最后发现是因为文件是远程传过去的，linux上没有权限，找到传输过去的目录发现有把小锁，在终端执行。问题：在Ubuntu中，打开pycharm后，随便点击一下文件就闪退了。给对应目录所有文件赋予权限，pycharm就可以正常访问了。
2024-12-29 12:40:16
810
原创 快速上手Neo4j
match(a:person{name:"小黄"}) match(b:person{name:"小蔡"}) create(a)-[r:夫妻]->(b) return r;match(a:person{name:"小黄"})-[r:夫妻]->(b:person{name:"小蔡"}) remove set r.marriage_age;match(a:person{name:"小黄"})-[r:夫妻]->(b:person{name:"小蔡"}) set r.marriage_age=10;
2024-12-28 17:59:44
587
原创 应用可运行可点击，不显示的问题
键盘按下win+P，快捷键方式调出多屏幕设置功能，选择仅电脑屏幕，即可搞定！环境：荣耀笔记本，使用过多屏协同，外接过显示屏。原因：类似开启了多屏协同，软件去其他地方了。
2024-07-18 22:41:11
165
原创 tsne可视化
s_t= torch.load('/home/huang/代码/DeepKE/example/re/multimodal/utt_private_t.txt').cpu().detach().numpy()s_v= torch.load('/home/huang/代码/DeepKE/example/re/multimodal/utt_private_v.txt').cpu().detach().numpy()# 降成二维或三维,即61*768变成61*2或61*3,然后绘制出来,归一化看是否需要。
2024-01-31 14:53:33
633
1
原创 标签结果输出（自用）
with open("不一致1.txt", "a") as file:# 这里只以比较数值大小为例，您可以根据需要修改操作。if names[i] == names2[j]: # 这里只以'实验1'为例，您可以根据需要修改或删除此条件。# 使用split()函数分割每一行内容，得到名称和数字。# 使用split()函数分割每一行内容，得到名称和数字。# 将名称和数字写入文件，每个结果占一行。# 将名称和数字写入文件，每个结果占一行。# 将数值添加到列表中。# 遍历两个列表，比较文本和数值。
2024-01-31 14:51:36
392
1
原创 混淆矩阵（自用）
color = (1, 1, 1) if i == j else (0, 0, 0) # 对角线字体白色，其他黑色。@param label_name: 标签名字，比如['cat','dog','flower',...]@param label_true: 真实标签，比如[0,1,2,7,4,5,...]@param label_pred: 预测标签，比如[0,5,4,2,1,4,...]# 使用split()函数分割每一行内容，得到名称和数字。# 使用split()函数分割每一行内容，得到名称和数字。
2024-01-27 13:27:03
724
1
原创 数据库复习内容
网状模型可以表示多个从属关系的联系，也可以表示数据间的交叉关系，即数据间的横向关系与纵向关系，它是层次模型的扩展。外模式，也称为用户模式，是数据库用户（包括应用程序员和最终用户）能够看见和使用的局部数据的逻辑结构和特征的描述，是与某一应用有关的数据的逻辑表示。模式，也称逻辑模式或概念模式，是数据库中全体数据的逻辑结构和特征的描述，是所有用户的公共数据视图。内模式，也称为存储模式，是数据在数据库系统内部的表示，即对数据的物理结构和存储方式的描述。指数据库系统的应用程序与数据库的逻辑结构是相互独立的。
2024-01-08 18:17:16
1143
1
原创 本科两个月实验室经历
过程：基础学习（未知）-> 方向性选择（未知） -> 跑实验 -> 编写 (两周)模型：init , forword，预训练模型，过程，loss损失。目标：理论的正确性，指标的sota，写作翻译润色latex。2.收集（code with paper，微信公众号）3. 图片（案例分析，公式图片，实验），公式。翻译：百度，GPT，谷歌，deepL。3.看论文（公式，能用的点，思想）理论正确---编码试错---编写。（张量，模型结构，层，拆分）（创新点，实验结果）3.确定方向，中文翻。1. 中文写word。
2023-12-25 17:52:01
71
原创 pycharm运行时崩溃问题
本人在用23版本ubuntu用pycharm运行mega代码时，发现代码运行到数据加载步骤或者训练过程中pycharm自动闪退，并且没有报错原因。总结：个人猜测可能是因为pycharm的运行占用了一定系统资源，或者编译器本身不适合跑深度学习（直接用终端执行），仅作为调试代码所用。吐槽：vscode的导入外部包import sys添加路径无用（可能是路径问题？解决办法：实验室老师随口的一句：跑学习用终端，用那个vscode。4.修改过JVM大小（但是按照网上的教程没有找到对应的修改文件）
2023-11-22 18:48:40
2028
原创 6.事后诸葛亮分析
你觉得团队目前的状态属于 CMM/CMMI 中的哪个档次?达到CMMI中的一级，在完成级水平上，企业对项目的目标与要做的努力很清晰。项目的目标得以实现。你觉得团队目前处于萌芽/磨合/规范/创造阶段的哪一个阶段?磨合。你觉得团队在这个里程碑相比前一个里程碑有什么改进?队友间的沟通能力增强。你觉得目前最需要改进的一个方面是什么?开发人员的技术。照片。
2023-05-21 21:22:45
107
1
原创 6.Alpha阶段项目复审
作业所属课程广工软件工程课程学习作业要求团队作业6——复审与事后分析作业目标评价大家的项目一、项目复审团队名优点缺点最终名次急急国王1.游戏功能完善，游戏内容比较大众2.游戏无繁琐的登录注册界面，随时随地，想玩就玩，方便快捷1.游戏太大众了，玩法单一，亮点不足5404NotFound队1.功能完善，实现管理员和用户的权限分离，实现了图书的增删改查功能2.界面ui整洁美观，按键布局合理1.缺乏创新点，与现有的图书馆借阅系统没有明显区
2023-05-21 21:21:35
157
1
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人