- 博客(113)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 LLM常见面试题（31-35题）--深度学习基础概念
通过减去小批量的均值并除以标准差，使得每层的输入保持均值为0，方差为1.适合CNN等大规模模型，能够利用小批量数据的统计特性。通过在每一步沿着损失函数的负梯度方向更新参数，逐渐降低损失函数的值，直到达到局部或全局最小值。③自适应学习率：根据参数的梯度大小动态调整学习率，当梯度较大时减小学习率，避免偏离最优解；②学习率衰减：随着训练的进行，逐渐降低学习率的大小，这样可以更加精细地调整模型参数。定义：用于控制模型参数更新的步长或速度，决定了在每次参数更新时，模型参数沿着梯度方向移动的大小。
2024-12-30 19:45:05
335
原创 LLM常见面试题（26-30题）--langchain篇
LangChain中包含加载简单txt文件的文档加载器，用于加载任何网页的文本内容，甚至还包含用于加载YouTube视频的转录稿的加载器。③简化开发难度：通过组件化和现成的链式组装，可以大大简化大语言模型应用的开发难度，可以更专注于业务逻辑，而无需花费大量时间和精力处理底层技术细节。核心思想是将不同的组件“链”在一起，连接大语言模型和外部资源，以创建更高级的语言模型应用。②现成的链式组装：提供了一些现成的链式组装，用于完成特定的高级任务。对于更复杂的应用程序，也支持自定义现有链式组装或构建新的链式组装。
2024-12-27 19:29:11
281
原创 如何生成openai的api_key
所以我们需要回到刚刚的chatMoss官网根据需要付费买token，付款成功后就可以正常使用了。这里的名称随便写，过期时间也是随便选，暂时不知这个时间跟后续付款是否有关。创建成功后，点击“查看KEY”按钮，获取自己的API KEY。在浏览器中打开chatMoss，进入主页。第五步：把KEY复制到自己的代码中。登录后，找到keyapi模块。此时直接运行会提示需要付费。
2024-12-26 22:22:18
459
原创 VScode中调用import openai报错“ could not be resolved ”
在VScode中使用快捷键:ctrl+shift+p,，然后输入Python:Select Interpreter。报错原因：本机有多个python编译环境，vscode默认的编译环境没有下载该包。明明安装好了openai相关包，但是还是报错。开发环境：在win10中使用vscode.再次回到代码界面，波浪线报错消失。选择有openai的那个环境。
2024-12-25 22:11:33
314
原创 调用OpenAI 包运行报错TypeError: Client.__init__() got an unexpected keyword argument ‘proxies‘
报错原因：安装openai时没有指定httpx版本，需要在自己运行的环境中安装0.27.2版本的包。
2024-12-25 21:51:07
1054
原创 LLM常见面试题（21-25题）
通用的LLM没有企业内部数据和用户数据，那么企业想要在保证安全的前提下使用LLM,最好的方式就是把数据全部放在本地，企业数据的业务计算全部在本地完成。虽然大型语言模型可以处理大规模的数据，但如果训练数据中缺乏多样性的语言表达和语境，模型可能无法学习到足够的多样性和创造性，导致复读机问题出现。由于模型底层原理是基于概率的token by token的形式，因此会不可避免的“一本正经的胡说八道”。可以利用大量的无标注数据来训练一个通用的模型，然后再用少量的有标注数据来微调模型，以适应特定的任务。
2024-12-18 21:54:16
205
原创 LLM常见面试题（16-20题）
②减少过拟合风险：只更新与特定任务相关的参数，可以减少模型对训练数据的过渡依赖，降低过拟合风险。①提高计算效率：参数微调通常比全景微调需要更少的计算资源，因为只有部分参数需要更新。③提高泛化能力：可以使模型在保持通用语言能力的同时，适应特定的任务需求。机器学习的一个子领域，通过建立和训练深度神经网络来模拟人脑的学习过程。参数迭代定义：对模型的参数进行迭代调整和优化，以提高模型的性能。定义：对模型的一部分参数进行更新，以适应特定的任务或领域。20，为什么要进行参数调优，参数微调的原因有哪些？
2024-12-17 20:59:38
199
原创 LLM常见面试题（11-15题）--Transformer篇
在自注意力机制中，模型对输入序列的每个元素计算其与序列中所有元素之间的注意力得分。同时，避免了梯度消失问题，提高了对长序列的建模能力。影响：引入了自注意力机制，使得模型能够并行处理序列数据，显著提高了长距离依赖项的处理能力，改变了序列建模和自然语言处理的主流方法。长距离依赖处理：通过自注意力机制直接计算序列中任意两点间的依赖关系，避免了RNN和LSTM中的逐步传播，因此能有效捕捉长距离依赖。允许模型同时从不同的表示子空间捕获信息，增强了模型对不同位置和语义信息的捕捉能力，提高了注意力机制的表达能力。
2024-12-10 19:58:53
259
原创 LLM常见面试题（1-10题）
通常发生在大模型中，因为大模型有更好的表示能力和更高的参数，可以更好地捕捉数据中的模式和关联。①选择合适的预训练目标和任务 ：确定模型将学习哪些通用的语言知识，以及针对哪些特定任务进行优化。如学习率、批量大小、训练轮数等，并选择合适的优化器和损失函数。②收集和准备数据：收集大量、多样化的数据，包括通用数据和特定领用的数据，选择清洗和预处理。⑤训练模型：使用准备好的数据和训练流程开始训练模型，监控训练过程中的性能和资源使用。⑥评估和调优：训练过程中，定期评估模型的性能，并根据需要调整训练参数和模型架构。
2024-12-04 20:50:05
385
原创 用JS简单实现一个折叠手风琴效果
效果如图所示，此时鼠标所在的位置背景色是黑色，第三个标签没有展开。全部代码如下所示：（直接复制运行）<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <meta http-equiv="X-UA-Compatible" content="IE=edge"> <meta name="viewport" content="widt..
2022-02-19 19:29:43
1363
原创 Vuex基础知识
1，操作步骤：当组件中的状态发生改变，通过dispatch函数提交到Action,Action再通过Commit函数提交到Mutations,此时，状态发生改变都会实时的去渲染组件。2，核心概念State:唯一的数据源：需要把任何一个组件中需要抽取处理的变量放入到state中去。单一的状态树：只要把store注册到app.js中，所有组件都可以使用其中的状态。Getters:概念：通过Getters可以派生出一些新的状态。Mutations:概念： 更改Vuex的stor
2022-02-18 09:56:42
466
原创 express相关基础知识
1，Java会给成员变量自动赋初值0，但不会给局部变量赋初值，所以定义局部变量时必须要赋初值，否则就会报错。2，同一个方法中，不允许有同名的局部变量值。3，不同方法中，可以有相同的局部变量。4，当成员变量和局部变量同名时，局部变量优先级高于成员变量，即就近原则。
2022-02-11 21:27:13
329
原创 用vue写一个todo的简单例子
要求：实现基本的增删查改第一步：新建一个项目成功创建的样子：项目目录如图所示：运行效果如下所示：(该有的功能都实现了，视频暂时传不上来footer代码：<template> <div class="todo-footer"> <label> <input type="checkbox" v-model="isCheck"/> </label&..
2022-02-06 19:49:29
872
2
原创 vue里面的class和style的区别
一、class：1，直接传递一个数组。注意：这里的class需要使用v-bind做数据绑定。2，在数组中使用表达式3，在数组中使用对象来代替三元表达式，提高代码的可读性4，在为class使用v-bind绑定对象的时候，对象的属性是类名，对象的属性可带引号，也可不带引号，属性的值是一个标识符。二、style1，直接在元素上通过':style'的形式，书写样式对象2，将样式对象，定义到'data'中，并直接引用到‘:style’中3，在':style'中通过数组，引用多个'd
2022-02-06 08:57:31
4380
原创 vue中事件修饰符的基本使用
.stop-------- 阻止冒泡。（从内到外）.prevent--------阻止默认事件.capture-------添加事件侦听器时使用事件捕获模式（从外到内）.self---------只当事件在该元素本身触发时触发回调。（比如不是子元素）.once--------事件只触发一次.stop和.self的区别：1，.stop是真正意义上的阻止冒泡2，.self只会阻止自己身上冒泡行为的触发，并不会真正阻止冒泡的行为代码如下：（直接复制到html文件即可运行）
2022-02-05 22:18:23
471
原创 vue常用指令实现一个学生录入系统
一、功能描述：1，对于输入的内容进行简单的判断。2，实现简单的增加和删除功能。二、运行情况图1 页面初始化情况点击"添加新用户"如下：图2： 添加一个新用户图3：删除Anna和张三两个用户全部代码如下所示：（直接复制到一个.html文件即可成功运行）<!DOCTYPE html><html lang="en"><head> <meta charset="UTF-8"> <..
2022-02-05 19:11:15
2849
原创 错误解决：RuntimeError: ‘lengths‘ argument should be a 1D CPU int64 tensor, but got 1D
这两天找代码，调代码，真的是人都给弄傻了。各种奇葩错误都遇到了....代码想要靠自己真的好难呀。在各种百度之后，这个错误应该是因为版本不兼容引起的。查了一下，我的pytorch版本是1.7的，看网上说要降到1.4.在降版本的过程中遇到一个error，但最后还是说成功了，所以就没有多管。（下图为降版本的过程）版本降了之后重新运行，果真没有报原来的错了！但是！！！但是！！！又有新的错误！！！！！简直气死，唉...
2021-07-17 20:55:55
1256
原创 专业词汇扫盲：MRR(Mean reciprocal rank) ,long-tail,link prediction
1，MRR(Mean reciprocal rank) ,国际上通用的对搜索算法进行评价的机制，即第一个结果匹配，分数为1，第二个结果匹配分数为0.5，......，第N个匹配分数为
2021-06-09 10:43:12
2863
原创 解决处理json数据时报错：json.decoder.JSONDecodeError: Unterminated string starting at: line 9905067 column 15
最近在跑的一个项目把实验室的显卡跑爆了，然后陷入深深的沉思：不会这近一个月的事儿又白做了吧？？简直五雷轰顶！唉，大概这就是磕研吧！在师兄的指导下，先把数据调到无限小（相对于原数据）然后把一个几千万行的json数据文件，只取了其中1万行左右训练。（用记事本打开原文件后，复制了前1w行到新的文件夹中）上面一顿操作之后，我以为万事大吉了，结果报错：json.decoder.JSONDecodeError: Unterminated string starting at: line 9905
2021-05-20 09:49:44
16671
7
原创 机器学习笔记
MAML：专注于提升模型整体的学习能力，而不是解决某个具体问题的能力。训练数据以task为基本单位，每个task都有自己独立的损失函数。训练时，不停地在不同的task上切换，从而达到初始化网络参数的目的，最终得到的模型面对新的task时可以学习得更快。few-shot learning：每类只有少量训练数据的学习任务。Reptile：和MAML很像。在Reptile中，每更新一次参数，需要sample一个batch的task，并在各个task上施加多次梯度下降，得到各个task对应的新参数。然.
2021-05-19 09:18:28
158
原创 pycharm连接远程服务器，运行代码报错“This is a development server. Do not use it in a production deployment”
用自己电脑连接实验室服务器跑代码，运行就报错WARNING: This is a development server. Do not use it in a production deployment.......找到报错的源码：网上一共提供了3种解决办法，前两种都试过了也没有用，最后第三种终于成功！注释掉的就是前两种办法，最后没有注释的是最终有用的代码（部分）。第三种办法完整代码：引用自https://www.icode9.com/content-4-774630.htm
2021-05-07 16:26:18
6338
1
原创 Research and Implementation of Railway Technical Specification Question Answering......论文笔记
论文题目：Research and Implementation of Railway Technical Specification Question Answering System Based on Deep Learning（基于深度学习的铁路技术问答系统研究与实现）文章来源：2020 IEEE 5th Information Technology and Mechatronics Engineering Conference (ITOEC 2020)（2020年IEEE第五届信息技术和机电一
2021-04-08 20:38:47
388
原创 基于pytorch的Bert模型
代码真的好难啊，就算是照着抄也会错，真的是服了，大半天就只做了这一个事，还好的是最后都敲出来了。源代码参考网址：https://github.com/aespresso/a_journey_into_math_of_ml/blob/master/04_transformer_tutorial_2nd_part/BERT_tutorial/models/bert_model.py论文网址：BERT: Pre-training of Deep Bidirectional Transformers f
2021-04-05 16:14:48
1302
原创 用pytorch实现一个简单FizzBuzz例子
问题描述：用代码实现一个小游戏，游戏功能：从1开始计数，3的倍数输出fizz，5的倍数输出buzz，15的倍数输出FizzBuzz，其他数字正常输出。具体实现：总共学习10000次，然后用1-101作为测试数据。运行成功结果：全部代码如下：import torchimport numpy as np'''3的倍数说fizz,5的倍数说buzz,15的倍数fizzbuzz'''#人工定义的规则代码def fizz_buzz_encode(i): if i % 15 ==
2021-03-30 16:48:53
326
原创 pycharm运行代码报错TypeError: _tokenize() got an unexpected keyword argument ‘truncate_first_sequence‘
最近跑一个基于bert的问答系统代码，各种报错，其中最烦人的就是这个，整整搞了两天才搞定！！报错信息：而且最终解决办法简直了，居然是因为版本问题！！！该项目要求然后我的版本是：torch1.6.0，transformer2.1.1。之前一直忽略了这个问题，以为自己的版本没有问题，想着其他办法都试了也没用，所以开始试着从版本问题出发。pip install transformer==2.0.0,降版本成功后，再次运行，果然就成了。（至少不是之前的错了）再次运行：.
2021-03-24 10:07:54
3265
7
原创 return results UnboundLocalError: local variable ‘results‘ referenced before assignment 解决办法
报错如下：未修改的代码如下：解决办法：在第105行之前加上两句话：else:results = None再次运行，完美解决。哈哈哈开心！查了一下具体的原因，好像是因为results没有初始化的问题，加上这两句之后就能保证一定被初始化。...
2021-03-17 11:14:52
2105
8
原创 pycharm里面用Python创建数据库报错pymysql.err.OperationalError: (1049, “Unknown database ‘kb_qa‘“)
pycharm里面用Python创建数据库报错pymysql.err.OperationalError: (1049, "Unknown database 'kb_qa'")，经过各种踩坑，终于解决了。step01：打开MySQL服务器。net start mysql进入MySQL的命令行，mysql -u root -pstep02:输入创建数据库的命令，create database kb_qa;成功创建。step03：回到pycharm再次运行刚刚的代码..
2021-03-17 10:09:25
6820
6
原创 pycharm里面离线安装dgl
这两天安装dgl是真的头大，简直各种奇葩问题都能遇到，整整一天全在搞这些事。踩了各种坑之后，终于成功了，简直留下了感动的泪水。各种方法都没成功，最后是采用了离线安装的方法才成功的。step01：百度"dgl离线安装包”,然后选择适合自己电脑的版本下载到本地。这是我下载的版本（已上传到百度云）step02：把下载好的.whl文件复制到项目文件的Python文件夹中，下面是我项目环境文件夹。step03：打开pycharm终端，把路径切换到上一步的路径。st.
2021-02-04 15:14:14
3377
5
原创 pycharm中安装第三方库报错 Read timed out
安装numpy时报错：在安装命令上加上一个超时时间，完美解决。（target的内容是为了解决之前的上一篇文章里面提到的问题）
2021-02-02 17:51:59
325
原创 终端运行没错，但是pycharm里面报错No module named ‘yaml‘
问题描述：明明安装了相关的包，在终端运行 import yaml 也没有怎么报错信息，但是在pycharm里面就是报错No module named 'yaml'使用相关命令查看包也是安装成功的：解决办法：pycharm项目中该工程没有导入相应的包，具体操作如下：step01：光标选中项目工程文件step02：file--->settings--->project interpreterstep03: 点击上图的+，出现搜索页面，然后输入要导入的包st
2021-02-02 16:59:17
2829
原创 pycharm终端中安装yaml，报错Requirement already satisfied 的解决办法
直接输入安装命令，报错Requirement already satisfied .........在网上试过很多办法之后，终于找到了能解决的办法。也就是在安装的时候加上具体的路径，这里的路径我是随便写的。附上代码：pip install --target=d:\python\python37\lib\site-packages pyyaml...
2021-02-02 15:18:11
2468
原创 如何把jupter里面的环境应用到pycharm中
之前学代码的时候都是在notebook里面写的，现在开始尝试在pycharm里面写，可是却发现有些环境怎么都不行，在师兄的帮助下，终于知道怎么把jupter里面的环境引入到pycharm中，记录一下防止以后忘了。其实很简单，就是在新建项目时选择一下相应的“参数”和“位置”。如图，pycharm新建工程时的各种选项。、图片说明Location那里是项目保存的位置，根据自己的情况选择。1：右边下三角可以点开，一般有几个选项（根据自己电脑环境而定），然后选择“Conda”.2和3：如.
2020-12-18 12:29:32
1316
原创 win10+Anconada3+jupyter离线安装pytorch,torch,torchtext
换了电脑之后，被这个环境搞了好几天，头都要炸了。简直想砸电脑！！！！！！！！！！终于找到了一个方法解决，记录下来以备以后 的不时之需。 最开始一直是在线安装的方法，然后就遇到各种各样的问题，什么网络超时呀，镜像失效 呀，反正该遇到的都遇到了。 最后实在没有办法，尝试着用离线安装的方法，最后终于成功了！！！！！1，进入官网下载和自己电脑匹配的pytorch版本。https://anaconda.org/pytorch/pytorch/files2,下载相应的torchvisio...
2020-10-26 09:46:04
725
原创 对于给定的行数n，在二维数组a中产生杨辉三角形并输出。
代码如下：#include <stdio.h>#define N 100void main(){ int a[N][N]; int i,j,n; printf("n:"); scanf("%d",&n); for (i=1;i<=n;i++) { a[i][1]=1;//每行的第一个元素和最后一个...
2020-01-12 17:01:44
1407
1
原创 根据用户输入的三角形的三条边长判定是何种三角形，对于有效三角形，求其面积
自己写了一遍，报错。按书上代码敲，还是报错。#include <stdio.h>void main(){ float a,b,c; float s,area; printf("a,b,c="); scanf("$f,%f,%f",&a,&b,&c); if(a+b>c && b+c>...
2020-01-10 19:29:18
4515
2
原创 输入年份和月份，判断是否闰年？并根据月份判断是什么季节和有多少天
书上的题大概是这个意思。但是书上季节是按照3-5月是春季，依次类推的。我写代码前没有看书，所以是按照1-3月是春季这样类推的。运行结果如图代码如下：#include <stdio.h>void main(){ int a,b,c; printf("请输入年份\n"); scanf("%d",&a); printf("请...
2020-01-10 11:42:06
6436
2
原创 用把百分数转换成a,b,c,d,e等级
题目：编写一个程序，将给定的百分制成绩转换为成绩A,B,C,D,E。90分以上为A，80-89分为B，70-79分为C，60-69分为D，60分以下为E。代码如下#include <stdio.h>void main(){ int a; int b; scanf("%d",&a); b=a/10; switch(b) ...
2020-01-10 10:31:28
3150
原创 c语言报错 error:1d returned 1 exit status 。（原因：把main写成了mian）
没想到四年后的今天我竟然在重学c语言。唉，一把悲伤泪啊。言归正传，今天照着书敲代码。可是一点运行，就一直报错：error:1d returned 1 exit status。找遍了网上的解决办法也不行，最好发现罪魁祸首之后简直把自己蠢哭。附上当时的代码：#include <stdio.h>void mian(){ int a,b,m,n; sc...
2020-01-09 19:31:05
13536
11
原创 SPSSModeler的基本操作练习
一、整个实验完成后的界面如下： 二、浏览数据内容如下图所示： 三、观察各个变量的数据分布特征如下图所示： 四、根据已有数据设置Na含量为X轴，K含量为Y轴，制作散点图如下图： 五、病人唾液中钠、钾的浓度情况的直方图如下图所示：： 六、不同药物特征病人的药物选择的绝对值网状图如下所示：七、窗口的“可见”或“不可见”，窗口的放大或缩小：八，数据流文件的扩展名.str；在“输出Output”卡中...
2018-03-21 11:55:17
5856
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人