- 博客(93)
- 资源 (2)
- 问答 (1)
- 收藏
- 关注
RSS订阅原创 学习RAG踩坑解决记录
学习 https://zhuanlan.zhihu.com/p/675509396 和 https://zhuanlan.zhihu.com/p/668082024 文章了解RAG，使用langchain实现一种简单的RAG问答应用示例。可能是langchain版本更新了，函数用法改变，修改为https://blog.youkuaiyun.com/qq_44894943/article/details/137018519。（CharacterTextSplitter基于字符（默认’\n\n’）进行分割）
2024-05-13 09:31:53
328
原创 Xshell常用命令&使用Xshell连接服务器执行代码（自总结）
ls：查看当前目录下的所有文件和文件夹cd 文件夹名称：进入下一个目录cd ..：进入上一层目录查看当前已有的虚拟环境：cd anaconda3/cd envsls创建虚拟环境：conda create -n 环境名称 python=版本号在Xshell中查看txt文件：cat xxx.txt在Xshell中删除文件：rm xxx在Xshell中新建文件夹：mkdir xxx在Xshell中删除文件夹：rmdir xxxrm -rf xxx `强制删除`将文件从Xshel
2021-07-29 18:57:15
3871
原创 第一次使用Xshell用Linux装DL配套东西
由于本科没选上Linux加上准备比赛和保研等等事情，一直没有使用过Linux系统，本研0现在记录一下这周第一次使用Xshell来用Linux系统装配套的深度学习的一些环境~一、首先，下载Xshell进行终端的操作，下载链接和安装都很简单。接着下载WinSCP，它可以在窗口左右两端分别显示本地文件和远程Linux服务器上的文件，然后进行简单的拖拽操作（个人感觉这样会使得更接近windows上的操作更舒服一点）打开安装好的Xshell新建会话名称随便填，主机写远程服务器的IP，端口号写映射的端口确定
2021-07-29 16:27:18
355
1
转载 嵌入(embedding)层的理解
嵌入(embedding)层的理解【转载】首先，我们有一个one-hot编码的概念。假设，我们中文，一共只有10个字。。。只是假设啊，那么我们用0-9就可以表示完比如，这十个字就是“我从哪里来，要到何处去”其分别对应“0-9”，如下：我 从 哪 里 来 要 到 何 处 去0 1 2 3 4 5 6 7 8 9那么，其实我们只用一个列表就能表示所有的对话如：我 从 哪 里 来 要 到 何 处 去 ——>
2021-07-10 19:26:17
1295
2
原创 Python爬虫和数据可视化
文章目录Python基础知识Python基础变量及类型标识符和关键字格式化输出输入import导入包判断语句和循环语句条件判断语句循环语句字符串、列表、元组、字典字符串字符串的常见操作列表常见操作元组字典常用操作集合小结函数函数的概念函数定义和调用定义函数调用函数函数参数定义带有参数的函数调用带有参数的函数全局变量和局部变量什么是局部变量什么是全局变量函数使用注意事项调用函数作用域文件操作文件的打开与关闭访问模式写数据读数据文件的相关操作文件重命名删除文件创建文件夹获取当前目录改变默认目录获取目录列表删除文
2021-06-17 20:59:57
4119
7
原创 Linux基础串讲
文章目录Linux操作基础串讲Linux系统Linux系统 VS Windows系统Linux系统安装Linux系统目录结构Linux系统常见命令Linux系统远程登录&管理Linux系统软件安装&卸载Linux系统中的常用工具VimLinux系统中的常用工具GitLinux操作基础串讲Linux系统Linux系统 VS Windows系统Linux系统安装Linux系统目录结构/home是家目录，一般工作环境都在这里/bin和/lib是通常系统的可用到的可执行程序和库
2021-05-26 16:56:04
277
原创 PyTorch入门到进阶实战笔记四（工程应用）
文章目录Pytorch工程应用介绍模型开发与部署AI硬件平台服务端AI训练硬件终端AI推理芯片终端AI前向软件框架如何在终端部署PyTorch模型如何在服务端部署PyTorch模型TorchScript——PyTorch工程化基础Tracing示例Scriptingtorch.jit相关函数Tracing&Scripting混合使用TorchServer——PyTorch服务端发布平台为什么模型要ServeringTorchServerTorchServer特性TorchServer相关资源ONNX
2021-05-26 16:12:31
836
原创 Seq2Seq-Attention编程实例——机器翻译问题
目录数据处理模块定义模型结构模块使用Seq2Seq-Attention结构数据处理模块数据资源下载：平行语料库http://www.manythings.org/anki首先下载的数据集中有繁体，我们在github上找到一个模型（langconv.py）来处理繁体，将繁体转换成简体langconv.py#!/usr/bin/env python# -*- coding: utf-8 -*-from copy import deepcopyimport retry:
2021-05-26 11:07:04
621
3
原创 中文文本情感分类实战（weibo_senti_100k为数据集）
中文文本情感分类数据准备数据准备使用jieba分词import jiebadata_path = "sources/weibo_senti_100k.csv"data_stop_path = "sources/hit_stopword"data_list = open(data_path,encoding='utf-8').readlines()[1:]#处理停用词stops_word = open(data_stop_path,encoding='utf-8').readlines()
2021-05-25 11:02:59
5523
4
原创 PyTorch入门到进阶实战笔记三（NLP）
PyTorch入门到进阶实战笔记循环神经网络与NLP基础串讲RNN基础概念常见的RNN结构简单RNNs原理介绍双向RNNs原理介绍LSTM原理介绍双向LSTM网络原理介绍LSTM网络结构变种Attention结构Seq2Seq模型优化方法Transformer结构BERTNLP基础概念n-gram基于前馈神经网络的模型基于循环神经网络的模型衡量语言模型其他基础概念NLP主要研究方向PyTorch实战中文文本情感分类问题情感分类概念介绍情感分类关键流程文本预处理——中文分词文本特征提取与文本表示文本情感分类之
2021-05-24 10:38:36
1440
原创 PyTorch入门到进阶实战笔记二（慕课网）
文章目录Pytorch搭建简单神经网络机器学习和神经网络的基本概念利用神经网络解决分类和回归问题预测房价（回归）手写数字图片分类（分类）计算机视觉计算机视觉的基本概念常见的图像处理概念亮度、对比度、饱和度图像平滑/降噪图像锐化/增强边缘提取算子直方图均衡化图像滤波形态学运算OpenCV及其常用库函数介绍特征工程从特征工程的角度理解计算机视觉的常见问题卷积神经网络概念介绍卷积层常见的卷积操作如何理解卷积层感受野如何理解卷积层的参数量与计算量如何压缩卷积层参数&计算量常见的卷积层组合结构池化层（pool
2021-03-24 16:21:43
5133
1
原创 PyTorch入门到进阶实战笔记一（慕课网）
笔记一PyTorch入门基础串讲PyTorch的基本概念TensorVariable（autograd）nn.ModuleTensor与机器学习的关系Tensor的类型Tensor的创建Tensor创建编程实例Tensor的属性稀疏的张量Tensor的算术运算加法运算减法运算乘法运算除法运算矩阵运算幂运算开方运算对数运算in-place的概念和广播机制in-place操作广播机制Tensor的取整/取余运算Tensor的比较运算/排序Tensor的三角函数Tensor中其他的数学函数``torch.sign
2021-03-22 20:31:58
1812
原创 吴恩达深度学习系列笔记
文章目录深度学习概论利用神经网络进行监督学习结构化数据、非结构化数据神经网络基础二分类Logistic 回归逻辑回归的代价函数为什么需要代价函数损失函数梯度下降法计算图逻辑回归中的梯度下降m个样本的梯度下降向量化np.dot()构建神经网络的基本步骤浅层神经网络神经网络的表示计算一个神经网络的输出神经网络的计算多样本向量化激活函数为什么需要非线性激活函数激活函数的导数神经网络的梯度下降（Gradient descent for neural networks）随机初始化应用深层神经网络(Deep Neura
2021-03-22 19:40:41
2658
原创 【论文笔记】AffinityNet Semi-supervised few-shot learning for disease type prediction
AffinityNet: Semi-Supervised Few-Shot Learning for Disease Type PredictionPublication:Code:Dataset:IntroductionRelated WorkAffinity Network Model (AffinityNet)kNN attention pooling layerAttention kernelsLayer-specific dynamic affinity graphSemi-supervised
2021-02-20 10:39:48
1204
原创 【论文笔记】Deep Neural Networks for High Dimension, Low Sample Size Data
Deep Neural Networks for High Dimension, Low Sample Size DatacodedatasetIntroductionRelated WorkDNP ModelDNP for High DimensionalityDNP for Small Sample SizeStagewise vs StepwiseTime ComplexityExperimentsGeneral experimental partExperiments on Synthetic Da
2021-02-04 00:04:21
1270
原创 吴恩达机器学习系列五(聚类和降维)
吴恩达机器学习系列五聚类（Clustering）无监督学习K-均值算法优化目标随机初始化选择聚类数降维（Dimensionality Reduction）动机一：数据压缩动机二：数据可视化主成分分析问题主成分分析算法选择主成分的数量重建的压缩表示主成分分析法的应用建议聚类（Clustering）无监督学习在一个典型的监督学习中，我们有一个有标签的训练集，我们的目标是找到能够区分正样本和负样本的决策边界，在这里的监督学习中，我们有一系列标签，我们需要据此拟合一个假设函数。与此不同的是，在非监督学习中，
2021-01-03 16:26:33
575
原创 吴恩达机器学习系列四(SVM)
吴恩达机器学习系列四如何设计复杂的学习系统构建一个学习算法的推荐方法为误差分析类偏斜的误差度量偏斜类（skewed classes）查准率（Precision）/查全率（Recall）Precision 查准率Recall 查全率查准率和查全率之间的权衡F1 Score机器学习的数据支持向量机（Support Vector Machines）优化目标大边界的直观理解大间距分类器核函数1核函数2如何选择地标？总结使用支持向量机多分类问题如何选择逻辑回归还是支持向量机模型如何设计复杂的学习系统构建一个学习算
2021-01-03 16:24:11
478
原创 吴恩达机器学习系列三(神经网络)
吴恩达机器学习系列三神经网络单个神经元：神经网络模型：逻辑单元神经网络怎么计算神经网络的假设函数（向量化）利用神经网络解决多类别分类问题代价函数反向传播算法（最小化代价函数）梯度检验随机初始化总结1.选择一个网络架构2.随机初始化权重3.执行前向传播算法4.执行代码计算出代价函数J(θ)J(\theta)J(θ)5.执行反向传播算法来计算这些偏导数项6.使用梯度检验7.最后使用优化算法和反向传播算法结合来最小化关于θ\thetaθ的代价函数J(θ)J(\theta)J(θ)机器学习诊断法如何评估假设函数（如
2021-01-03 16:17:27
942
原创 吴恩达机器学习系列二(分类问题 / 正则化)
吴恩达机器学习系列二分类问题（Logistic回归模型）Logistic函数 / Sigmoid函数决策界限代价函数简化代价函数与梯度下降Logistic回归的代价函数：梯度下降高级优化多元分类：一对多过拟合与正则化过拟合问题什么是过拟合(overfitting)问题如何解决过拟合问题正则化代价函数正则化思想线性回归的正则化梯度下降方法正规方程Logistic回归的正则化梯度下降方法怎么求决策边界分类问题（Logistic回归模型）Logistic函数 / Sigmoid函数hθ(x)=11+e−θT
2021-01-03 16:06:54
885
原创 Java语言基础五之多线程
多线程程序、进程、线程并行与并发线程的创建和使用多线程的创建方法（四种）方法一：继承于Thread类方法二：实现Runnable接口比较两种方法实现Callable接口（JDK5.0新增线程创建方式）使用线程池（JDK5.0新增线程创建方式）Thread类的常用方法线程优先级的设置线程的生命周期线程的同步方式一：同步代码块方式二：同步方法方式三：Lock锁（JDK5.0新增）线程安全的单例模式——懒汉式死锁死锁的理解说明线程的通信线程通信的方法程序、进程、线程程序：静态代码进程：程序的一次运行过程，具
2020-11-24 19:48:58
116
原创 吴恩达机器学习系列一(线性回归)
吴恩达机器学习系列一什么是机器学习机器学习算法有监督学习（Supervised learning）定义无监督学习（Unsupervised learning）定义线性回归（Linear regression）训练集标识符(training set)监督学习算法是如何工作的代价函数代价函数作用梯度下降梯度下降法用于线性回归吴恩达机器学习系列一什么是机器学习机器学习算法有监督学习（Supervised learning）定义无监督学习（Unsupervised learning）定义线性回归（Linear r
2020-11-15 09:51:33
3172
原创 Java语言基础四之异常处理
异常处理异常处理异常概述与异常体系结构``Error````Exception``异常体系结构异常的处理：抓抛模型异常处理机制一：``try-catch-finally``异常处理机制二：``throws``方法重写的规则如何选择两种异常处理机制手动抛出异常：``throw``用户自定义异常类异常处理异常概述与异常体系结构Java程序在执行过程中所发生的异常事件可分为两类：ErrorJava虚拟机都无法解决的严重问题，如：JVM系统内部错误、资源耗尽等严重情况。比如：StackOverflowEr
2020-11-15 09:40:50
110
原创 Java语言基础三之面向对象
面向对象面向对象（对象与类）万事万物皆对象类的成员面向过程与面向对象面向对象的三大特征：Java的基本元素：类和对象类的结构定义类属性和方法属性方法方法的使用构造方法（构造器）【类的成员之三】构造器初始化初始化顺序可变个数的形参方法参数的值传递机制（值传递）方法重载方法的重写抽象类和抽象方法（abstract）抽象类抽象方法``abstract``使用注意点模板方法的设计模式（TemplateMethod）接口接口的使用接口的应用：代理模式（Proxy）接口的应用：工厂模式工厂模式的分类Java8中接口的新
2020-11-15 09:39:26
1549
原创 Java语言基础二之Java基本语法
Java基本语法Java基本语法变量和运算符关键字和保留字标识符变量常量数据类型（四类八种）进制转换运算符输入输出读取输入输出文件的输入与输出程序流程控制条件语句循环语句大数值将普通数值转化为大数值大数值的运算比较大数值相等数组数组的概述获取数组的元素个数数组的内存解析：数组初始化以及匿名数组数组拷贝命令行参数数组排序将所有数组元素设置为一个值比较两个数组的大小输出数组信息二维数组初始化访问快速的打印二维数组的数据元素列表实际上没有多维数组，多维数组是数组的数组不规则数组Java基本语法变量和运算符关
2020-11-15 09:33:40
286
原创 Java语言基础一之Java概述
Java语言基础——Java概述Java概述什么是JavaJava的特点常用的DOS命令java开发环境JDKJRE注释Java概述什么是Javajava是一种编程语言和计算平台（在电脑中运行应用程序的环境【硬件环境和软件环境】）Java的特点Java是一门**面向对象**的编程语言Java摒弃了C++中难以理解的多继承、指针、内存管理，不需要手动管理对象的生命周期Java是一门静态语言，执行效率比动态语言高，速度更快Java具有平台独立性和可移植性（核心是JVM）J
2020-11-15 09:27:48
123
原创 使用NLTK进行英文文本的分词和统计词频
目录分词分词后词干提取和词形归一Stemming词干提取分词先将文档读入，然后全部变为小写 txt=open("English.txt","r").read() txt = txt.lower()#将英文全部变为小写中文分词需要专门的方法：英文分词就可以直接使用word_tokenize()进行分词text="This is a text for test.And I want to learn how to use nltk."words = nltk.word_token
2020-07-01 22:45:39
5833
1
原创 Python进行词频统计
基础python统计词频，未考虑到删除停用词# 词频统计def getText():#处理文件 txt=open("English.txt","r").read() txt = txt.lower()#将英文全部变为小写 for ch in '!"#$&*+,-./:;<=>?@[\\]^_{}|': txt = txt.replace(ch," ") return txtmyTxt = getText()words = myT
2020-06-29 21:08:16
8505
原创 美赛中学习NLP文本情感分析总结
目录前提数据清洗分词为什么要分词英文分词遇到的问题使用NLTK进行分词情感分析局限性后记前提文中基于的论文：《卷烟在线评论的文本情感分析》杨春晓，张鹤馨，黄家雯，万江平．卷烟在线评论的文本情感分析．中国烟草学报. http://kns.cnki.net/kcms/detail/11.2985.ts.20200121.1622.018.html美赛过去之后，2020年的B题即用到了这个知识，当时没有深入学习，现在从头学习一下NLP文本情感分析。（完全小白）论文中基于卷烟的文本评论提炼出有效的消费者体
2020-06-28 19:57:29
1047
原创 洛谷【动态规划3/4】区间与环形动态规划/树或图上的动态规划
目录P1880 石子合并P1880 石子合并#include<bits/stdc++.h>using namespace std;const int maxn = 210;int n;int a[maxn]; //每堆石子的个数 int dp[maxn][maxn];int sum[maxn];//前缀和数组 int main(){ scanf("%d",&n); fill(dp[0],dp[0]+maxn*maxn,0x3ffffff);//先计算最小得分
2020-06-23 21:22:44
307
原创 洛谷【动态规划1/2】基本动态规划、线性状态动态规划
目录P1434 滑雪P1002 过河卒P1434 滑雪#include<bits/stdc++.h>using namespace std;const int maxn = 110;int r,c; //行数列数 int a[maxn][maxn];int s[maxn][maxn];//记忆 int ans;int dis[4][2]={{0,1},{0,-1},{1,0},{-1,0}}; int dfs(int x,int y){ if(s[x][y]) return
2020-06-22 21:34:18
385
原创 洛谷【图论2-2】最短路
目录P1119P3371 单源最短路径使用Dijkstra的邻接表表示P1119题目：https://www.luogu.com.cn/problem/P1119#include<bits/stdc++.h>using namespace std;const int maxn = 300;int n,m;int a[maxn];int G[maxn][maxn];void Floyd(int k){ for(int i=0;i<n;i++){ for(int j=
2020-06-17 21:03:17
186
原创 刷题知识点总结（C++）
总结int型的范围int型的范围int的取值范围为: -231——231-1,即-2147483648——2147483647，如果题目中输入的整数不超过1,000,000,000都可以使用int型变量。
2020-06-14 23:28:36
680
原创 洛谷【数据结构1-2/4】二叉树/图
目录P4913 【深基16.例3】二叉树深度P1229 遍历问题P4913 【深基16.例3】二叉树深度#include<bits/stdc++.h>using namespace std;const int maxn = 100010;struct node{ int left,right;}tree[maxn]; int n,ans;void dfs(int id,int deep){ if(id == 0) return;//到达叶子结点返回 ans = max(
2020-06-13 21:23:14
353
原创 机试备考——刷题攻略
为了准备保研的机试，在学习完常见算法后，开始了刷题！看了一些大佬的心得分享，总结了一下。 在刷LeetCode的时候还要有一定的策略，比如按标签刷题，分为数组、字符串、链表、双指针、BFS/DFS，二叉树、二分法、分治法、回溯法、数学、栈、堆、队列等按类型集中刷，刷完后做笔记。 按标签刷完后，再补top100中没刷到的题。 接下来我总结了一下我依照上述策略刷题的题目和答案。...
2020-06-08 20:31:04
2519
原创 洛谷【算法1-5】贪心
目录P2240 部分背包问题P1803 区间贪心P1090 合并果子P2240 部分背包问题#include<bits/stdc++.h>using namespace std;const int maxn = 110; struct Co{ int m;//质量 int v;//价格 double price;//单价 }co[maxn];bool cmp(Co a , Co b){ return a.price>b.price;}int main(){
2020-06-08 20:30:47
300
原创 洛谷【算法1-7】搜索
P2392 kkksc03考前临时抱佛脚题目：https://www.luogu.com.cn/problem/P2392#include<bits/stdc++.h>using namespace std;const int maxn = 25;/* 枚举每道题交给哪边的脑子解决，找到两边时间较大值的最小值 */ int s[5];//每个科目的题目数量 int tim[maxn][5];//完成每道题的时间 int Left,Right,minn,ans;void d
2020-06-05 20:40:54
352
操作系统大作业，嗜睡的理发师，java代码+打包程序+屏录
2020-05-02
用python刷蓝桥杯试题的for循环超时问题
2020-04-06
TA创建的收藏夹 TA关注的收藏夹
TA关注的人