- 博客(42)
- 资源 (1)
- 收藏
- 关注
原创 DataWhale AI夏令营【大模型微调零代码数据流动详解】
import re# 读取Excel文件df = pd.read_excel('训练集-语文.xlsx')df.head(2)
2024-08-11 18:35:19
1269
原创 【机器翻译】基于术语词典干预的机器翻译挑战赛
赛题链接:https://challenge.xfyun.cn/topic/info?type=machine-translation-2024
2024-07-11 22:40:04
814
原创 动手学大模型应用开发--Chapter 02 提示词工程
本学习笔记为datawhale动手学大模型应用开发**提示学习(Prompt Learning)**是一个非常General的术语,可以理解为涉及到提示词的机器学习范式都算是提示学习。简单来说是通过一些方法编辑下游任务的输入,使其形式上模拟模型预训练过程使用的数据与任务。比如做情感分类任务时,监督学习的做法是输入“我今天考砸了”,模型输出分类的分数或分布,而提示学习的做法则是在“我今天考砸了”后拼接上自然语言描述“我感觉很_”,让模型生成后面的内容,再根据某种映射函数,将生成内容匹配到某一分类标签。
2024-04-20 20:57:47
630
原创 【已解决】Win Server 2012安装wireshark提示the visual c++ redistriutable installer failed with error 23
【已解决】Win Server 2012安装wireshark提示the visual c++ redistriutable installer failed with error 23
2022-09-07 17:43:49
7058
6
原创 【解决nvidia-smi】不是内部或外部命令,也不是可运行的程序 或批处理文件
文章目录问题描述一、报错原因二、解决方案1.直接将nvidia-smi.exe拖到cmd (Win+R-->cmd-->回车打开)2.添加环境变量问题描述想要查看GPU当前的状态,在cmd命令行工具输入nvidia-smi,出现【'nvidia-smi’不是内部或外部命令,也不是可运行的程序或批处理文件.】一、报错原因没有添加nvidia-smi.exe所在路径的环境变量二、解决方案1.直接将nvidia-smi.exe拖到cmd (Win+R–>cmd–>回车打开)
2022-05-20 16:55:20
18564
4
原创 解决Windows系统下,新建conda环境报错,envs目录为空的问题
文章目录一、问题描述二、解决步骤三、在Pycharm创建新的conda环境一、问题描述利用Anaconda Prompt和Pycharm的settings里的Python Interpreter创建conda的虚拟环境都报错,显示镜像源问题,查看envs目录,发现为空二、解决步骤示例:pandas 是基于NumPy 的一种工具,该工具是为了解决数据分析任务而创建的。先在cmd输入:conda config --remove-key channels再依次输入:conda config
2022-05-17 17:00:20
11974
7
原创 【Anaconda安装教程(保姆级别)】解决 failed to create anacoda menu,已能成功运行
文章目录前言一、安装步骤二、添加环境变量总结前言小小吐槽,电脑借给别人了,之前配置的环境都没了,Anaconda也没了,GPU也用不了,这里重新总结一些Anaconda的安装过程!我是先安装了Pycharm再安装Anaconda的。Anaconda和python对应的版本:https://blog.youkuaiyun.com/meenr/article/details/121453499如果版本不对,会出现 failed to create anacoda menu!个人电脑配置:Windows7,64
2022-05-17 16:20:02
1649
原创 python批量将png格式转换为jpg格式,并保存到新的文件夹
文章目录前言一、基本思路二、代码前言将后缀为png或者PNG的图像保存为jpg一、基本思路首先将图像的名称与后缀分开,然后给图像添加新的后缀,最后利用imwrite保存到新的文件夹下。二、代码代码如下(示例):#作者id:dream_me#作者昵称:是织梦者啊import osimport cv2import numpy as npfrom PIL import Imagefilepath = r"F:\photo"filename = os.listdir(filepat
2022-05-16 20:16:56
4189
1
原创 python将list按列存入csv
文章目录前言代码如下(示例)注意前言python画图调格式不方便,但是写代码的过程中忘记将数据存入csv了,这里list按列存入csv代码如下(示例)import csvfilePath = 'csv文件夹所处的位置,包含.csv'list1 = [1,2,3,4]list2 = [4,2,3,4]list3 = [5,6,7,4]list4 = [8,2,9,6]rows = zip(list1,list2,list3,list4)with open(filePath, "w")
2022-03-16 09:09:24
15354
28
原创 金融风控训练营--Task 06 学习赛:贷款违约预测 学习笔记
文章目录前言一、赛题理解1.1 实验环境1.2 理解题目1.3 数据信息1.4 评价指标二、探索性数据分析三、建模调参&模型融合四、学习思考与总结前言本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/activity/promotion/aicampfr一、赛题理解1.1 实验环境1.2 理解题目比赛要求参赛选手根据给定的数据集,建立模型,预测金融风险。赛题以预测金融风险为任务,数据来自某信贷
2021-12-15 09:05:07
385
原创 金融风控训练营--Task 05 模型融合 学习笔记
文章目录前言一、学习知识点概要二、学习内容2.1 Stacking2.2 Blending2.2.1 方式一2.2.2 方式二(Holdout交叉)2.3 Blending和Stacking的区别三、学习问题与解答3.1 简单平均3.2 加权平均四、学习思考与总结前言本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/activity/promotion/aicampfr一、学习知识点概要学习有哪些模型融合的
2021-12-13 09:25:49
1509
原创 金融风控训练营--Task 04 建模与调参 学习笔记
文章目录前言一、学习知识点概要二、学习内容2.1 逻辑回归模型2.2 树模型2.3 集成模型2.3.1 基于bagging思想的集成模型2.3.2 基于boosting思想的集成模型2.4 模型对比与性能评估2.4.1 逻辑回归2.4.2 决策树模型2.4.3 集成模型集成方法(ensemble method)2.4.4 模型评估方法2.5 模型调参2.5.1 贪心调参2.5.2 网格搜索2.5.3 贝叶斯调参三、学习问题与解答四、学习思考与总结前言本学习笔记为阿里云天池龙珠计划金融风控训练营的学
2021-12-11 20:49:41
555
原创 金融风控训练营--Task 03 特征工程 学习笔记
文章目录前言一、学习知识点概要二、学习内容2.1 数据预处理2.1.1 缺失值的填充2.1.2 时间格式处理2.1.3 对象类型特征转换到数值2.2 异常值处理2.2.1 基于3segama原则2.2.2 基于箱型图2.3 数据分箱2.3.1 固定宽度分箱2.3.2 分位数分箱2.4 特征交互2.4.1 特征和特征之间组合2.4.2 特征和特征之间衍生2.5 特征编码2.5.1 one-hot编码2.5.2 label-encode编码2.6 特征选择2.6.1 Filter:基于特征关系的筛选三、学习问题
2021-12-11 20:21:17
833
原创 金融风控训练营--Task 02 EDA探索性数据分析 学习笔记
文章目录前言一、学习知识点概要1.1 探索性数据分析(Exploratory Data Analysis,EDA)的目的二、学习内容2.1 数据总体了解2.1.1 读取数据集并了解数据集大小,原始特征维度2.1.2 通过info熟悉数据类型2.1.3 粗略查看数据集中各特征基本统计量2.2 缺失值和唯一值:2.2.1 查看数据缺失值情况2.2.2 查看唯一值特征情况2.3 深入数据-查看数据类型2.3.1 类别型数据2.3.2 数值型数据2.4 数据间相关关系2.4.1 特征和特征之间关系2.4.2 特征和
2021-12-11 19:05:05
1177
原创 金融风控训练营--Task 01 赛题理解 学习笔记
文章目录前言一、学习知识点概要1.1 赛题理解1.2 评价指标二、学习内容2.1 赛题流程三、学习问题与解答3.1 什么是脱敏四、学习思考与总结4.1 数据分析的流程:前言本学习笔记为阿里云天池龙珠计划金融风控训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/activity/promotion/aicampfr一、学习知识点概要1.1 赛题理解比赛要求参赛选手根据给定的数据集,建立模型,预测金融风险。赛题以预测金融风险为任务,数据来自某信
2021-12-11 16:06:58
1232
原创 SQL训练营--Task06:综合练习题-10道经典题目
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql文章目录前言数据集脚本习题及参考答案练习题1练习题2练习题3练习题4练习题5练习题6练习题7练习题8练习题9练习题10前言本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql数据集脚本创建数据表脚本:http:/
2021-11-28 20:21:02
679
原创 SQL训练营--Task05:SQL语句高阶应用--窗口函数等
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql文章目录前言习题及参考答案5.15.25.3前言本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql习题及参考答案5.1请说出针对本章中使用的product(商品)表执行如下 SELECT 语句所能得到的结果
2021-11-28 19:58:21
455
原创 SQL训练营--Task04:集合运算-表的加减法和join等
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql文章目录前言4.14.24.34.44.5前言本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql4.1找出 product 和 product2 中售价高于 500 的商品的基本信息。4.2借助对称差的实
2021-11-28 19:05:55
399
原创 SQL训练营--Task03:复杂查询方法-视图、子查询、函数等
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql文章目录前言1.第一部分练习题及答案练习题1练习题2练习题3练习题42.第二部分练习题及答案练习题5练习题6练习题7前言本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql1.第一部分练习题及答案练习题1创建
2021-11-24 20:37:32
483
原创 SQL训练营--Task02:SQL基础查询与排序
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql文章目录前言1.第一部分练习题及答案练习题1练习题2练习题3练习题42.第二部分练习题及答案练习题5练习题6练习题7前言本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql1.第一部分练习题及答案练习题1编写
2021-11-24 20:00:45
288
原创 SQL训练营--Task01:初识数据库与SQL
本笔记为阿里云天池龙珠计划SQL训练营的学习内容,链接为:https://tianchi.aliyun.com/specials/promotion/aicampsql文章目录前言一、初识数据库1.1 DBMS的种类1.2 RDBMS的常见系统结构二、初识 SQL2.1 概念介绍2.2 SQL的基本书写规则2.3 数据库的创建( CREATE DATABASE 语句)2.4 表的创建( CREATE TABLE 语句)2.5 命名规则2.6 数据类型的指定2.7 约束的设置2.8 表的删除和更新2.9
2021-11-24 19:20:49
918
原创 SQL语句using的用法
using等价于join操作中的on使用using必须满足如下两个条件:1. 查询必须是等值连接。2. 等值连接中的列必须具有相同的名称和数据类型。【举例】:此为牛客网SQL进阶第14题表examination_info(exam_id试卷ID, tag试卷类别, difficulty试卷难度, duration考试时长, release_time发布时间)如下:表exam_record(uid用户ID, exam_id试卷ID, start_time开始作答时间, submit_time.
2021-11-23 09:42:47
9198
1
原创 机器学习训练营--快来一起挖掘幸福感吧
文章目录前言一、赛题理解1.1 实验环境1.2 背景介绍1.3 数据信息1.4 评价指标二、探索性数据分析(EDA)& 特征工程2.1 为什么要做探索性数据分析2.2 探索性数据分析要看哪些数据,看什么2.3 数据预处理三、建模调参 & 模型融合四、参考文献前言本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/promotion/aicampml比赛链接:快来一起挖掘幸福感!友情提醒: 本人
2021-11-22 19:55:17
2174
1
原创 机器学习训练营-基于LightGBM的分类预测学习笔记
文章目录前言一、学习知识点概要二、学习内容2.1 LightGBM的应用及优缺点2.1.1 LightGBM的应用2.1.2 LightGBM的优缺点2.2 基于英雄联盟数据集的LightGBM分类实战Step1:下载数据集,导入库函数Step2:数据读取/载入Step3:数据信息简单查看Step4:可视化描述Step5:利用 LightGBM 进行训练与预测Step6: 利用 LightGBM 进行特征选择Step7: 通过调整参数获得更好的效果三、学习问题与解答3.1 drop函数的应用3.2 如何看直
2021-11-08 19:03:15
2107
原创 机器学习训练营-基于XGBoost的分类预测学习笔记
文章目录前言一、学习知识点概要二、学习内容1 XGBoost的应用及优缺点1.1 XGBoost的应用1.2 XGBoost的优缺点2 基于天气数据集的XGBoost分类实战2.1 目的:2.2 数据描述:2.3 代码流程Step1:函数库导入Step2:数据读取/载入Step3:处理异常值填补缺失值对于特征进行一些统计描述部分结果如下:Step4:可视化描述Step5:对离散变量进行编码Step6:利用 XGBoost 进行训练与预测Step7: 利用 XGBoost 进行特征选择Step8: 通过调整参
2021-11-02 14:43:11
1569
原创 机器学习训练营-基于逻辑回归的分类预测学习笔记
文章目录前言一、学习知识点概要二、学习内容1.逻辑回归的原理和优缺点2.测试样例3.基于鸢尾花(iris)数据集的逻辑回归分类实践三、学习问题与解答四、学习思考与总结前言大家好,接下来这里会记录机器学习的相关知识,算是自己的学习笔记,方便以后自查,也希望能帮到网友们了解机器学习的相关知识。本学习笔记为阿里云天池龙珠计划机器学习训练营的学习内容,学习链接为:https://tianchi.aliyun.com/specials/promotion/aicampml一、学习知识点概要了解逻辑回归
2021-10-26 16:28:14
622
原创 某外卖门店每日营业情况分析----Tableau实现可视化仪表盘
本项目最终效果如下图:文章目录前言一、项目背景二、分析过程1.需求分析2.数据理解2.建立指标体系3.设计展现形式4.报表开发三、数据展示四、总结前言参考戴师兄的教程,利用Tableau做了一个可视化报表视频链接:戴戴戴师兄一、项目背景基于某麻辣烫店铺的19-20年的营业数据,利用Tableau实现其每日营业数据仪表盘。二、分析过程1.需求分析某麻辣烫店铺想做一个每日营业数据报表,监控每日的营业额,也为日后优化规则做准备。业务部门想要通过报表知道这些问题:用户来源?广告投放情况?曝
2021-09-23 11:40:04
2730
3
原创 解决error: (-215) src.type() == (((0) & ((1 << 3) - 1)) + (((1)-1) << 3)) in function cv::threshold
问题描述:运行程序报错:cv2.error: C:\ci\opencv_1512688052760\work\modules\imgproc\src\thresh.cpp:1402: error: (-215) src.type() == (((0) & ((1 << 3) - 1)) + (((1)-1) << 3)) in function cv::threshold报错代码为:ret1, th1 = cv2.threshold(img, 0.5, 1, cv2.T
2021-08-05 10:24:29
610
原创 python实现批量将带有指定命名的图像复制、剪切到指定文件夹
文章目录前言一、学习这篇博客,你将获得二、代码总结前言最近在学习神经网络,需要划分训练样本,我想将训练图像和标签的命名保持一致,这就需要将总的目录下相同文件名的图像复制(剪切)到新的文件夹。以下是本篇文章正文内容,下面案例可供参考一、学习这篇博客,你将获得将指定后缀名或文件中具有相同字符的文件复制(剪切)到新的文件夹。二、代码代码如下(示例):本文将带有.jpg和.JPG后缀名的图像复制(剪切)到新的文件夹'''author:id:进击的小白媛备注:这是完整代码,可直接运行..
2021-07-25 11:42:16
2154
1
原创 python实现图像二值化,并保存到新的文件夹
文章目录前言一、什么是图像二值化?二、实现代码注意:前言给本科生留的课堂作业,如何用python实现图像二值化一、什么是图像二值化?图像二值化( Image Binarization)就是将图像上的像素点的灰度值设置为0或255,也就是将整个图像呈现出明显的黑白效果的过程。详细解释请翻书或自行百度二、实现代码代码如下(示例):'''author:id:进击的小白媛备注:这是完整代码,可直接运行编译环境:python3.6'''import osimport cv2i..
2021-07-14 19:25:40
4640
1
原创 解决使用python进行图像二值化后,保存的图像还是有除0,255以外的灰度值的问题
项目场景:最近使用python对JPEG格式的灰度图像进行二值化,二值化后的图像非0即255(255代表的是白色,0代表的是黑色,这也叫0-1图像,不过0-1图像无法显示出来,要乘以255才能显示出来,要不然保存的图像都是黑色的),但我调试的时候发现,我已经将图像二值化了,在代码中显示的图像矩阵只有0和255两个像素值,但重新读取保存的图像时,发现图像除了0和255还是有其他像素值存在。原因分析:原因是我在保存图片的时候的后缀名使用的是jpg格式和JPG格式,但是JPEG格式的图片是有损耗的,bm
2021-07-13 09:46:52
3734
5
原创 安装jupyter notebook以及将ipynb文件转换成py文件
安装jupyter notebook以及将ipynb文件转换成py文件前情提要:本人电脑已安装PyCharm Community Edition 2019.3.1 x64,python版本为3.6,已安装Anaconda。常规来说,安装了Anaconda时已经自动为你安装了Jupyter Notebook的,但我当时没有自动安装Jupyter Notebook,先告诉大家如何使用conda安装。在如下图输入先在这里输入cmd或者Anaconda Prompt接着在cmd窗口或Anaconda P
2021-06-03 16:42:07
991
1
原创 A `Concatenate` layer requires inputs with matching shapes except for the concat axis.
先说一下我的代码出现的错误:在运行Unet代码的过程中出现了如下问题:A Concatenate layer requires inputs with matching shapes except for the concat axis.Got inputs shapes:[(None,37,37,512),(None,36,36,512)]我运行unet代码实现细胞分割,但我的细胞图像大小不一,有的超过了512 * 512,有的只有450 * 300,所以我想把所有图像设置为300 * 300,放到u
2021-05-24 10:22:52
475
原创 torch对应的cuda版本及下载链接
torch对应cuda版本//torch对应cuda版本torch-1.4.0torch-1.4.0+cputorch-1.4.0+cu100torch-1.4.0+cu101torch-1.4.0+cu92torch-1.5.0torch-1.5.0+cputorch-1.5.0+cu101torch-1.5.0+cu102torch-1.5.0+cu92torch-1.6.0torch-1.6.0+cputorch-1.6.0+cu101torch-1.6.0+cu102
2021-05-07 16:27:51
12640
3
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人
RSS订阅