- 博客(159)
- 收藏
- 关注
RSS订阅原创 大模型中的Tokenizer
其核心思想是通过迭代合并高频出现的相邻字符对（或子词），逐步构建词汇表。大型语言模型（LLMs）的分词（Tokenization）方法直接影响模型对文本的理解和生成能力。SentencePiece 是一个强大的子词分词库，支持 BPE 和 Unigram 算法，能够直接处理原始文本（无需预分词），适合多语言任务。工作原理: WordPiece从单个字符开始，迭代地合并score最高的字符对或子词对，以构建新的更长的子词，直到达到指定的词汇表大小。合并高频对：将最高频的字符对合并为一个新的子词，加入词汇表。
2025-02-17 19:09:41
330
原创 nms_cuda详解
此篇为PyTorch 自定义算子：复现CPU和CUDA版的二维卷积的代码详解这篇是为了展示setup在构建简单的cpp算子的使用1.环境配置整体结构如下图所示,架构和之前一样。
2024-10-13 11:35:14
1226
1
原创 从零开始dataset
目标检测的dataset首先我们需要先将数据集做一个整理的txt,文件叫做ann.txt吧首先是图片路径,xmin,ymin,xmax,ymax,类别最简单的dataset就构造出来了import numpy as npfrom torch.utils.data import Datasetfrom PIL import Imageclass MyDataSet(Dataset): # 初始化 def __init__(self,annotations_file):
2022-03-28 14:53:20
540
原创 数据集转换
最近用到json格式数据集转成voc歌手，记录一下。coco转voc可在下面代码改动即可import os, sysimport globfrom PIL import Imageimport jsonimport cv2import randomout_xml_dir = 'xml/Annotations/' ###指向voc数据集的Annotations文件夹import pycocotools.coco as coco# (x1,y1,w,h)json_file = '..
2022-03-11 10:11:56
3811
原创 FasterRCNN_dataloader
本文代码来自于https://github.com/bubbliiiing/faster-rcnn-pytorch,b站视频https://www.bilibili.com/video/BV1BK41157Vs?p=1,本文仅作学习使用1.数据集划分加载的数据集为VOC2007,对其进行划分，(train+val):(test). ,训练只需要2007_train.txt and 2007_val.txtvoc_annotation.pyimport osimport randomimp.
2022-01-16 17:12:56
1771
原创 FasterRCNN_rpn
FasterRCNN整体的网络构造class FasterRCNN(nn.Module): def __init__(self, num_classes, mode = "training", feat_stride = 16, anchor_scales = [8, 16, 32], ratios = [0.5, 1, 2],.
2022-01-16 17:11:54
2314
原创 RCNN代码简单实现
本文代码来自于github(https://github.com/1297rohit/RCNN),可以去给原作者点个????，源代码使用了kears，现在主要使用pytorch实现了一遍。首先看RCNN需要做什么如上图所示，R-CNN这个物体检查系统可以大致分为四步进行：获取输入图像提取约2000个候选区域将候选区域分别输入CNN网络（这里需要将候选图片进行缩放）将CNN的输出输入SVM中进行类别的判定如果IOU后，候选框保留，在图片上标注本文语言使用pytorch1.输入和输
2022-01-12 21:51:14
10616
16
原创 dataset记录
dataset和TensorDataset，以及自定义dataset的使用import torchfrom torch.utils.data import Dataset,TensorDataset,DataLoaderimport numpy as npx=np.random.rand(10,2)y=np.random.rand(10,1)print(x.shape,y.shape)# 转成numpytrainx=torch.from_numpy(x)trainy=torch.
2022-01-12 12:36:24
454
原创 Pytorch1全连接网络
import pandas as pdfrom sklearn.model_selection import train_test_splitimport numpy as npimport torchimport torch.nn as nnfrom torch.optim import SGD,Adamfrom torchviz import make_dotimport torch.utils.data as Dataimport hiddenlayer as hlfrom skle
2021-04-25 20:40:29
288
原创 SSM配置文件
SSM整合结构概览web.xml<?xml version="1.0" encoding="UTF-8"?><web-app xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns="http://java.sun.com/xml/ns/javaee" xsi:schemaLocation="http://java.sun.com/xml/ns/javaee
2020-05-17 20:48:19
441
原创 Vue笔记
文章目录Vue.js安装与使用声明式渲染vue的各种属性v-bindv-ifv-elsev-forv-onv-model计算属性计算器实例点击某一文本变色组件化Vue项目Vue.jsVue (读音 /vjuː/，类似于 view) 是一套用于构建用户界面的渐进式框架。与其它大型框架不同的是，Vue 被设计为可以自底向上逐层应用。Vue 的核心库只关注视图层，不仅易于上手，还便于与第三方库或既...
2020-05-02 00:21:37
460
原创 Gin
Gin快速入门Gin文档快速入门package mainimport "github.com/gin-gonic/gin"func main() { r := gin.Default() r.GET("/ping", func(c *gin.Context) { c.JSON(200, gin.H{ "message": "pong", }) }) r.Run(...
2020-04-18 08:42:31
243
原创 axios无法访问springboot的问题
问题: html中引入axios,但是接受springboot返回的数据，显示跨域问题。在Springboot中新建一个类package com.example.demo.controller;import org.springframework.stereotype.Component;import org.springframework.web.servlet.config.an...
2020-04-04 11:18:43
568
原创 Springboot基础
文章目录Springboot基础快速开始thymeleaf数据库JDBCSpringboot基础Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。该框架使用了特定的方式来进行配置，从而使开发人员不再需要定义样板化的配置。通过这种方式，Spring Boot致力于在蓬勃发展的快速应用开发领域(rapid applicati...
2020-03-29 17:46:18
262
原创 Springmvc基础
文章目录springmvc配置注解springmvcSpring MVC属于SpringFrameWork的后续产品，已经融合在Spring Web Flow里面。Spring 框架提供了构建 Web 应用程序的全功能 MVC 模块。使用 Spring 可插入的 MVC 架构，从而在使用Spring进行WEB开发时，可以选择使用Spring的Spring MVC框架或集成其他MVC开发框架，...
2020-03-27 20:47:30
199
原创 Spring基础配置概述
概述Spring框架是由于软件开发的复杂性而创建的。Spring使用的是基本的JavaBean来完成以前只可能由EJB完成的事情。然而，Spring的用途不仅仅限于服务器端的开发。从简单性、可测试性和松耦合性角度而言，绝大部分Java应用都可以从Spring中受益。Spring是一个轻量级的控制反转(IoC)和面向切面(AOP)的容器框架。1、 IOC控制反转（Inversion o...
2020-03-23 20:29:02
129
原创 ElasticSearch基础
这是一个用kibana的查询例子转载：Kibana操作ES使用Java操作Esaticsearchpom.xml <dependencies> <dependency> <groupId>junit</groupId> <artifactId>junit</artifactId> <vers...
2020-03-23 19:22:31
128
原创 mybatis基础
mybatis简介mybatis:MyBatis 本是apache的一个开源项目iBatis, 2010年这个项目由apache software foundation 迁移到了google code，并且改名为MyBatis 。2013年11月迁移到Github。MyBatis 是一款优秀的持久层框架，它支持定制化 SQL、存储过程以及高级映射。MyBatis 避免了几乎所有的 JDB...
2020-02-20 21:04:52
192
原创 Struts2的基本介绍
Struts2的介绍Struts2的配置struts2的配置需要一个struts.xml的配置文件，这个文件放在src的包下。因为struts2是基于前端控制器模型的，所以我们还需要配置一个核心过滤器（也叫前端控制器）,用以将各个请求分发到action去处理.web项目结构图先创建一个test.jsp <h1>struts2</h1> <a href...
2020-01-08 17:42:34
356
原创 Hibernate入门
Hibernate入门Hiberate需要2个配置文件，一个是核心配置文件，一个是关于实体类的配置文件。项目目录结构关于实体类的配置文件首先是实体类Userpackage com.test;//time:2019年12月29日下午public class User { private int uid; private String code; private Stri...
2019-12-29 15:56:46
140
原创 lq-数的读法
代码取自https://blog.youkuaiyun.com/qq_38790716/article/details/88391595。一道模拟题，可以一位一位去处理。问题描述 Tom教授正在给研究生讲授一门关于基因的课程，有一件事情让他颇为头疼：一条染色体上有成千上万个碱基对，它们从0开始编号，到几百万，几千万，甚至上亿。 比如说，在对学生讲解第1234567009号位置上的碱基时，光...
2019-11-02 16:37:37
402
原创 命令行选项_java
试题编号： 201403-3 试题名称： 命令行选项 时间限制： 1.0s 内存限制： 256.0MB 问题描述： 问题描述 请你写一个命令行分析程序,用以分析给定的命令行里包含哪些选项。每个命令行由若干个字符串组成,它们之间恰好由一个空格分隔。这些字符串中的第一个为该命令行工具的名字,由小写字母组成,你的程序不用对它进...
2019-09-12 09:40:17
366
原创 201312-3最大的矩形
试题编号： 201312-3 试题名称： 最大的矩形 时间限制： 1.0s 内存限制： 256.0MB 问题描述： 问题描述 在横轴上放了n个相邻的矩形，每个矩形的宽度是1，而第i（1 ≤ i ≤ n）个矩形的高度是hi。这n个矩形构成了一个直方图。例如，下图中六个矩形的高度就分别是3, 1, 6, 5, 2, 3。 ...
2019-09-08 15:47:18
132
原创 android调用相机
xml文件：<?xml version="1.0" encoding="utf-8"?><LinearLayout xmlns:android="http://schemas.android.com/apk/res/android" android:orientation="vertical" android:layout_width="match_parent"...
2019-08-19 18:06:35
424
2
原创 资源分配类动态规划
资源分配(链接)资源分配问题就是将一定数量的一种或若干种资源（原材料、资金、设备等）合理分配给若干使用者，使得资源分配后总结果最优。一种资源的分配问题称为一维资源分配问题，两种资源的分配问题称为二维资源分配问题。假设有一种资源，数量为a，将其分配给n个使用者，分配给第 i 个使用者数量 xi 时，相应的收益为gi（xi） . 问如何分配使得总收入最大？这就是一维资源分配问题，该问题的...
2019-08-06 18:14:49
4636
1
原创 动态规划总结
随着时间增长，自己也刷了不少dp的题目，在此整理一下，同时做一个分门别类，以便于以后查看。dp在维度上可分为一维dp，二维dp和多维dp。一维，二维较为常见。dp在类型上可分为：线性dp，资源类dp，背包问题，区间dp，树形dp。目录：线性dp 背包问题 资源类dp 区间dp 树形dp 多进程dp（方格取数）这些是暂时整理的分类。一、线性dp 1.最长上...
2019-08-04 21:30:07
292
原创 关系模式分解
关系模式的分解无损分解：对关系模式分解时，原关系模式的任何一个合法的关系值在分解之后应该能通过自然连接运算恢复起来，这就是无损连接所要解决的问题。例1：设有关系模式R(ABC),分解成ρ={AB,AC}。2.无损分解的测试方法输入：关系模式R(A1,A2,A3.....,An),他的函数依赖集F以及分解ρ={R1,R2,R3......Rk}.算法（检验无损分解）：...
2019-06-19 18:00:00
13036
原创 区间DP
一.区间dp顾名思义：区间dp就是在区间上进行动态规划，求解一段区间上的最优解。主要是通过合并小区间的 最优解进而得出整个大区间上最优解的dp算法。写法主要有记忆化搜索和递推的形式.例题：矩阵连乘最优给定n个矩阵：A1,A2,...,An，其中Ai与Ai+1是可乘的，i=1，2...，n-1。确定计算矩阵连乘积的计算次序，使得依此次序计算矩阵连乘积需要的数乘次数最少。输入数据为矩阵...
2019-06-13 09:37:50
621
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人