<?xml version="1.0" encoding="utf-8" ?><rss version="2.0"><channel><title><![CDATA[butiful1的博客]]></title><description><![CDATA[]]></description><link>https://blog.youkuaiyun.com/butiful1</link><language>zh-cn</language><generator>https://blog.youkuaiyun.com/</generator><copyright><![CDATA[Copyright &copy; butiful1]]></copyright><item><title><![CDATA[deepseek+本地知识库]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/145756057</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/145756057</guid><author>butiful1</author><pubDate>Thu, 20 Feb 2025 16:16:24 +0800</pubDate><description><![CDATA[OLLAMA_MODELS ： 指定ollama模型的存放路径根据自己的需要配置一下环境变量，之后最好新开一个命令行窗口 ，或者重启一下主机，这样环境变量才会生效。备注:点击Model部分，通过ollama工具，接入那个模型，就选那个模型（根据自己的电脑性能，接入尺寸大小的模型）,复制命令；点击Model部分，通过ollama工具，接入那个模型，就选那个模型（根据自己的电脑性能，接入尺寸大小的模型）备注：只需要双击，启动ollama服务，进入cmd，直接输入ollama；1.2 ollama接入模型。]]></description><category></category></item><item><title><![CDATA[docker离线部署多模态大模型]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/143157763</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/143157763</guid><author>butiful1</author><pubDate>Tue, 22 Oct 2024 14:42:02 +0800</pubDate><description><![CDATA[部署多模态大模型（图生文）]]></description><category></category></item><item><title><![CDATA[训练微调部署Yi-VL-6B多模态]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/140150699</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/140150699</guid><author>butiful1</author><pubDate>Wed, 03 Jul 2024 14:20:43 +0800</pubDate><description><![CDATA[解决部署Yi-VL-6B多模态中，遇到的问题]]></description><category></category></item><item><title><![CDATA[转换doc为docx文件保存为txt并提取信息]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/121242115</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/121242115</guid><author>butiful1</author><pubDate>Wed, 10 Nov 2021 09:55:05 +0800</pubDate><description><![CDATA[-- coding: utf-8 --：
author:
time:
import os
import shutil
import win32com
import win32com.client
def data_():
# 读取数据文件修改文件后缀名统一文件格式，然后移动文件到新的文件夹中
path1 = r'metadata'
path2 = r'E:\data_project\data_docx'
path1_ls = os.listdir(path1)
path2_ls = []
path2_s =]]></description><category></category></item><item><title><![CDATA[顽强之PDF文件]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/119036062</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/119036062</guid><author>butiful1</author><pubDate>Fri, 23 Jul 2021 15:23:29 +0800</pubDate><description><![CDATA[一：这是我在解析读取ｐｄｆ文件时，遇到的困难，查阅好多资料，感觉必须在国外网才能找到ａｎｓ
具体是在循环读取页面文件——这个函数 pdfminer.get_pages 时，您会收到以下异常：
Traceback (most recent call last):
File “E:/process_PDF_1.0/AnalysisFIle_Value.py”, line 101, in 
parse()
File “E:/process_PDF_1.0/AnalysisFIle_Value.py”, line ]]></description><category></category></item><item><title><![CDATA[Ner_野战经验]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/118891742</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/118891742</guid><author>butiful1</author><pubDate>Mon, 19 Jul 2021 11:18:41 +0800</pubDate><description><![CDATA[一、Ner任务——实验原理
1、定义{五大类}[BMEO]
1、Ner本质是序列标注，标出他们的类别【实体分类任务】：
      1、不考虑实体类型，有四个标签{BMEO}

      ## 1、确定实体的类型：

           一边标注一般是类别(人名、地名、组织机构，时间日期、专有名词)
           
           训练一个判别器，输入一个字，输出该字的类别
      
      ## 2、实体的边界识别
           1、并不是说“张”这个字一定代表实体词首，]]></description><category></category></item><item><title><![CDATA[CNN原理与结构分析]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/115348435</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/115348435</guid><author>butiful1</author><pubDate>Wed, 31 Mar 2021 13:47:52 +0800</pubDate><description><![CDATA[卷积层的刨析：
对局部卷积神经元的计算方法：
卷积层使用***卷积核***进行局部感知。卷积核一般以随机小数矩阵的形式初始化。例如：原输入一个32×32×3的RGB
图经过一层5×5×3的卷积后变成了一个28×28×1的特征图，那么输入层共有32×32×3=3072个神经元，
第一层隐层会有28×28=784个神经元，这784个神经元对原输入层的神经元只是局部连接。
卷积核一般以随机小数矩阵的形式初始化。
权值计算以及权值共享
权值共享可以减少很多不相干的参数量的计算，可以节约计算资源。例如：隐层中有好多神]]></description><category></category></item><item><title><![CDATA[卷积层详细刨析]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/115200878</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/115200878</guid><author>butiful1</author><pubDate>Thu, 25 Mar 2021 10:47:52 +0800</pubDate><description><![CDATA[卷积层的刨析：
局部感知：
卷积层使用***卷积核**进行局部感知。原输入一个32×32×3的RGB图经过一层5×5×3的卷积后变成了一个28×28×1的特征图，那么输入层共
32×32×3=3072个神经元，第一层隐层会有28×28=784个神经元，这784个神经元对原输入层的神经元只是局部连接。
卷积核一般以随机小数矩阵的形式初始化。
权值共享以及权值计算
权值共享可以减少很多不相干的参数量的计算，可以节约计算资源。例如：隐层中有好多神经元，每个神经元1010的连接个参数量，实际就是每个神经元的参数向量]]></description><category></category></item><item><title><![CDATA[全连接层和卷积层相互转换]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114841998</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114841998</guid><author>butiful1</author><pubDate>Mon, 15 Mar 2021 17:31:41 +0800</pubDate><description><![CDATA[全连接层和卷积层实际上是可以相互转换的
1、卷积层替换全连接层的可行性
*、卷积层是局部连接
*、它的特点是稀疏连接和权值共享，
*、全连接是全局信息
2、全连接层到卷积层的转换
、卷积核大小和输入特征图尺寸相同
、保证卷积后运算结果和之前全连接是一样的
转换方法：
通常这种做法是用全局池化（global_pool）和1X1的卷积核实现的，全局池化是不需要设置filter，无论特征图多大都只保留一个。假设batch-size是1，最后的卷积层输出大小是5X5，通道数是512，那么接一个全局池化后卷积层的输出]]></description><category></category></item><item><title><![CDATA[最大池化与平均池化区别]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114822630</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114822630</guid><author>butiful1</author><pubDate>Mon, 15 Mar 2021 11:06:19 +0800</pubDate><description><![CDATA[最大池化层：
、计算最大值和记录最大值所在输入数据中的位置
、缩减模型的大小
、提高计算速度
、减少无用信息的影响
、提高所提取特征的鲁棒性(最大值)
计算池化层
卷积层输出大小的公式同样适用于最大池化，(n+2p-f)/s+1
（input_width  +  2*padding  -  pool_size）/stride+1
平均池化与最大池化区别：
前向传播中计算pool区域内的最大值并记录该最大值所在输入数据中的位置，为了在反向传播中，需要把梯度值传到对应最大值的位置置。而且反向传播也就是把梯度值直]]></description><category></category></item><item><title><![CDATA[为什么使用全局平均池化层？]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114810029</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114810029</guid><author>butiful1</author><pubDate>Sun, 14 Mar 2021 23:49:29 +0800</pubDate><description><![CDATA[为什么使用全局平均池化层？
1、全连接层：
、全连接网络可以使feature map的维度减少，进而输入到softmax
、全连接层的参数超多
、会造成过拟合
、模型本身变得非常臃肿
2、全局平均池化层(global average poolilng)[GAP]：
、直接实现了降维
、极大地减少了网络的参数
、对整个网路在结构上做正则化防止过拟合，直接赋予了每个channel实际的内别意义
、gap可能会造成收敛速度减慢
3、为什么会收敛速度变慢?以及对模型训练有什么差异？
、全连接层结构的模型对于训练学习]]></description><category></category></item><item><title><![CDATA[一般选取卷积神经网络的倒数第二层的输出作为特征？]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114697650</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114697650</guid><author>butiful1</author><pubDate>Fri, 12 Mar 2021 15:37:44 +0800</pubDate><description><![CDATA[为何一般选取卷积神经网络的倒数第二层的输出作为特征？
     最后一个全连接层的输出维度，在设计时是和训练样本的类别数一致的。比如你的训练样本有2622类，那么在设计最后的分类器时要有2622个输入，则最后一个全连接层的输出也是2622维的。这样，最后一个全连接层的输出维度就和训练样本有了密切的关系，因此把它作为最后的特征显然不合适

神经网络最后一层全连接+Softmax的理解？
全连接的目的是什么呢？
因为传统的端到到的卷积神经网络的输出都是分类，也就是几个类别的概率，那么全连接层就是高度提纯的特征了]]></description><category></category></item><item><title><![CDATA[编解码器如何处理长句子编码问题]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114668074</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114668074</guid><author>butiful1</author><pubDate>Thu, 11 Mar 2021 15:22:27 +0800</pubDate><description><![CDATA[统计机器翻译——&gt;神经机器翻译——编解码器如何处理长句子？基于短语的传统方法：
1、神经机器编解码器，始终是先把输入的句子序列处理成一个固定长度的向量。这其中暴露的问题，
其一，要把源句子所包含的信息压缩成固定长度的向量，而且是很多长句子，可能比语料库中的句子多——长句子的灾难问题
其二，如果语料库中长句子没有得到很好的训练，第一性能与速度问题，第二神经网络也是很难处理长句子的
解决办法：
引入一个自动扩展的编码器-解码器模型学习共同调整和翻译每次提出的模型在翻译中生成一个词，
它(软-)搜索源句中最]]></description><category></category></item><item><title><![CDATA[attention权重解读]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114641417</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114641417</guid><author>butiful1</author><pubDate>Wed, 10 Mar 2021 17:37:40 +0800</pubDate><description><![CDATA[Attention机制：
1. Attention用于计算"相关程度", 例如在翻译过程中，不同的英文对中文的依赖程度不同
2. Attention通常可以进行如下描述，表示为将query(Q)和key-value pairs[公式] 映射到输出上
3. 其中query、每个key、每个value都是向量，输出是V中所有values的加权，其中权重是由Query和每个key计算出来的，计算方法分为三步：**
第一步：计算比较Q和K的相似度，用f来表示
点乘 dot product       f(Q,K) ]]></description><category></category></item><item><title><![CDATA[一句话理解bert与milvus实战]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114278551</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114278551</guid><author>butiful1</author><pubDate>Tue, 02 Mar 2021 10:33:46 +0800</pubDate><description><![CDATA[首先，本文项目使用开源的 bert-as-service ，使用 BERT 做为句子编码器，将新闻标题数据转化为固定长度为 728 维的特征向量，并导入 Milvus 库。
然后，对存入 Milvus 库中的特征向量进行存储并建立索引，同时 Milvus 会给这些特征向量分配一个 ID，将 ID 和对应的新闻标题和文本存储在 PostgreSQL 中。
最后，用户输入一个新闻标题，BERT 将其转成特征向量。Milvus 对特征向量进行相似度检索，得到相似的新闻标题的 ID ，在 PostgreSQL  中]]></description><category></category></item><item><title><![CDATA[问答系统数据预处理（源码）]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114240986</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114240986</guid><author>butiful1</author><pubDate>Sun, 28 Feb 2021 22:09:28 +0800</pubDate><description><![CDATA[搭建问答系统的步骤：
一 . 首先对问答库进行拆分，将文本分别拆分为问题库和答案库
源码：
import json
from matplotlib import pyplot as plt
import re
import string
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from nltk.stem.porter import PorterStemmer
from skl]]></description><category></category></item><item><title><![CDATA[用docker安装milvus]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/114078074</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/114078074</guid><author>butiful1</author><pubDate>Thu, 25 Feb 2021 13:46:00 +0800</pubDate><description><![CDATA[milvus词向量库的概念：（Facebook的Faiss）
milvus可以在海量向量库中快速检索到和目标向量相似的若干个向量。
相似度：内积或是欧式等都可以
milvus优势：
1.多平台通用，mac，windows和linux都是支持的，因为milvus可以通过docker部署，因此平台通用性好了不少
2.支持编程语言多，Java，c，c++和python都支持
3.在速度方面不差Faiss
4.milvus在第一次search时速度会慢
5.milvus的向量格式不支持numpy，要用列表的形式存储]]></description><category></category></item><item><title><![CDATA[迁移学习]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/113942332</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/113942332</guid><author>butiful1</author><pubDate>Mon, 22 Feb 2021 16:21:15 +0800</pubDate><description><![CDATA[迁移学习：
对于迁移学习，我们可以使用Google 发布的Inception或VGG16这样成熟的物品分类的网络，只训练最后的softmax层，你只需要改几千张图片，使用普通的CPU就能完成，而且模型的准确性不差。
迁移学习的方法：
**1.对整个网络进行微调，**假设你义训练好了识别猫品种的神经网络，你的网络能识别50种猫按品种进行分类，接下来你想对网络进行升级1.0简单版本，2.0版本通过对其它层的权重固定，只训练一层这样的逐层训练，可以更好的完成上述任务
**2.借用网络的结构，**不是使用已训练好的]]></description><category></category></item><item><title><![CDATA[tf.placeholder函数的意义]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/113887783</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/113887783</guid><author>butiful1</author><pubDate>Sat, 20 Feb 2021 17:27:57 +0800</pubDate><description><![CDATA[语法结构为：
tf.placeholder( dtype, shape=None, name )
具体函数分析：
dtype是数据类型，常用的如tf.float32等;
shape是数据的形状，默认None是一维值，也可多维如【3,3】，若看到【2，None】表示2行，列无要求;
name是数据名称，可不写
函数的作用：
减少产生的op，进而减少graph的开销。
具体原理是：
因为每一个tensor值在graph上都是一个op，当我们将train数据分成一个个minibatch然后传入网络进行训练时，每一]]></description><category></category></item><item><title><![CDATA[生成清晰图像]]></title><link>https://blog.youkuaiyun.com/butiful1/article/details/113875919</link><guid>https://blog.youkuaiyun.com/butiful1/article/details/113875919</guid><author>butiful1</author><pubDate>Sat, 20 Feb 2021 08:54:18 +0800</pubDate><description><![CDATA[生成清新图像：(attention is really becoming   [all you need])
1.利用卷积，提取清晰图像的像素
2.华人博士生首次尝试用两个Transformer构建一个GAN
构建一个GAN,又称为TransGAN
特点：GAN,训练本身具有较高的不稳定性
transformer编译器为基础块，并尽量最小程度的改变。编码器有两部件组成。
第一部件：多头自注意力模块构成
第二部件：GELU非线性的前馈  MLP(多层感知器)
#在两个部件之前均使用归一化，残差连接
内存友好的]]></description><category></category></item></channel></rss>