ziggybowie的博客

Datawhale AI夏令营第三期 task2 稍微改进

ziggybowie — Tue, 05 Aug 2025 21:18:31 +0800

本文介绍了一种基于大语言模型（LLM）和文档检索的财经研报问答系统优化方案。系统通过改进chunk策略、向量检索和提示工程，解决了图文混排、精准定位和问题多样化等挑战。关键优化包括：递归分块保留元数据、多路召回与重排策略、严格输出格式控制。在测试集上取得0.36493分（当前第一），评分维度涵盖文件名（25%）、页码（25%）和内容相似度（50%）。未来可进一步优化文档解析、引入多模态处理提升性能。目前仍面临格式输出不稳定、问题表达自由等挑战。

Datawhale AI夏令营大模型技术task3 稍稍提分

ziggybowie — Wed, 30 Jul 2025 20:43:03 +0800

本文介绍了模型优化过程中的关键改进点：通过完善单/多字段查询、时间推理、缺失值检测和单位换算等任务类型，并优化prompt设计，使模型能识别错误问题。同时将教师模型从Qwen3-32B换回8B以提升效率，最终得分65分。未来计划包括采用更优教师模型、改进缺失值处理方式，并引入text2sql和agent工具来增强问答对的准确性和多样性，解决当前模型在计算和跨行查询方面的不足。

Datawhale AI夏令营大模型技术task2

ziggybowie — Mon, 28 Jul 2025 08:27:09 +0800

摘要：本文提出了一种基于模型蒸馏和程序构造的表格问答生成方案。首先通过pandas处理表格数据，使用预设模板自动生成问题；然后调用教师模型（Qwen3-32B）生成高质量答案；最后构建结构化的SFT微调数据集。该方法确保了问题可控性和答案质量，在讯飞星辰平台微调后获得54分。但存在问题类型有限、无法多轮交互等局限，未来计划扩展为具备多工具集的问答Agent。技术栈包括pandas、Qwen-API和LoRA微调等。

重学PyTorch，粗略笔记（二）dataset，dataloader

ziggybowie — Tue, 16 Jul 2024 21:53:41 +0800

自定义的数据集类必须实现三个函数：initlen, 和getitemgetitem从数据集中给定的索引 idx 处加载并返回一个样本函数len返回我们数据集中的样本数。# # 下载 Fashion MNIST 数据集# # 解压 gz 文件# # 读取二进制文件并转换为 numpy 数组import os# 下载 Fashion MNIST 数据集# 解压 gz 文件# 读取二进制文件并转换为 numpy 数组# 保存 numpy 数组到文件# 加载保存的 numpy 数组。

读论文：# An Embarrassingly Easy but Strong Baseline for Nested Named Entity Recognition

ziggybowie — Mon, 15 Jul 2024 20:02:53 +0800

实体可以相互重叠，但不同的实体不能有交叉边界”的描述，这实际上是一种较为特殊的情况，它介于上述两种情况之间。在这种情况下，实体可以有部分重叠，但重叠的部分必须是完整包含的关系，即一个实体完全包含在另一个实体中，或者两个实体之间没有重叠，不允许出现两个实体边界交叉的情况。这种规则确保了实体边界的清晰性和一致性，避免了实体识别中的歧义。对于一个有n个标记的句子，有n(n+1)/2个有效跨度。

重学PyTorch，粗略笔记（一）

ziggybowie — Sun, 14 Jul 2024 20:57:57 +0800

很久之前学PyTorch记的笔记，顺手整理一下。

读论文：llm is not a good few shot ie solver，but a good reranker for Hard Samples（一）正文

ziggybowie — Thu, 11 Jul 2024 16:56:19 +0800

大模型是不是很好的少样本信息抽取解决方案

Bert入门-使用BERT（transformers库）对推特灾难文本二分类

ziggybowie — Sun, 07 Jul 2024 21:10:47 +0800

这个是二月份学习的，最近整理资料所以上传到博客备份一下数据在这里：https://www.kaggle.com/competitions/nlp-getting-started/data使用BERT（transformers库）对推特灾难文本二分类xxx着火了（灾难）火烧云像是燃烧的火焰（非灾难）

知识蒸馏（一）

ziggybowie — Tue, 16 Apr 2024 21:57:23 +0800

论文标题：Distilling the Knowledge in a Neural Network论文提出了一种新的模型压缩方法，在手写字识别（MNIST）数据集上取得了很好的效果可以通过将模型集合中的知识提炼成一个单一模型引入了一种新型的集合类型，由一个或多个完整模型和许多专家模型组成，这些专家模型学会了区分完整模型混淆的细粒度类别。与专家混合模型不同，这些专家模型可以快速并行训练。问题：大规模模型训练需要大数据集大算力但是在推理和部署时又要顾及到下游的小算力的设备。

# Contrastive Learning（对比学习）--CLIP笔记（一）

ziggybowie — Fri, 12 Apr 2024 22:20:54 +0800

CLIP是一种多模态预训练模型，由OpenAI在2021年提出，论文标题：Learning Transferable Visual Models From Natural Language Supervision （[论文有四十多页，作者做了超级多的实验，看李沐老师和朱老师的视频讲解也算是一次知识蒸馏（[by Hinton）了通过大量的图像-文本对进行训练，CLIP的核心思想是通过对比学习来训练模型。它将图像与文本配对，并尝试将它们映射到相同的特征空间中。

Visual and CNN 笔记

ziggybowie — Mon, 18 Mar 2024 13:34:00 +0800

visual and CNN 边缘检测比如对于6x6的灰度图像：构造3x3的filter(滤波器(卷积核)) 向右移动步长为1，直到边界，再回到起点，向下移动一步为什么可以做边缘检测：右侧4x4矩阵中间的白色区域就包含了6x6矩阵的垂直边缘可以用神经网络反向传播来训练出比较好的滤波器矩阵参数选择 padding 卷积后的输出矩阵大小公式：(n-f+1)x(n-f+1) 为了不让...

（自用笔记）RNN原理，Pytorch实现和使用RNN实现IMDB英文电影评价二分类

ziggybowie — Fri, 23 Feb 2024 13:34:00 +0800

循环神经网络记忆单元分类 RNN,GRU,LSTM 类别单向循环，双向循环多层单或双向叠加 delay：n帧输入输入网络，记忆单元先更新n步，这n步的输出先不要使得预测第一帧输出的时候不只看到了第一帧的输入(看到的上下文更宽) 优点/缺点：优点：每个时刻的权重共享，可以处理变长序列，模型大小与序列长度无关，计算量与序列长度呈线性增长，考虑历史信息，便于流式输出缺点：串行计算较慢，无...

(自用笔记)Word Embedding原理和Pytorch实现

ziggybowie — Thu, 22 Feb 2024 14:45:00 +0800

参考： (1)从Word Embedding到Bert模型—自然语言处理中的预训练技术发展史 - 知乎 (zhihu.com) (2)吴恩达深度学习 (3)deep_thoughts老师的原理和代码讲解：https://space.bilibili.com/373596439越是底层的特征越是所有不论什么领域的图像都会具备的比如边角线弧线等底层基础特征，越往上抽取出的特征越与手头任务相关。正因为...

C++多线程

ziggybowie — Fri, 10 Feb 2023 22:00:00 +0800

语言级别的多线程，优点是跨平台底层仍然是调用系统API(识别不同系统，调用不同的系统调用) 创建线程头文件thread thread的构造函数： thread() noexcept //构造线程对象，不执行任何任务 thread(thread&& _Other)noexcept//移动构造，将一个线程对象的资源所有权转移给新创建的线程对象，原来的线程对象不再代表线程 temp...

C++复健：运算符重载，实现string容器，实现string和vector的迭代器

ziggybowie — Sun, 29 Jan 2023 20:01:00 +0800

使得对象的运算像内置类型一样 a.operator+(b); 重载运算符的一些注意点：不能重载运算符操作基础数据类型：(1)重载运算符必须和用户定义的class类型一起使用(2)重载的运算符的参数至少有一个应该是一个类对象(或类对象的引用) int operator+(int x);//错误编译器做对象运算会调用对象的运算符重载函数，优先调用成员方法，若无则在全局作用查找合适的运算符...

Unix\Linux多线程复健（二）线程同步

ziggybowie — Wed, 25 Jan 2023 20:15:00 +0800

线程同步并非让线程并行，而是有先后的顺序执行，当有一个线程对内存操作时，其他线程不可以对这个内存地址操作线程之间的分工合作线程的优势之一：能够通过全局变量共享信息临界区：访问某一共享资源的代码片段，此段代码应为原子操作全局变量在共享内存中一个进程中有多个线程，共享全局变量，这是一件既有用又有些危险的特性需要线程同步来维护临界资源的安全性下面的程序中两个线程堆全局变量number进...

Unix\Linux多线程复健

ziggybowie — Sun, 22 Jan 2023 22:41:00 +0800

线程是程序中完成一个独立任务的完整执行序列(是一个可调度的实体) 一个进程可以包含多个线程查看指定进程的线程号： ps -Lf pid 进程是CPU分配资源的最小单位，线程是操作系统调度执行的最小单位分类：内核线程：切换由内核控制，当线程进行切换的时候，由用户态转化为内核态。切换完毕要从内核态返回用户态用户线程：用户级线程是指不需要内核支持而在用户程序中实现的线程，它的内核的切换是由用户...

git使用（复健 1 ）

ziggybowie — Mon, 16 Jan 2023 21:37:00 +0800

#ubuntu: sudo apt-get install git winodws https://git-scm.com/downloads 设置用户名和邮箱: $ git config --global user.name "Your Name" $ git config --global user.email "email@example.com" #global表示本机上所有git仓库...

进程间如何进行通信[IPC]（二）共享内存

ziggybowie — Fri, 15 Apr 2022 09:39:00 +0800

talk命令 talk使用socket进行通信，从键盘和socket接收数据，键盘的输入被复制到上半窗口，通过socket发出，同时通过socket读入的字符显示到下半窗口 select系统调用 #include #include #include int sele...

mqtt.js和python paho-mqtt，python编写通过mqtt服务器和网页之间收发数据的程序，将数据存入sqlite3数据库...

ziggybowie — Fri, 04 Mar 2022 11:16:00 +0800

mqtt mosquitto -v 8、修改配置文件，使其支持websocket协议，建立配置文件/etc/mosquitto/mosquitto.conf 把mosquitto源码目录下提供的默认配置文件复制到/etc/mosquitto目录 cp mosquitto.conf /etc/mosquitto cd /etc/mosquitto 然后，修改配置文件mosquitto.con...