- 博客(127)
- 收藏
- 关注
RSS订阅原创 【第15篇】参赛心得分享之答辩技巧篇
本文分享了2025年羊城工匠杯nl2sql比赛的答辩技巧。针对高校评委的关注点，建议汇报材料应突出理论落地价值和团队协作，避免技术参数堆砌。具体策略包括：用"痛点-方案-价值"逻辑阐述创新点，通过图表简化复杂流程，展示数据支撑的实用效果（如准确率提升30%、成本降低4倍）。同时，用时间轴图表呈现团队分工，体现协作系统性。在12分钟的答辩中，应精简文字，用可视化方式快速传递核心信息，如用二分流程图展示"双轨处理流程"。最后可用简短口号强化团队专业形象。
2025-10-31 07:31:33
1019
原创 【番外篇4】评估NL2SQL的微调数据集效果
本文评估了不同嵌入模型在NL2SQL任务中的表现。分别测试了阿里云text-embedding-v4、原生qwen3-embedding-0.6b模型和Lora微调后的qwen3-embedding-0.6b模型在267条样本上的命中率。结果显示：阿里云模型命中率33.7%，原生模型33.3%，而经过Lora微调后的模型命中率大幅提升至91%。实验证明，即使使用0.6b的小型嵌入模型，通过针对性微调也能显著提升性能。评估工具和数据集均参考了相关技术文档和开源项目。
2025-10-31 07:30:58
278
原创 【第14篇】参赛心得分享之实操技巧篇
本文分享了参加2025年羊城工匠杯nl2sql比赛的实操技巧。主要内容包括：1）重视官方答疑会获取关键规则细节，如Token成本计算方式，避免失分；2）优化提示词结构，采用"表结构说明+SQL示例+提问可能"三部分，将SQL错误率从15%降至3%；3）通过嵌入模型、关键字匹配和重排序模型联调提升表匹配准确率；4）赛前固化"问题拆分-分层处理-结果合并-质量核查"四步流程，经过3次演练优化，确保初赛800问题高效处理。这些技巧帮助团队在初赛从容应对，按时完成高质量提交。
2025-10-29 21:09:39
906
原创 【第13篇】参赛心得分享之工具篇
本文分享了2025年羊城工匠杯nl2sql比赛的参赛心得，重点介绍了工具使用方面的经验。通过VS Code连接WSL搭建开发环境，使用DBeaver快速理解16张数据库表结构。在算法开发中，借助大模型辅助编程，将需求拆解后快速生成代码，2天内完成Baseline搭建。比赛中充分利用三类工具：评估工具验证SQL质量、标注工具高效处理新问题、检核工具确保结果正确性，最终SQL语法有效性从90%提升至98%。这些方法有效提升了比赛效率和质量。
2025-10-29 07:43:00
848
原创 【第12篇】参赛心得分享之协作篇
本文分享了参加2025年羊城工匠杯nl2sql比赛的团队协作经验。团队组建时注重"能力互补"和成员主动性，5人分工明确：1人负责大模型调优算法设计，1人专攻SQL测试验证，1人主导代码开发，2人承担PPT制作和演讲任务。比赛过程中，团队成员既各司其职又紧密配合，通过实时沟通和协同工作，在紧张的比赛时限内高效完成了从方案设计到结果提交的全流程任务，体现了"能力互补+主动协作"模式的优势。
2025-10-28 07:42:23
273
原创 【番外篇3】NL2SQL的微调数据集准备工作
本文介绍了NL2SQL微调数据集的准备工作。重点讲解了samples.jsonl文件建立自然语言问题与数据库表的关联方法，以及通过sql_output文件夹进行向量化处理的步骤。详细说明了build_training_ds.py程序生成training_dataset.jsonl文件的格式，该文件包含正负样本标注数据，每个问题配有1个正样本和19个负样本。这些数据将用于后续的LORA微调项目处理。相关代码和资源可参考给出的Gitee项目链接。
2025-10-28 07:41:38
332
原创 【第11篇】参赛心得分享之心态篇
摘要：本文分享了2025年羊城工匠杯nl2sql比赛的参赛心得。赛前团队通过充分准备（离线环境搭建等）缓解技术焦虑，将目标定为技术提升而非名次；赛中针对初赛和决赛不同特点灵活调整策略，决赛时优先处理简单题保证准确率；赛后重点反思资源利用不足和算法单一问题，并总结决赛现场策略失误等经验教训。全文展现了技术竞赛中"准备-执行-复盘"的完整闭环思维。（149字）
2025-10-27 13:15:00
662
原创 【实用工具】用python写一个JSON文件去重程序
本文介绍了两种使用Python实现JSON文件去重的方法：1) 基于OrderedDict的纯Python实现，通过读取源文件逐行处理并保留指定字段最后一次出现的记录；2) 使用Pandas库的方法，利用DataFrame的drop_duplicates函数实现去重。两种方法都支持命令行参数(--src源文件、--des目标文件、--col去重字段)，能处理JSONL格式文件(每行一个JSON对象)，保持原始顺序且保留最后一次出现的记录。第一种方法适合轻量级处理，第二种方法借助Pandas更简洁高效。两种方
2025-10-25 12:26:18
289
原创 【第10篇】质量检核工具
本文介绍了2025年羊城工匠杯nl2sql比赛中使用的三个质量检核工具：1）check_dataset.py用于提取并执行指定ID的SQL脚本，直接显示查询结果；2）check_jsonl.py检查json文件格式和ID号一致性；3）check_resultsql.py验证SQL可执行性，将错误SQL记录到问题集文件。这些工具可有效提升比赛过程中的效率和质量控制，特别是确保SQL脚本的可执行性以获得更高评分。
2025-10-24 07:41:05
257
原创 【第9篇】问题标注工具
本文介绍了大模型问题标注工具的使用流程和方法。该系统通过多步骤协同处理：首先扫描问题集并分类（匹配模板的旧问题和无模板的新问题），然后对新问题构建人工确认清单，通过人工或高配大模型生成SQL脚本。验证通过后合并至样本库并重建向量库，未通过则修正SQL或补充模板。文章详细说明了5个核心工具程序的功能和使用方法，包括scan_question.py扫描分类、eval_question2sql.py统计模板、build_checklist.py构建确认清单等，形成完整的问题标注闭环处理流程。该工具适用于团队协作高
2025-10-24 07:36:04
924
原创 【番外篇2】调用本地的Qwen3-Embedding接口
本文介绍了如何调用本地Qwen3-Embedding模型接口，包括基础模型和LoRA微调模型的加载方法。文章指出嵌入模型微调对提升SQL生成准确率至关重要，并提供了接口启动和使用方法。通过调整参数可选择加载基础模型或微调模型，并给出了关键代码示例。文章还展示了接口启动和调试的实际操作截图，为理解嵌入模型微调及应用提供了实践参考。
2025-10-22 20:41:44
317
原创 【第8篇】评估测算工具
本文介绍了NL2SQL比赛中的三种评估工具：simulate_score.py用于评估SQL结果准确率，通过比对生成SQL与样本SQL的执行结果得出准确率；eval_embeddings.py评估嵌入模型的库表命中率；eval_reranker.py评估重排序模型的命中效果。演示结果显示当前嵌入模型在41条样本中有6条不匹配，而重排序模型未能显著提升命中率。这些工具为优化NL2SQL模型性能提供了关键评估手段。
2025-10-22 07:32:34
387
原创 【第7篇】引入低配大模型
本文介绍了在NL2SQL比赛中引入低配大模型Qwen3-8B的方案，通过问题参数化处理和模板匹配来降低使用成本。该方案包含三个核心模块：query_table.py匹配问题模板获取表名，query_sql.py获取表结构信息，query_example.py拼接提示词生成SQL。相比高端模型可节省4倍成本，是比赛获奖的关键策略。时序图展示了从问题输入到SQL生成的完整流程。
2025-10-20 17:46:25
557
原创 【番外篇1】本地微调Qwen3-Embedding模型
本地微调Qwen3-Embedding模型提升RAG召回率 本文针对通用嵌入模型在行业应用中召回率不足的问题，介绍了使用peft对Qwen3-Embedding-0.6B进行参数微调的方法。通过构建包含语义关联句对的数据集，采用3轮训练优化模型参数，最终生成的LoRA适配器权重使模型关联度判断更精准：相似句对的得分提升（如"Earth revolves around Sun"与"Sun is orbited by Earth"从0.954升至0.972），无关句对的负
2025-10-20 07:28:05
1422
原创 【第5篇】向量化处理步骤
本文介绍了2025年羊城工匠杯nl2sql比赛数据预处理阶段的向量化处理流程。主要包括：1）通过excel2sql.py生成建表DDL语句；2）使用scan_columns.py提取标记字段值生成参数文件；3）通过question2table.py和template2sql.py建立问题模板与SQL的映射关系；4）利用sqls_embedding.py生成文本向量并存入chroma数据库。处理过程中通过正则表达式和参数文件对问题进行模板化，如将具体日期替换为{专题名称}等参数化表达，从而压缩模板数量。整个流
2025-10-17 00:00:00
1808
原创 【第6篇】引入高配大模型
本文介绍了在nl2sql比赛中引入高配大模型qwen3-235B生成SQL的方法。当问题无法匹配到库表模板时，通过向量检索、关键字匹配和重排序等技术确定相关库表，再构造提示词调用大模型生成SQL。重点分析了寻找问题对应库表和优化提示词的两大挑战，详细说明了相关技术实现流程，包括检索相似文本、关键字匹配、重排序等步骤，并展示了提示词模板的构建方法。对于简单问题，该方法的准确率可达70%以上。
2025-10-16 19:37:38
781
原创 【第4篇】NL2SQL架构设计
本文介绍了NL2SQL比赛的参赛项目架构设计，包含数据准备和批量执行两大模块。数据准备阶段通过多个Python脚本实现Excel到SQL的转换、问题模板关联、向量化处理等流程，最终生成向量数据库。批量执行阶段采用多线程处理，通过查询匹配库表、构建提示词、调用大模型生成SQL等步骤，将结果写入JSON文件。整体架构包含10余个功能模块，实现了从自然语言到SQL语句的自动化转换流程。
2025-10-16 01:00:00
1940
原创 【评测】百炼大模型视频生成初体验
阿里云百炼大模型平台提供50秒免费视频生成体验。测试显示，文生视频功能能较好还原提示词描述的"花白胡子男子在破旧办公室"场景，但镜头切换AI感明显。图生视频功能对输入图片质量要求较高，当背景不理想时会出现提示词还原度不足的情况，服装细节会部分保留原图特征。整体生成时间比界面显示更快，文生视频效果优于图生视频。
2025-10-15 21:03:50
282
原创 【第2篇】nl2sql2025开发环境配置
本文介绍了2025年羊城工匠杯nl2sql比赛的开发环境配置方法。主要使用VSCode和DBeaver工具，其中VSCode通过SSH连接WSL的Ubuntu系统。配置步骤包括：安装Ubuntu24.04 WSL、拉取项目代码、通过pyenv管理Python版本（推荐3.10.17）、创建虚拟环境并安装依赖包（如langchain、openai等）。文章提供了详细的安装命令和配置指引，帮助参赛者快速搭建开发环境。
2025-10-14 00:00:00
288
原创 【第3篇】NL2SQL运行演示
本文介绍了NL2SQL参赛项目的运行流程：1）下载数据文件到指定目录；2）配置Python虚拟环境；3）申请阿里云API密钥并配置到项目文件中；4）执行start.sh脚本生成SQL查询结果；5）验证结果文件part1_results.jsonl；6）使用clean.sh清理现场。项目通过自然语言生成SQL查询，展示了从配置到运行的全过程。相关开发环境配置可参考另一篇指南。
2025-10-13 17:54:58
114
原创 【目录】2025年羊城工匠杯NL2SQL参赛介绍
3. NL2SQL运行演示 （20251015发布）4. NL2SQL架构设计 （20251016发布）2. 搭建项目开发环境 （20251014发布）6. 引入高配大模型 （20251020发布）5. 向量化处理步骤 （20251017发布）7. 引入低配大模型 （20251021发布）10. 质量检核工具 （20251024发布）11. 参赛复盘心得 （20251027发布）8. 评估测算工具 （20251022发布）9. 问题标注工具 （20251023发布）
2025-10-13 17:48:20
304
原创 【第1篇】2025年羊城工匠杯nl2sql比赛介绍
2025年 羊城工匠杯 NL2SQL比赛分为初赛和决赛两个阶段，主要考察参赛者将自然语言转换为有效SQL语句的能力。比赛提供包含数据库、表结构、问题集和样例的完整数据集，评分标准包括SQL语法有效性(10%)、执行准确率(60%)和Token成本(30%)。赛事支持使用多种大模型接口，包括不同规模的Qwen和Deepseek系列对话模型，以及重排序和嵌入模型。官方推荐的开发环境基于Ubuntu24.04和Python3.10，并提供了包括LangChain、Chroma等在内的详细技术栈
2025-10-13 17:45:00
560
原创 【技巧】使用frpc安全地内网穿透ssh访问内网机器
本文介绍了如何使用frpc实现安全的内网穿透SSH访问。通过在云服务器(Server01)配置frps.toml并启动服务，在内网机器(Server02)配置frpc_ssh.toml指定转发规则，将本地22端口映射到云服务器的8006端口。最后通过SSH命令连接云服务器8006端口(Server03)即可访问内网机器。需注意开放8003和8006端口防火墙策略。该方案解决了公网无法直接访问内网机器的问题，实现了安全的远程SSH访问。
2025-06-19 16:47:22
339
原创 【评测】Qwen3-Embedding与nomic-embed-text的召回效果对比
本文对比了Qwen3-Embedding与nomic-embed-text的召回效果。使用同一文档在相同配置条件下测试，nomic-embed-text仅召回2条关联度低的记录，导致大模型回答质量较差。实验表明nomic-embed-text的中文语义嵌入效果明显不如Qwen3-Embedding，相关前置知识包括Qwen3-Embedding部署方法和召回效果评估。结论指向nomic-embed-text在中文场景下的表现欠佳。
2025-06-14 00:15:00
833
原创 【评测】Qwen3-embedding 0.6B和8B召回效果评估
本文对比评测了Qwen3-embedding 0.6B和8B模型的召回效果。实验采用相同文档分别建立两套知识库，使用同一提示词"渗透测试工作流程是怎样的"进行测试。结果显示：8B模型召回4段相关内容，0.6B模型召回5段。结合Qwen3-8B模型验证发现，两种embedding模型在问题解答方面表现都不错。实验表明，虽然模型参量差异较大，但0.6B版本在知识库召回任务中仍具有竞争力。
2025-06-13 00:15:00
751
原创 【技巧】win10和ubuntu互相挂在共享文件夹
本文介绍了Win10与Ubuntu系统之间互相挂载共享文件夹的方法。在Ubuntu挂载Win10共享文件夹时，需使用cifs-utils工具，创建挂载点后进行mount操作；在Win10挂载Ubuntu文件夹时，需配置Samba服务，修改smb.conf文件并设置共享权限。两种方法都需提前做好共享设置，并在操作完成后及时重启相关服务。使用时需注意共享目录的命名规范和移动硬盘的安全卸载。
2025-06-12 00:15:00
388
原创 【评测】flux-dev文生图模型初体验
本文分享了flux-dev文生图模型的体验过程。作者在4090D显卡上运行模型，约1分钟生成1024*1024图片。测试显示，英文提示词生成效果优秀（如未来城市、森林场景等），但中文提示词不可用。安装环境参考了ModelScope的Flux.1-dev页面，并使用通义工具辅助生成英文提示词。整体体验表明该模型在英文文本生成图像方面表现良好，但需注意语言限制。
2025-06-12 00:15:00
1991
原创 【排错】ubuntu挂载硬盘mount报错 unknown filesystem type ‘LVM2_member‘.
Ubuntu挂载硬盘时报错"unknown filesystem type 'LVM2_member'"的解决方案：当系统盘迁移到新服务器后，需先安装lvm2工具包，通过pvscan、vgscan扫描逻辑卷，使用vgchange激活卷组，最后挂载正确的逻辑卷路径/dev/ubuntu-vg/ubuntu-lv而非物理分区。步骤包括：1)安装lvm2；2)扫描物理卷和卷组；3)激活卷组；4)通过lvdisplay查询逻辑卷路径；5)挂载逻辑卷而非物理分区。该方法成功解决了LVM2文件系统的
2025-06-11 13:15:00
768
原创 【技巧】win10远程桌面ubuntu24
sudo apt updatesudo apt install xrdp -ysudo systemctl enable xrdpsudo systemctl start xrdpsudo ufw allow 3389/tcpsudo ufw statussudo ufw enablesudo ufw reload（remove firewire : sudo ufw delete allow 3390/tcp）Ubuntu system -> remote desktop -> remote
2025-06-11 00:45:00
369
原创 Q: dify的QA分段方式，question、answer和keywords哪些内容进入向量库呢？
Dify的QA分段处理方式是将question和keywords内容进行向量化存储。根据相关实现逻辑，分段信息保存在特定URL路径下，通过datasets_segments.py中的DatasetDocumentSegmentUpdateApi接口处理更新操作。该方案明确了哪些数据进入向量库，但不包含answer内容。
2025-06-10 17:45:14
877
原创 【技巧】dify前端源代码修改第一弹-增加tab页
本文介绍了如何在Dify前端源代码中添加"HELLO WORLD" Tab页的具体步骤。首先启动前端调试模式，然后在dataset.ts文件中添加helloWorld字段。接着修改Container.tsx文件，在options数组中新增Tab项，并添加对应的内容展示组件。修改完成后，系统会自动加载更新后的页面，展示了成熟的Web框架的便捷开发体验。整个过程通过图文并茂的方式呈现，包括代码修改片段和实际效果展示。
2025-06-10 00:15:00
1625
原创 【部署】dify+ollama部署Qwen3-Embedding-8B
本文介绍了如何部署Qwen3-Embedding-8B模型的详细步骤。首先确认ollama版本需0.9.0+，若版本过低会导致模型加载失败。通过卸载旧版本、下载新版ollama完成升级。其次提供两种模型获取方式：在线拉取或离线导入模型文件。完成部署后需确认模型导入成功，最后在dify平台进行模型配置。文章包含完整的命令行操作流程和注意事项，为部署Qwen3-Embedding-8B模型提供了清晰的指导。
2025-06-09 11:28:53
1880
原创 【排错】ollama报错unable to load model
升级ollama到0.9.0后，重新加载model。原因：ollama版本过低，参考。
2025-06-09 11:25:21
1185
原创 【评测】Qwen3-Embedding模型初体验
【摘要】本文记录了在低配Win10电脑（i5-8265U/16G/无GPU）本地测试Qwen3-Embedding模型的经历。通过modelscope下载0.6B（1.12GB）和8B（14.1GB）版本后，修改官方示例代码转为本地加载路径。8B模型因硬件限制加载失败，改用0.6B版本后成功运行，输出查询与文档的相似度矩阵（如首都问题匹配度0.7646）。测试发现路径需注意转义字符问题，最终证明0.6B模型在普通PC上可正常运行。
2025-06-08 21:58:01
2370
2
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人