纯写代码 - 学习记录 2020/2/22

最新推荐文章于 2024-04-20 19:40:29 发布
原创 最新推荐文章于 2024-04-20 19:40:29 发布 · 157 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。

博主研二时纯写代码，花费一天时间，代码行数约500行。

研二

纯写代码

写了一天代码，代码行数：500左右

【DeepSeek微调实践】DeepSeek-R1大模型基于MS-Swift框架部署/推理/微调实践大全
寻道AI，探索AI无限可能！
03-31 9238
MS - Swift 是一款专为大模型部署而精心打造的高效框架，具备出色的兼容性与丰富的功能特性。在模型类型支持上，无论是专注于文本处理的纯文本模型，还是融合文本、图像、音频等多种信息模态的多模态模型，亦或是擅长文本序列分类任务的序列分类模型，MS - Swift 均能为其提供适配的部署环境。另外在功能层面，MS - Swift 框架提供了基于 Gradio 的 Web UI。
Go 学习笔记（54）— Go 第三方库之 uber-go/zap/lumberjack（记录日志到文件、支持自动分割日志、支持日志级别、打印调用文件、函数和行号）
wohu1104的专栏
07-13 1万+
1. 简要说明 zap 是 uber 开源的 Go 高性能日志库，支持不同的日志级别， 能够打印基本信息等，但不支持日志的分割，这里我们可以使用 lumberjack 也是 zap 官方推荐用于日志分割，结合这两个库我们就可以实现以下功能的日志机制： 能够将事件记录到文件中，而不是应用程序控制台； 日志切割能够根据文件大小、时间或间隔等来切割日志文件； 支持不同的日志级别，例如 DEBUG ， INFO ， WARN ， ERROR 等； 能够打印基本信息，如调用文件、函数名和行号，日志时间等；
Python开发小游戏：写一个飞机大战只需要500行代码！
轻松学python的博客
10-22 1445
阅读文本大概需要 6.66 分钟。这几天在重温微信小游戏的飞机大战，玩着玩着就在思考人生了，这飞机大战怎么就可以做的那么好，操作简单，简单上手。帮助蹲厕族、YP族、饭圈女孩在无聊之余可以有一样东西让他们振作起来！让他们的左手 / 右手有节奏有韵律的朝着同一个方向来回移动起来！这是史诗级的发明，是浓墨重彩的一笔，是…… 在一顿疯狂操作后，我结束了游戏，正在准备进入贤者模式时，我突然想到，如...
代码评审的最佳实践
似水流年
08-29 755
没有人否认code review（代码评审、复查） 对提高代码质量的作用，但是如何进行code review? 这里 确实存在一些方法和技巧。方法不当，会浪费大量时间、造成低效率；流程过紧，会大大降低生产力，流程过松，很难知道code review的效果，甚至有没有进行code review,都很难判断。这里有11条代码复审的最佳实践：一次检查少于200～400行代码 努力达到一个合适
HR面试程序员：小伙写500行代码要求月薪12K,他的回答绝了
weixin_33785108的博客
06-24 1449
小编今天逛论坛，看到了一位大神分享他的故事，小伙子毕业两年，前端工作一年，原本工资8000想跳槽一家更高的，公司是家做外卖APP的公司，小伙子经过了两轮面试，第三轮面试，写了一个很经典的撕布特效，动态图下面有，JavaScript写的，给自己定的工资是12K,HR看完这个特效当场回复他：12K转正后项目上线涨到15K，小伙子写这篇文章是在入职三天后，工作都步入了正轨，小编我把这个经典的案例也COP...
纯跟踪学习笔记（2）Gazebo环境测试学习
m0_65512360的博客
04-20 2250
本篇文章是学习某站上一up主讲解的纯跟踪算法实现，他是通过导入已有路径然后使用阿克曼模型的小车对路径进行跟踪，而我的目的是使用差速小车在导航时对局部路径进行跟踪，所以打算先学习他的整体实现思路然后依据我自己的要求进行改进。看评论区好多小伙伴直接运行他的代码行不通，会有一些问题，当然我也一样，我尽量把我自己碰见的问题以及解决方法都告诉大家。附上。我用的是ubuntu20.04，大家可以参考一下。
幽灵猫 Tomcat文件读取/任意文件包含漏洞（CVE-2020-1938 / CNVD-2020-10487）
m0_62466350的博客
05-11 4807
该漏洞是由长亭科技安全研究员发现的存在于 Tomcat 中的安全漏洞，由于 Tomcat AJP 协议设计上存在缺陷，攻击者通过 Tomcat AJP Connector 可以读取或包含 Tomcat 上所有 webapp 目录下的任意文件，例如可以读取 webapp 配置文件或源代码。此外在目标应用有文件上传功能的情况下，配合文件包含的利用还可以达到远程代码执行的危害。
Shader绘制2D圆-SmoothStep函数-学习Cherno教程笔记-(OpenGL/Vulkan/DirectX/Metal)-新手向
qq_34060370的博客
02-03 2976
基本思路用Quad顶点包围一个范围作为画布（Canvas）用glsl控制画出一个圆内alpha为1，圆外的范围的alpha为0。如何控制在圆内的alpha为1，圆外的alpha为0用当前坐标点距离原点的长度、step函数来控制。
Qt5.9学习笔记3-ModelView结构/文件系统
Heisenberg's blog
05-04 1747
Model/View结构 基本概念 用Model接口可以修改数据,在View组件中修改也会自动保存到Model中 模型/视图结构是Qt中组件显式和数据编辑的一种结构，View视图是界面组件，Model则是为数据和视图提供的一种接口模型。 Model和View交流时，可以使用代理，代理在数据被编辑时，通过模型和数据通信，且提供数据编辑器QLineEdit组件，代理则通过编辑器和View通信完成显示。 Model/View的典型应用是在数据库应用程序中。 一个数据模型可在多个视图组件中显示 M
嵌入式学习笔记(综合提高篇 第一章) -- 利用串口点亮/关闭LED灯
weixin_30699235的博客
04-01 1768
1 前言　　 　　从踏入嵌入式行业到现在已经过去了4年多，参与开发过的产品不少，有交换机、光端机以及光纤收发器，停车场出入缴费系统，二维码扫码枪，智能指纹锁以及数字IC芯片开发等; 涉及产品中中既有STM和Nuvoton这类通用芯片，也有Nordic-52832，Nordic-52810，易兆微这种专用的蓝牙芯片，还包含用于WIFI设备的ESP32芯片，以及专业的指纹/二维码安全芯片，...
我写了 500 行代码，老板却给写 2500 行代码的人升职加薪？
程序人生的博客
04-13 1460
有两个程序员分别设计同一个系统：一个用了500行代码实现，一个用了2500行代码设计了一个很复杂的系统。结果竟然是…… 作者 |Neil W. Rickert 译者 | 弯月 责编 | 屠敏 出品|优快云（ID：优快云news） 以下为译文： 很久很久以前，“自动会计应用协会”（后面简称“自会”）和“综合计算机资本公司”（后面简称“综计”）两家公司素不相识...
一天写多少行代码才算是好程序员？
热门推荐
DONGYUXIA15810857916的博客
08-28 2万+
点击查看全文 当今时代很多吃瓜群众对程序员的印象都是 而程序员的真实情况却是这样：每天大部分时间都在改代码，写代码，看代码才是我们真实的工作日常，到底每天要写多少行才是好程序员呢？ 为了探讨这个问题首先要了解程序员的种类。一般来讲，开发者（指的是纯的写代码，不包括不写代码的项目经理 、技术总监等）主要分为： 1. web工程师： 一般是写基于w
用HTML写五百行代码,比比谁写一个（500行）的方法需要多少时间？
weixin_36488064的博客
06-09 279
该楼层疑似违规已被系统折叠隐藏此楼查看此楼发个简单的渐变按钮,用户控件Imports System.IOImports System.TextPublic Class MyButtonInherits Windows.Forms.UserControlPrivate Function mydraw(ByVal image As Bitmap, ByVal result_bm As Bitmap,...
三权分立 - 2021/6/23 学习记录
Seth423的博客
06-24 3032
研二 三权分立 应用系统的三权分立指配置、授权和审计的三权分立。 配置指对应用系统进行配置，使之能正常运行； 授权指对使用应用系统的账号进行管理，在此过程中提高应用系统的安全等级； 审计指对上述两项工作进行监督指导，及时上报危险的操作。 由此，系统管理员设计分为三个角色，分别为：系统管理员、安全保密管理员与安全审计员。 一、系统管理员职责 1 （一）定期或不定期巡检，确保机房设备的安全和正常运行，发现异常情况及时处理； （二）掌握网络设备配置情况，负责网络和设备的管理维护，及时排除故障； （三）安装
# 生成词表，subword方式,统一用10000个subword subword-nmt learn-joint-bpe-and-vocab \ -i $1/train_l \ -s 20000 \ -o $1/bpe.20000 \ --write-vocabulary $1/vocab这段代码是什么意思
最新发布
03-25
<think>嗯，用户问的这段代码是关于生成词表和使用subword方式的，具体是使用subword-nmt工具来学习联合BPE和词表，参数是输入文件、符号数量20000，输出BPE模型和词表文件。 首先，我需要确认用户的问题背景。用户之前已经了解了batch size和序列处理中的填充问题，现在转向自然语言处理中的子词处理。这可能意味着他们在处理文本数据，特别是涉及不同词汇或罕见词的情况，比如机器翻译或文本生成任务。 用户提到生成词表，使用subword方式，统一用10000个subword，但代码里用的是-s 20000，这里可能需要解释为什么参数是20000，而用户问题里提到10000。可能的误解是用户将符号数（subword的数量）与最终词表大小混淆了，或者示例代码中的参数与问题描述不符，需要指出这一点。 接下来，代码中的每个参数都要解释清楚。-i 是输入文件，-s 是符号数，-o 是输出的BPE模型文件，--write-vocab是保存词表的位置。需要说明BPE（Byte Pair Encoding）的基本原理，即通过合并频繁出现的字符对来生成子词单元，这样可以在处理未见过的词汇时更有灵活性。 还要解释生成的词表文件内容，包括子词及其频率，以及如何应用这个BPE模型到其他数据。可能用户不太清楚learn-joint-bpe-and-vocab这个命令的作用，需要说明它同时学习BPE合并操作和生成词表。 另外，用户可能对subword的作用和应用场景不太理解，比如如何处理OOV（out-of-vocabulary）问题，或者如何平衡词表大小与模型性能。需要简要说明使用子词的好处，比如减少未登录词，提高模型泛化能力。 还要注意用户可能是在实际应用中遇到了问题，比如参数设置是否正确，或者生成的词表是否符合预期。如果用户提供的代码中使用的是20000，而问题里说是统一用10000个subword，这里可能存在矛盾，需要指出并建议检查参数设置是否一致。 最后，总结这段代码的目的和步骤，强调BPE的作用，参数的意义，以及生成文件的使用方法。确保用户理解整个流程，从数据处理到应用BPE模型，再到生成词表的过程。</think>以下是代码的解释及其作用的分步说明： --- ### **1. 代码功能概述** 这段代码使用 **`subword-nmt`** 工具包，目的是通过 **BPE（Byte-Pair Encoding，字节对编码）** 算法生成一个包含 **20,000 个子词（subword）** 的词表，并将学习到的 BPE 合并规则和词表保存到指定文件中。 --- ### **2. 代码逐参数解析** ```bash subword-nmt learn-joint-bpe-and-vocab \ -i $1/train_l \ # 输入训练文件路径 -s 20000 \ # 指定生成的子词数量 -o $1/bpe.20000 \ # 输出BPE模型文件路径 --write-vocabulary $1/vocab # 输出词表文件路径 ``` #### **参数详解**： - **`-i $1/train_l`** - **输入文件**：训练数据路径为 `$1/train_l`（`$1` 是脚本或命令中的第一个参数变量，表示父目录）。 - **数据内容**：通常是纯文本文件，每行一个句子或序列。 - **`-s 20000`** - **子词数量**：指定生成的子词词表大小为 20,000。 - **注意**：用户问题中提到“统一用 10000 个 subword”，但代码中实际设置为 `-s 20000`，需检查是否参数不一致。 - **`-o $1/bpe.20000`** - **输出 BPE 模型**：将学习到的 BPE 合并规则保存到文件 `$1/bpe.20000`。 - **用途**：后续可用此文件对文本进行编码（如分词、编码新数据）。 - **`--write-vocabulary $1/vocab`** - **输出词表**：将子词及其频率保存到文件 `$1/vocab`。 - **格式示例**： ```text the 1000 ing 800 ed 600 ... ``` --- ### **3. BPE 算法的核心作用** - **解决未登录词（OOV）问题**：将罕见词拆分为子词（如 `"unhappiness" → "un" + "happiness"`）。 - **平衡词表大小与覆盖度**：通过子词组合，用较小的词表覆盖更多词汇。 - **适用场景**：机器翻译、文本生成等需要处理开放词汇的任务。 --- ### **4. 生成词表的步骤** 1. **统计频次**：从训练数据中统计所有字符对的频率。 2. **迭代合并**：重复合并最高频的字符对，直到子词数量达到设定值（如 20,000）。 3. **保存规则**：记录合并操作的顺序，形成 BPE 模型文件。 4. **生成词表**：根据合并结果，提取所有子词及其出现频率。 --- ### **5. 输出文件示例** - **BPE 模型文件 (`bpe.20000`)**： 记录合并规则，格式为： ```text e n 1000 i n 800 t h 600 ... ``` - **词表文件 (`vocab`)**： 包含子词及其频率，例如： ```text the 5000 ing 3000 ed 2000 ... ``` --- ### **6. 后续使用方式** - **编码新数据**：使用 `subword-nmt apply-bpe` 命令，加载 `bpe.20000` 模型对文本进行子词切分。 - **模型输入**：将文本转换为子词序列后输入模型（如替换为子词 ID）。 --- ### **重点总结** | 参数/文件 | 作用 | |--------------------|-----------------------------------| | `-i $1/train_l` | 输入训练数据 | | `-s 20000` | 生成 20,000 个子词 | | `-o $1/bpe.20000` | 保存 BPE 合并规则 | | `--write-vocabulary` | 保存子词及其频率的词表 | 若需生成 **10,000 个子词**，需将 `-s 20000` 改为 `-s 10000`。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值