- 博客(121)
- 资源 (27)
- 收藏
- 关注
RSS订阅原创 自然人认注意力和Transformer的注意力机制
在深度学习中，注意力机制的核心思想也是让模型在处理输入数据时，选择性地关注与当前任务最相关的部分，而忽略其他不重要的信息。在神经网络中引入注意力机制，可以帮助模型在计算能力有限的情况下，将计算资源分配给更重要的任务，从而提高任务处理的效率和准确性。例如，在观察一幅画时，人们会先快速浏览整幅画，然后将注意力集中在某些特别吸引人的部分，如画中的某个细节或人物。此外，基底神经节和丘脑等脑区也在注意力的形成过程中发挥着重要的作用，它们通过复杂的神经网络，协调大脑各区域之间的信息传递。
2025-03-21 10:33:49
402
原创 S空间编码学习笔记
S空间编码作为一种生物神经系统中的编码方式，其以神经元放电序列的特征为核心，展现出显著的抗干扰特性。在人工智能领域，这一特性为设计更具鲁棒性的神经网络架构提供了重要借鉴。例如，在图像处理任务中，通过引入类似S空间编码的机制，可使图像识别模型在面对输入图像存在噪声或畸变等干扰因素时，依然能够保持较高的识别准确率，从而增强模型在复杂环境下的稳定性与可靠性。S空间编码能够承载丰富的信息量，得益于其利用复杂的神经元放电序列来传递信息的独特方式。在人工智能的应用中，这一特性启示研究人员探索更高效的编码方法。
2025-03-21 10:21:37
296
原创 多传感器数据采集
多传感器系统中，保证各个传感器采样同步是实现精确数据融合的关键。有效解决多传感器系统中的采样同步问题，可以提高数据融合的精度和可靠性。
2025-02-28 16:57:46
1063
原创 两种PID
对很多项目来说，实际的数字控制系统中，考虑到传感器数据受限于数字传感器的精度，采用PID控制方程需要借助离散化形式来适应数字信号处理。数字PID控制方程是将连续时间的PID控制离散化后的形式。常见的离散化方法包括位置式和增量式两种。
2025-02-28 16:51:28
228
原创 关于RB资源块
资源块（RB）是频域资源的基本单位，定义为频域上连续的12个不同的子载波。RB的频宽取决于不同的子载波间隔（SCS），不同SCS配置下的RB大小也就不同。被定义为中心频点Point A本质上是频域上的一个公共参考点，用于标记不同SCS配置下的资源块。这些公共资源块（CRB）的编号都从Point A开始，CRB0的子载波0的中心与Point A重叠。：Point A对齐不同子载波间隔配置下的资源块，确保不同终端的BWP（带宽部分）可以对齐。：PRB编号是从BWP的起始RB相对于CRB0的CRB编号开始的。
2025-02-28 16:31:08
330
原创 小区扫描和小区驻留
MIB中包含了小区的基本信息，如系统帧号、带宽等。扫描从终端支持的最低频点开始，按照特定的频率步长遍历尝试，直至找到强度满足要求的小区信号。电信终端设备在扫描周围RF射频信号并尝试找到可用的小区时，会经历一系列被精心设计好的步骤，这些步骤涉及频点的扫描、同步信号的检测以及系统信息的解析。：可以安装一些专业的网络测试软件，如CellInfoNr等，这些软件能够提供更详细的网络接入信息，包括小区的频点和信号强度等。扫描过程类似于调频收音机搜索电台的过程，终端会依次扫描不同的频点，寻找信号强度较强的频点。
2025-02-28 16:14:06
293
原创 梳理下小区选择
手机开机后，首先会搜索附近的公共陆地移动网络PLMN，并选择一个信号最强的小区（一个基站覆盖的地理区域）进行驻留。UE（用户设备）在开机后选择一个合适的小区进行驻留。小区选择是基于信号强度、信号质量等因素进行的。手机选择小区的过程是一个复杂但高度标准化的机制，涉及多个步骤和参数。移动设备（UE）在初始接入网络或从空闲模式恢复时，选择一个合适的小区进行注册的过程。这一过程确保UE可以连接到具有最佳无线条件的小区，从而获得网络服务.UE开机后，首先选择一个PLMN。
2025-02-28 12:59:02
869
原创 测量PLL特性
相位噪声是PLL输出信号中由于噪声引起的相位变化，通常使用频谱分析仪进行测量。分辨率带宽是频谱分析仪中频滤波器的带宽，决定了频谱分析仪区分相邻频率信号的能力。VBW越窄，显示的信号越平滑，但可能掩盖信号的快速变化。环路带宽决定了PLL对输入信号变化的响应速度，可以通过使用网络分析仪或仿真工具测量PLL的开环增益。测量载波频率附近的噪声功率按照下面的公式计算 ，比如在10MHz偏移处测量噪声功率为-60dBc，RBW为1MHz，则相位噪声为-120dBc/Hz。使用频谱分析仪测量PLL输出信号的相位噪声谱。
2025-02-27 16:11:25
525
原创 PLL振荡电路
锁相环（Phase-Locked Loop，PLL）是一种基于反馈控制的电子电路，广泛应用于通信、信号处理和时钟同步等领域。其核心功能是通过调整内部压控振荡器（VCO）的频率和相位，使其输出信号与输入参考信号保持同步。. 相位检测器（PD）的输入参考信号和压控振荡器（VCO）的输出信号频率之间存在一定的要求。理想情况下，PLL的目标是使VCO的输出频率与输入参考信号频率一致（或成一定比例关系），并通过相位检测器检测两者之间的相位差。如果输入参考信号与VCO初始频率相差较大，PLL需要更长的时间来锁定。
2025-02-27 15:51:05
939
原创 关于准备高质量训练数据集学习
多模态数据的准备对于训练高质量的AI模型至关重要。多模态数据包括文本、图像、视频、音频等多种类型的数据，每种类型都有其独特的处理要求。
2025-02-26 18:14:10
325
原创 梳理控制理论中的误差
PID 控制器（比例-积分-微分控制器）是一种广泛应用于工业控制系统的控制器，其控制公式如下：其中：是控制器的输出。是误差信号，即期望值与实际值的差。 是比例增益。是积分增益。是微分增益。
2025-02-26 18:09:04
768
原创 神经网络突出的泛化能力
神经网络的函数逼近能力之所以强大，主要得益于其非线性激活函数、多层结构、万能逼近定理、训练算法、数据驱动的学习方式、隐层节点数和层数的灵活性以及自动特征提取能力。神经网络之所以成为人工智能的核心算法架构，主要得益于其强大的表征能力、泛化能力、适应性、优化算法的成熟、硬件支持以及广泛的应用。这种数据驱动的学习方式使得神经网络在处理复杂的、非线性的数据关系时表现出色。每一层都可以看作是对输入数据的一种特征提取和转换，这种多层的复合函数结构使得神经网络能够逼近任意高维函数。
2025-02-26 17:18:12
141
原创 麦克斯韦电磁力张量和转矩平衡
麦克斯韦电磁力张量是用于计算电磁力的一个重要工具。它基于麦克斯韦方程组，通过应力张量来描述电磁场对物体的作用力。通过麦克斯韦应力张量法，可以计算出电磁力的分布。：边界元法在计算电磁力时具有较高的精度和效率，尤其是在处理复杂几何结构时。：使用麦克斯韦应力张量法和磁通法计算永磁同步电机的电磁转矩。在电机运行过程中，输出转矩和负载转矩需要达到平衡，以保持电机的稳定运行。通过麦克斯韦应力张量，可以计算出电磁力的分布。：对应力张量进行积分，得到电磁力的大小和方向。：根据磁场分布，计算麦克斯韦应力张量。
2025-02-26 17:04:18
463
原创 总结下那些支持无内存管理单片机的轻量级OS
之前做项目在选择轻量级操作系统（OS）时，特别是对于没有内存管理单元（MMU）的单片机，需要考虑操作系统的资源占用、易用性、可扩展性和社区支持等因素。
2025-02-26 16:43:09
205
原创 非线性训练中的“顿悟”
非线性系数（Nonlinearity Coefficient, NLC）是一种用于衡量神经网络复杂性和过拟合倾向的指标。NLC的值与网络的梯度信息量密切相关，能够较好地预测神经网络的测试误差。
2025-02-26 16:39:48
308
原创 随机矩阵和LLM
随机矩阵理论在神经网络的研究中起到非常重要的作用，特别是刻画神经网络在不动点处的稳定性。：通过随机矩阵理论，可以研究神经网络的输入输出雅可比矩阵的谱分布，从而实现动态等距法。：通过随机矩阵理论，可以研究神经网络的输入输出雅可比矩阵的谱分布，从而实现动态等距法。：利用随机矩阵理论，可以研究数据协方差矩阵的谱分布，从而设计非线性激活函数，保持数据的协方差结构。：利用随机矩阵理论，可以研究数据协方差矩阵的谱分布，从而设计非线性激活函数，保持数据的协方差结构。求解非对称矩阵的本征值谱的技术正在不断发展。
2025-02-26 16:31:36
729
原创 LUT间连接指令
在FPGA设计中，布线连接LUT相比直接连接LUT确实会增加延迟，但当逻辑电路复杂且涉及大量LUT时，布线连接成为不可避免的选择。当逻辑复杂，需要连接的LUT数量较多，且无法通过直接连接实现时，布线连接成为必要的选择。在复杂的组合逻辑中，寄存器连接可以将逻辑分解为多个阶段，减少每个阶段的布线延迟，在资源受限的情况下，寄存器连接可以更有效地利用FPGA资源，减少布线拥塞。通过这些方式，可以在Verilog中灵活地实现LUT之间的连接，并根据具体需求选择合适的连接方式其他更好的LUT连接方式慢慢梳理中。
2025-02-26 16:12:22
897
原创 动态频率选择与天线
通过DFS，WIFI设备可以在雷达信号出现时快速切换到其他频段，从而避免干扰。通过合理选择天线类型、优化天线设计与布局，并结合多天线技术和多参数优化方法，可以显著提升WIFI系统在DFS机制下的性能。是一种用于无线通信系统（如WIFI）的机制，主要用于避免与雷达系统等其他频段使用者的干扰。DFS机制要求设备在检测到雷达信号后，动态地切换到其他可用频段。：DFS机制还包括对频段的管理，例如在雷达信号消失后，设备需要等待一段时间才能重新使用该频段。：设备在检测到雷达信号后，必须在规定时间内切换到其他可用频段。
2025-02-26 15:02:31
230
原创 大语言模型生成模块的检索
从知识库中检索与问题最相关的文档或片段；：将检索到的文档和问题输入到预训练语言模型中进行编码；：根据编码后的表示生成回答；：通过训练和微调，优化生成模块的性能，提高回答的准确性和相关性。检索精度通有两个指标：检索出的相关文档数与检索系统中含有的全部相关文档数的比值；检索到的相关文档数和检索出的文档总数的比值。
2025-02-26 14:45:00
709
原创 工业数据特点
工业数据来自多种不同的传感器和设备，包括温度传感器、压力传感器、摄像头、麦克风等。：工业环境中的数据是动态变化的，受生产过程、设备状态、环境条件等多种因素的影响。：工业数据中常常存在噪声，这些噪声可能来自传感器的测量误差、环境干扰等。：工业生产过程中产生的数据量通常非常大，需要高效的数据存储和处理技术。：工业生产过程中，数据通常是实时生成的，需要实时处理和分析。例如，在化工生产中，数据可能受到反应条件、原料质量等多种因素的影响。：异常值在工业数据中较为常见，可能表示设备故障或生产过程中的异常情况。
2025-02-25 16:24:31
145
原创 工业大模型的数据特点
工业数据来自多种不同的传感器和设备，包括温度传感器、压力传感器、摄像头、麦克风等。：工业环境中的数据是动态变化的，受生产过程、设备状态、环境条件等多种因素的影响。：工业数据中常常存在噪声，这些噪声可能来自传感器的测量误差、环境干扰等。：工业生产过程中产生的数据量通常非常大，需要高效的数据存储和处理技术。：工业生产过程中，数据通常是实时生成的，需要实时处理和分析。例如，在化工生产中，数据可能受到反应条件、原料质量等多种因素的影响。：利用实时数据反馈，动态调整模型参数，以适应工业环境中的动态变化。
2025-02-25 16:21:33
182
原创 工业大模型的思考
对收集到的数据进行清洗、标注和格式化，确保数据的质量和一致性。：在工业领域，数据来源广泛，包括传感器数据、生产日志、设备状态数据、图像和视频等。需要收集与特定工业场景相关的多模态数据。：在多模态数据中，需要对不同模态之间的相关性进行对齐，以增强模型对多模态信息的表征能力。：开发用于实时监控和故障诊断的功能，通过模型对设备状态数据进行分析，及时发现潜在问题。：通过模型剪枝、量化等技术，减少模型的规模和计算需求，使其更适合在工业环境中部署。：利用模型的预测能力，对设备的维护需求进行预测，优化维护计划。
2025-02-25 16:19:00
186
原创 自然语言处理中MLM模型
掩码语言模型（Masked Language Model, MLM）是一种预训练语言模型，通过随机掩码输入文本中的某些单词，并训练模型预测这些被掩码的单词。
2025-02-25 15:12:29
253
原创 掩码率是啥
掩码率（Mask Rate）是指在数据处理或模型训练中，被掩码（即隐藏或遮蔽）的数据比例。掩码率在多种领域有广泛应用，特别是在自然语言处理（NLP）和计算机视觉（CV）中，用于增强模型的鲁棒性和泛化能力。
2025-02-25 15:08:30
371
原创 LLM在处理实时事件和特定知识的局限性
大语言模型（LLMs）在自然语言处理（NLP）领域取得了显著进展，但在处理实时事件和特定知识领域时，仍然存在一些局限性。
2025-02-25 15:05:41
300
原创 RAG和LLMs
RAG（Retrieval-Augmented Generation，检索增强生成）是一种结合了大型语言模型（LLMs）和外部知识检索的技术，旨在解决 LLMs 在处理实时事件和特定知识领域时的局限性。RAG 通过从外部知识库中检索相关信息，增强了 LLMs 的生成能力，提高了生成内容的准确性和可信度。
2025-02-25 15:00:04
269
原创 电偶极子与磁偶极子
其中，μ0 是真空磁导率，r 是从偶极子中心到该点的位置向量，r^ 是 r 的单位向量。其中，A 是电流环的面积向量，方向由右手定则确定。： 电偶极子在空间某点产生的电场强度。是从偶极子中心到该点的位置向量，其中，ω 是角频率，c 是光速。其中，ω 是角频率，c 是光速。是从负电荷指向正电荷的向量。： 电偶极子在空间某点的电势。是电偶极矩与位置向量的点积。是磁偶极矩与位置向量的点积。
2025-02-25 14:41:11
588
原创 查询向量、键向量和值向量的生成
在 Transformer 模型中，查询向量（Query）、键向量（Key）和值向量（Value）是自注意力机制的核心组成部分。
2025-02-25 14:08:08
865
原创 注意力机制总结
在 Transformer 模型中，自注意力机制的核心是通过查询向量（Query）、键向量（Key）和值向量（Value）来计算注意力权重和输出。
2025-02-25 11:24:39
607
原创 Transformer注意力和卷积核特征提取
Transformer 的注意力机制和卷积神经网络（CNN）中的卷积层，本质上都是对数据进行高阶处理，以提取数据中的特征。它们的目标都是通过特定的数学操作来捕捉数据中的模式和关系，从而为后续任务（如分类、回归或生成）提供更有用的表示。
2025-02-25 11:06:47
290
原创 Transformer使用了虚指数
在一些改进的 Transformer 架构中，位置编码的方式被进一步优化。例如，Swin Transformer通过引入偏移窗口（Shifted Windows）的概念，使得 Transformer 能够更有效地处理局部特征。：Transformer 架构的核心是自注意力机制，它允许模型在处理序列数据时动态地关注序列中的不同部分。自注意力机制中的权重计算可以利用虚指数函数来表示，从而更好地捕捉序列中的长距离依赖关系。位置编码通常采用正弦和余弦函数的组合，这些函数可以表示为虚指数函数的形式。
2025-02-25 10:56:55
398
原创 关于保角变换在注意力机制中的应用
保角变换（Conformal Mapping）是一种在复平面上保持角度不变的变换，广泛应用于数学、物理和工程领域。近年来，随着深度学习的发展，保角变换在注意力机制中的应用逐渐受到关注。注意力机制（Attention Mechanism）模拟人类视觉选择性的机制，其核心目的是从冗杂的信息中选择出对当前任务目标关联性更大、更关键的信息，从而过滤噪声。
2025-02-25 10:48:44
377
原创 为什么Qt开发的软件可以适配多平台
Qt的API设计为跨平台，这意味着开发者可以使用相同的代码在不同的操作系统上运行。例如，Qt Widgets和Qt Quick等模块在Windows、Linux、macOS、Android和iOS等平台上都能无缝工作。例如，开发者可以在Windows系统上使用Qt的交叉编译工具链，编译出适用于Linux或嵌入式设备的可执行文件。：Qt的模块化设计使得开发者可以根据需要选择不同的模块，从而实现跨平台的功能。例如，Qt的网络模块、多媒体模块等都可以在不同的平台上使用。
2025-02-25 10:45:47
304
原创 冥想--灵与AI
作为一种传统的哲学实践，与现代 AI 技术的结合，为人类学习进化提供了新的思路和方法。同时，AI 的引入为人类学习提供了强大的工具，促进了知识生成的多元化和学习能力的提升。这种人与 AI 的协同学习，不仅提升了学习效率，也促进了人类对自我和世界的深刻理解，为人类学习进化提供了新的方向。：这种人与 AI 的协同学习，不仅体现了现代科技与传统哲学的结合，也揭示了人类学习进化的新方向。：AI 的引入改变了知识生成的方式，人类可以通过与 AI 的协作，更快速地生成和传播知识。
2025-02-25 09:49:42
712
原创 电子自旋和磁畴
磁畴是铁磁材料内部的一种微观结构，由于铁磁材料中的原子磁矩在自发磁化过程中倾向于排列成一致的方向，从而形成具有一定磁化方向的区域。这些区域之间通过畴壁分隔，畴壁是磁化方向发生改变的过渡区域。
2025-02-24 17:11:04
443
原创 磁偶极子的磁场分布
磁偶极子是最基本的磁单元，自然界的磁现象都可以认为是若干个不同量级的磁偶极子磁场的叠加。磁偶极子的磁场分布具有典型的特征，以下从理论和实际应用两个方面进行详细分析。
2025-02-24 16:38:45
509
原创 多自由度开发平台动力学特性包络曲线
开发平台的设计和优化需要综合考虑机器人的动力学特性和性能包络曲线，以实现最佳的性能和应用效果。：高自由度机器人通常具有更高的惯性，这使得它们在快速运动时需要更大的驱动力。例如，六自由度机器人可以在更复杂的三维空间中快速移动，但这也需要更复杂的控制算法。：在开发过程中，高自由度机器人的仿真和测试需要更复杂的模型和更严格的测试条件。通过深入分析机器人的动力学特性和性能包络曲线，可以更好地理解其在不同应用场景中的表现，从而为开发平台的设计和优化提供理论支持。高自由度机器人通常需要更复杂的阻尼系统来减少振动。
2025-02-24 16:33:52
381
精品游戏开发书籍.CustomInterfaceKit(1)
2010-01-14
WOW魔兽世界的APIs
2010-01-14
向量在游戏中的应用——Vector.Game.Math.Processors
2010-01-14
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人