- 博客(196)
- 收藏
- 关注
RSS订阅原创 【论文笔记】Transformer^2: 自适应大型语言模型
自适应大型语言模型（LLMs）旨在解决传统微调方法的挑战，这些方法通常计算密集且难以处理多样化的任务。本文介绍了Transformer²（Transformer-Squared），一种新颖的自适应框架，通过在推理时选择性地调整权重矩阵的单个奇异分量来实时适应未见过的任务。Transformer²在参数数量较少且效率更高的情况下，持续优于LoRA等常用方法。此外，Transformer²在不同LLM架构和模态（包括视觉语言任务）中表现出色，代表了自适应LLMs的重大进步。
2025-02-17 17:53:43
632
原创 【论文笔记】Are Self-Attentions Effective for Time Series Forecasting? (NeurIPS 2024)
时间序列预测在多领域极为关键，Transformer 虽推进了该领域发展，但有效性尚存争议，有研究表明简单线性模型有时表现更优。本文聚焦于自注意力机制在时间序列预测中的作用，提出仅用交叉注意力的 CATS 架构。它摒弃自注意力，利用交叉注意力并设置未来视野依赖参数为查询及增强参数共享，提升了长期预测精度，还减少了参数和内存使用。多数据集实验显示，CATS 模型均方误差最低且参数更少。
2025-02-10 17:59:58
1376
原创 免费开源！DeepSeek深度使用手册：从入门到精通的AI增效之道
DeepSeek 是一款专为提升用户学习与工作效率而设计的智能助手，凭借先进的人工智能技术，它能够快速、精准地处理复杂任务，成为用户日常工作和学习的得力伙伴。DeepSeek 不仅是一个工具，更是一种生产力的革新，致力于让每一位用户在学习和工作中事半功倍，轻松应对挑战。，目录虽只有三个板块，内容却足足有104页，手把手教你成为灵活使用大语言模型的AI专家！「分析我上传的课程表，结合下周考试安排，生成复习计划表（每天不超过4小时）」在信息爆炸的时代，DeepSeek作为国内领先的AI助手，专为。
2025-02-10 15:30:00
1129
原创 dandi download下载数据时报错：Error: ‘gbk‘ codec can‘t encode character ‘\u2212‘ in position 5273...
当使用命令行工具如`dandi download`下载数据时遇到`“'gbk' codec can't encode character '\u2212' in position 5273: illegal multibyte sequence”`这样的错误时，这通常意味着系统的默认编码是GBK，而尝试下载进行处理的文本中包含了GBK编码无法表示的字符。此时，需要在命令行里将编码更改为`UTF-8`
2024-12-09 15:30:41
406
2
原创 【论文笔记】Brant: Foundation Model for Intracranial Neural Signal (NeurIPS 2023, poster)
本文提出了Brant，一个用于脑内记录数据（sEEG）的基础模型，**通过预训练学习强大的神经信号表征，提供了一个大规模的现成模型**。Brant在多项下游任务上表现出色，展示了其广泛的泛化能力。模型设计结合时间和频率域的信息，能够捕捉长时间依赖性和空间相关性。实验表明，模型规模增大会提升性能。预训练策略和低资源标签分析验证了其有效性。源代码和预训练权重已公开（**但实际上需要联系作者获取模型code和权重**，使用你的机构邮件联系：[zhangdz@zju.edu.cn]
2024-11-30 15:33:19
1021
原创 【论文笔记】BIOT: Biosignal Transformer for Cross-data Learning in the Wild (NeurIPS 2023, poster)
本文提出了一种灵活的生物信号编码器架构——BIOsignal Transformer（BIOT），**实现了跨数据集的预训练和下游任务微调，能够应对生物信号格式的多样性和特有挑战，如通道不匹配、样本长度变化和缺失值等问题**。BIOT通过将不同的生物信号“token化”成统一的“句子”结构来解决这些问题，每个通道分别标记为固定长度的片段，片段重组形成长“句子”。每个片段添加了通道嵌入和相对位置嵌入，以保持时空特征。
2024-11-27 18:57:06
1442
原创 【论文笔记】BrainBERT: Self-supervised representation learning for... (ICLR 2023, poster)
本文提出了一个可重复使用的Transformer模型——**BrainBERT**，用于处理颅内场电位记录（sEEG），将现代表征学习方法引入神经科学。类似于自然语言处理（NLP）和语音识别（ASR），**BrainBERT通过在大规模未标注神经数据上进行无监督预训练**，实现了对复杂概念的高精度解码，并减少了所需数据量。**BrainBERT能够推广至新被试和不同任务，展示了其鲁棒的表征学习能力**。此外，该模型还用于探索脑区的计算特性，表明未来可以通过表征学习从神经数据中解码更多概念，从而深入理解大脑。
2024-11-26 21:35:14
865
原创 【论文笔记】DeWave: Discrete Encoding of EEG Waves for EEG to Text Translation (NeurIPS 2023, spotlight)
本文介绍了一个名为DeWave的大脑动态转换为自然语言的新框架。DeWave通过将离散编码序列整合到开放词汇的脑电图（EEG）到文本翻译任务中，解决了现有方法依赖眼动追踪或事件标记来分割脑动态的问题。**DeWave使用量化变分编码器来推导离散编码，并将其与预训练的语言模型对齐**。这种离散编码表示有两个优势：**1）它通过引入文本-EEG对比对齐训练，实现了无需标记的原始波形翻译**；**2）它通过不变离散编码减轻了EEG的个体差异引起的干扰**。
2024-11-25 20:25:41
1345
原创 nohup 挂载程序在后台运行
**`nohup` 命令在 Linux 系统中用于运行某个命令或程序，使其在用户注销或关闭终端后继续运行**。这个命令的名称来自 "no hang up" 的缩写，意味着 "不挂断"。当你使用 `nohup` 命令时，标准输出和标准错误通常会被重定向到 `nohup.out` 文件中，除非你指定了其他的输出文件。
2024-11-24 09:00:00
391
原创 使用 PyTorch 库来检查 CUDA 是否可用以及 GPU 数量等信息
使用 PyTorch 库来：检查 CUDA 是否可用，GPU 数量，以及 GPU 的详细信息
2024-11-24 09:00:00
1443
原创 【论文笔记】NeuroLM: a universal multi-task foundation model... (ICLR 2025 Under review)
本文介绍了NeuroLM——用于EEG信号处理的首个通用多任务基础模型。**NeuroLM通过将EEG信号整合到大型语言模型（LLMs）框架中，利用先进的文本对齐神经tokenizer的embeddings、大规模多通道自回归预训练和联合多任务调整来应对基于EEG的脑机接口和医疗保健任务的众多任务**。通过在六个不同的EEG数据集上的广泛实验，展示了模型在多任务学习和推理中的优越性能。
2024-11-23 09:00:00
2067
原创 import torch 报错 ModuleNotFoundError: No module named ‘typing_extensions’
解决 import torch 报错 ModuleNotFoundError: No module named 'typing_extensions’
2024-11-23 09:00:00
519
原创 【论文笔记】Du-IN: Discrete units-guided mask modeling for decoding speech... (NeurIPS 2024)
本文提出了一种新的脑机接口技术，使用立体脑电图（sEEG）来解码语音，这是一种侵入性较小的方法。研究者们收集了一个中文单词阅读的sEEG数据集，并开发了Du-IN模型，该模型通过**区域级别的上下文嵌入**来提高语音解码的性能。Du-IN模型在单词分类任务上超越了所有基线模型，**基于区域级别标记的时间建模和自监督的离散码本引导掩码建模等设计对性能有显著贡献**。这种方法基于神经科学发现，利用特定脑区的区域级别表示，适合于侵入性脑建模，并在脑机接口领域展现出神经启发式AI方法的潜力。
2024-11-22 17:04:31
1103
原创 【Python】几种常用的方法来安装和管理python库依赖
在 Python 开发中，有几种常用的方法来安装和管理库依赖，包括 `requirements.txt`、`environment.yml` 和 `setup.py`。每种方法都有其特定的用途和场景：
2024-11-22 09:00:00
992
原创 Conda 管理项目环境
Conda 是一个开源的包管理系统和环境管理系统，它主要用于安装和管理软件包和创建、管理不同版本的环境。以下是一些基本的命令和步骤，用于使用 Conda 管理项目环境：
2024-11-21 22:32:09
609
原创 【论文笔记】Large Brain Model (LaBraM, ICLR 2024)
Large Brain Model for Learning Generic Representations with Tremendous EEG Data in BCI 介绍了一种新型的大型脑电图（EEG）模型，名为Large Brain Model（LaBraM），旨在克服传统基于EEG的深度学习模型在脑机接口（BCI）应用中的局限性，如模型规模有限、感知能力和泛化性不足。**LaBraM通过无监督预训练来获得对EEG信号的通用感知能力，然后可以针对不同的下游任务进行微调。**
2024-11-21 21:09:45
2583
2
原创 【论文笔记】Speech language models lack important brain-relevant semantics (arXiv 2024)
这项研究探讨了基于文本和基于语音的语言模型在预测大脑活动方面的不同效果。研究发现，当从模型中移除文本、语音和视觉等低层次特征后，基于文本的模型在早期感觉区域的预测能力下降，但在晚期语言区域仍保持较强的预测能力。而基于语音的模型即使在移除这些特征后，也能在早期听觉区域保持强大的预测能力，但在晚期语言区域的预测能力则完全丧失。这表明基于语音的模型可能提供了关于早期听觉区域处理的额外信息，但在模拟晚期语言区域的处理时需谨慎使用。
2024-11-20 23:40:33
997
原创 通过huggingface-cli下载Hugging Face上的公开数据集或模型至本地
通过huggingface-cli下载Hugging Face上的公开数据集或模型至本地
2024-11-20 20:04:47
746
原创 【Python绘图】两种绘制混淆矩阵的方式 (ConfusionMatrixDisplay(), imshow()) 以及两种好看的colorbar
在机器学习领域，混淆矩阵是一个评估分类模型性能的重要工具。它不仅展示了模型预测的准确性，还揭示了模型在不同类别上的表现。本文介绍两种在Python中绘制混淆矩阵的方法：ConfusionMatrixDisplay() 和 imshow()，以及两种好看的colorbar：coolwarm_r，GnBu， 以增强可视化效果。
2024-11-18 20:13:01
2384
1
原创 huggingface-cli : 无法将“huggingface-cli”项识别为 cmdlet、函数、脚本文件或可运行程序的名称
huggingface-cli 是 Hugging Face 官方提供的命令行工具，它可以帮助用户方便地与 Hugging Face Hub 交互。通过这个工具，用户可以执行多种操作，包括模型和数据集的上传和下载等。
2024-11-16 14:31:41
1187
3
原创 【录用率高丨EI稳定检索丨往届100%检索丨 郑大、浙大、河工大等高校联办】第三届信号处理、计算机网络与通信国际学术会议（SPCNC 2024，12月20-22日）
2024年第三届信号处理、计算机网络与通信国际学术会议（SPCNC 2024）将于2024年12月20-22日于三亚召开（线上同步），该EI国际学术会议在连续两届成功举办的基础上，本届大会由郑州大学主办，浙江大学、河南工业大学协办，北京工业大学、河海大学支持举办。
2024-11-16 14:11:33
529
原创 【IEEE出版、八大高校联合举办、稳定EI检索】第四届人工智能与智能制造国际研讨会（AIIM 2024，12月20-22日）
第四届人工智能与智能制造国际研讨会（AIIM 2024）将于2024年12月20-22日在中国-成都召开。会议旨在为从事“人工智能”、“智能制造”、“智能控制系统”、“机器学习”等领域的专家学者、工程技术人员、研发人员提供一个共享科研成果和前沿技术、了解学术发展趋势、拓宽研究思路、加强学术研究和探讨，促进学术成果产业化合作的平台。
2024-11-16 12:53:04
580
原创 【#IEEE独立出版、EI稳定检索##高录用 快见刊 稳检索#】2024健康大数据与智能医疗国际会议（ICHIH 2024，12月13-15日）
2024健康大数据与智能医疗国际会议（ICHIH 2024）将于 2024年12月13-15日在中国珠海举行。本次会议主要围绕“健康大数据与智能医疗”的最新研究展开，旨在荟聚世界各地该领域的专家、学者、研究人员及相关从业人员，分享研究成果，探索热点问题，交流新的经验和技术。我们热烈欢迎相关领域专家学者向ICHIH 2024提交他们的新研究或技术贡献，与来自世界各地的科学家和学者分享宝贵的经验！
2024-11-15 20:05:27
722
原创 【IEEE出版 | 中国石油大学（华东）主办】第六届信息与计算机前沿术国际学术会议(ICFTIC 2024，12月13-15日)
第六届信息与计算机前沿技术国际学术会议(ICFTIC 2024)将在中国青岛举行，会期是2024年12月13-15日，为期三天, 本次会议是由中国石油大学（华东）主办， 欢迎投稿参会！
2024-11-15 19:56:56
629
原创 【macOS】Mac安装consola字体至系统和PyCharm的最简单教程
Mac安装consola字体至系统的最简单教程：Word内置有`Consola`字体，所以我们需要做的就是从系统中找到Word里安装的`Consola`字体，然后安装为本机字体即可。
2024-11-15 09:00:00
435
原创 Mac终端使用brew命令报错：zsh: command not found: brew
当在终端中出现 `zsh: command not found: brew` 这个错误时，可能是因为 **Homebrew** 没有被正确安装，或者它的路径没有被添加到环境变量中。
2024-11-13 14:50:19
10276
2
原创 【大咖云集 | IEEE计算智能学会广州分会支持】第四届信息技术与当代体育国际学术会议（TCS 2024，12月13-15日）
2024年体育科技与运动表现分析国际学术会议（ICSTPA 2024）暨 2024年第四届信息技术与当代体育国际学术会议（TCS 2024）将于2024年12月13-15日在中国广州召开。会议由华南师范大学主办，华南师范大学体育科学学院承办。
2024-11-11 20:05:43
588
原创 【IEEE出版|连续5年稳定EI检索|易中稿！近距离交流院士、Fellow！】第六届国际科技创新学术交流大会暨机械工程与自动化国际学术会议（MEA 2024）
“机械工程与自动化国际学术会议（MEA 2024）”将作为第六届国际科技创新学术交流大会 (IAECST 2024) 的重要分会场，于2024年12月6日至8日在中国广州举行。此次会议旨在集结全球从事机械工程与自动化领域的专家学者、工程技术人员及技术研发人员，旨在提供一个互相交流、分享科研成果和前沿技术、探讨学术发展趋势及拓宽研究视野的国际平台。
2024-11-09 14:14:37
428
原创 【IEEE出版，稳定检索】第六届国际科技创新学术交流大会暨信息技术与计算机应用学术会议（ITCA 2024，12月06-08)
第六届信息技术与计算机应用学术会议(ITCA 2024) 依旧作为第六届国际科技创新学术交流大会的分会场开展，大会将于2024年12月06-08日在中国广州隆重举行。
2024-11-09 13:42:51
839
原创 第二届计算机网络技术与电子信息工程国际学术会议（CNTEIE 2024，12月6-8日）
第二届计算机网络技术与电子信息工程国际学术会议（CNTEIE 2024）将于2024年12月6-8日在中国长春举行。
2024-11-09 13:38:54
485
原创 【ACM出版，IEEE Fellow支持，9大高校联合举办】2024年人工智能、数字媒体技术与交互设计国际学术会议（ICADI 2024，11月29-12月1日)
2024年人工智能、数字媒体技术与交互设计国际学术会议（ICADI 2024)由天津职业技术师范大学主办、天津职业技术师范大学艺术学院承办、中德应用技术大学协办、中央美术学院版画系、中国矿业大学、天津师范大学、天津理工大学、天津城建大学、齐鲁工业大学、惠州城市职业学院、ACM天津分会支持、将于2024年11月29日-12月1日在中国天津举行。
2024-11-08 12:02:45
920
原创 【ACM出版，九大高校联合举办, IEEE Fellow支持】2024年计算机视觉与艺术研讨会（CVA 2024，11月29-12月1日）
2024年计算机视觉与艺术国际学术会议（CVA 2024）作为2024年人工智能、数字媒体技术与交互设计国际学术会议（ICADI 2024)的分会。此次大会旨在汇聚全球在计算机视觉与艺术领域内的研究者、工程师、科学家和行业专家，共同探讨和分享这一跨学科领域内的最新研究成果、技术进展和创新应用。本次会议将提供一个优质的交流平台，参与者将有机会了解领域内的最新研究趋势、面临的挑战与机遇，以及未来可能的发展方向。期待在天津与您相遇，共同推动人工智能、数字媒体技术与交互设计领域的进步和发展！
2024-11-08 11:56:16
645
原创 Python中的extend()方法与+操作符和list.append()方法的异同
如果需要保留原列表不变，并且不介意创建一个新的列表，那么操作符是一个好选择。如果想要就地修改列表，并且需要一次性添加多个元素，那么extend()方法是最佳选择。如果只需要添加一个元素或一个可迭代对象到列表末尾，并且不介意就地修改列表，那么append()方法是一个简单有效的选择。
2024-11-07 23:15:26
159
原创 【 院士、校长、杰青、Fellow等大咖齐聚！IEEE独立出版】第六届机器人、智能控制与人工智能国际学术会议（RICAI 2024，12月6-8日）
第六届机器人、智能控制与人工智能国际学术会议（RICAI 2024）将于2024年12月6-8日在中国南京召开。大会围绕机器人、智能控制与人工智能领域最新的研究热点、核心技术与发展态势，以及行业热点进行探讨，旨在为研究人员与学者提供一个交流和展示研究成果的高端学术交流平台，通过主题演讲、口头汇报和海报展示等形式，传递最前沿科技进展和成果，促进技术的交流和思想的碰撞，推动学科领域的创新与融合发展。
2024-11-06 15:05:45
709
原创 【续3届EI检索|ACM出版、EI检索稳且快】第四届计算建模、仿真与数据分析国际学术会议(CMSDA 2024，12月6日-8日)
第四届计算建模、仿真与数据分析国际学术会议(CMSDA 2024)将于2024年12月6-8日即将在中国浙江省杭州市召开。计算建模、仿真与数据分析国际学术会议至今已成功举办三届，吸引了近300名计算机与大数据等领域的专家学者参会，多所国内外高等院校、科研院所、企事业单位团体参会。在即将举行的第四届会议上，我们邀请到学术领域的知名教授将与参会者分享在计算建模、数据挖掘与分析等领域的最新创新和研究成果。
2024-11-06 14:58:53
436
原创 【SPIE单独出版审核，见刊检索稳定！】2024年遥感技术与图像处理国际学术会议（RSTIP 2024，11月29-12月1日）
RSTIP 2024已通过SPIE - The International Society for Optical Engineering (ISSN: 0277-786X)单独出版审核，见刊检索稳定！2024年遥感技术与图像处理国际学术会议（RSTIP 2024）
2024-11-05 21:16:24
496
原创 【IEEE出版 | EI稳定检索】2024智能机器人与自动控制国际学术会议 （IRAC 2024，11月29-12月1日）
#IEEE出版 | EI稳定检索 # 2024智能机器人与自动控制国际学术会议 （IRAC 2024）
2024-11-05 21:07:59
630
基于CSP的运动想象EEG分类：KF，LR，LDA
2024-12-01
基于猕猴Spike运动解码的不同解码方法：Kalman filter，linear regression, DNN, LSTM
2024-12-01
使用sklearn.ensemble.RandomForestRegressor和GridSearchCV进行成人死亡率预测的项目源码
2024-12-01
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人