我对科研的一点看法

在读文献、做实验的过程中,会逐渐认识到,真正决定一个人科研产出上限的,并不是接触到了多么前沿的技术,而是对本领域基础知识的理解程度。
本科时专业课上走过的神、偷过的懒,早晚有一天会成为限制自己idea的桎梏。
对于绝大多数的博士生来说,那种开天辟地的创新是不现实的,大多数让人眼前一亮的研究可能也仅仅是在本领域基础理论上的一点小小的改进,甚至只是小小的结合。
就我本人对科研肤浅的理解以及薄弱的产出,以下的内容本没有我谈论的资格,然而我还是希望能够在这里讨论一下,若能帮到一些初入科研的本科生或者低年级的硕士生,那就心满意足了。

一、何为好的科研?

文章既然发表了,就必然有它的可取之处,在我看来,文章可以从低到高分为一下几类:

1)旧方法,新应用

这就是所谓的应用创新。

2)新方法,旧应用

新方法又可以分为

- 使用了该领域最前沿的方法
就我看来,这种还是比较少见。
既然是本领域前沿的方法,那么它的创造者恐怕不会放弃机会,把它用在本领域的多个应用。
- 引入了其他领域前沿的方法
这个最为普遍,尤其是在人工智能、深度学习大火的今天。

  • 在本领域旧方法上的创新
### 使用 AutoGPTQ 库量化 Transformer 模型 为了使用 `AutoGPTQ` 对 Transformer 模型进行量化,可以遵循如下方法: 安装所需的依赖包是必要的操作。通过 pip 安装 `auto-gptq` 可以获取最新版本的库。 ```bash pip install auto-gptq ``` 加载预训练模型并应用 GPTQ (General-Purpose Tensor Quantization) 技术来减少模型大小和加速推理过程是一个常见的流程。下面展示了如何利用 `AutoGPTQForCausalLM` 类来进行这一工作[^1]。 ```python from transformers import AutoModelForCausalLM, AutoTokenizer from auto_gptq import AutoGPTQForCausalLM model_name_or_path = "facebook/opt-350m" quantized_model_dir = "./quantized_model" tokenizer = AutoTokenizer.from_pretrained(model_name_or_path) model = AutoModelForCausalLM.from_pretrained(model_name_or_path) # 加载已经量化的模型或者创建一个新的量化器对象用于量化未压缩过的模型 gptq_model = AutoGPTQForCausalLM.from_pretrained(quantized_model_dir, model=model, tokenizer=tokenizer) ``` 对于那些希望进一步优化其部署环境中的模型性能的人来说,`AutoGPTQ` 提供了多种配置选项来自定义量化参数,比如位宽(bit-width),这有助于平衡精度损失与运行效率之间的关系。 #### 注意事项 当处理特定硬件平台上的部署时,建议查阅官方文档以获得最佳实践指导和支持信息。此外,在实际应用场景之前应该充分测试经过量化的模型以确保满足预期的质量标准。
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值