- 博客(24)
- 收藏
- 关注
RSS订阅原创 notes for datawhale summer camp chemistry task3
循环神经网络：由于所有的前文信息都蕴含在一个隐向量里面，这会导致随着序列长度的增加，编码在隐藏状态中的序列早期的上下文信息被逐渐遗忘。卷积神经网络：受限的上下文窗口在建模长文本方面天然地存在不足。如果需要关注长文本，就需要多层的卷积操作。关于Transformer，不必赘述，参考：[[…/…/大模型/ChatGPT原理与实践/ChatGPT基础科普#2. Transformer|ChatGPT基础科普 - Transformer]]
2024-08-02 18:40:07
901
1
原创 notes for datawhale summer camp chemistry task2
本次的任务是进一步了解 AI4Science 相关知识，然后使用深度学习的方法建模。你可以从中：了解一些相关历史、了解 SMILES 和分子指纹，并对 RDkit 工具包有更深的认识；探究深度学习方法如何建模化学中的序列问题。随着计算机技术的发展，将化学知识用计算机存储的方法也一直在发展和进步。
2024-07-30 11:33:09
490
原创 notes for datawhale summer camp chemistry task1
输入：底物和条件，（SMILES）输出：产率，（float，0-1之间）
2024-07-28 11:01:30
343
原创 notes for datawhale summer camp NPL task3
基于循环或卷积神经网络的序列到序列建模方法是现存机器翻译任务中的经典方法。然而，它们在建模文本长程依赖方面都存在一定的局限性。为了更好地描述文字序列，谷歌的研究人员在 2017 年提出了一种新的模型 TransformerTransformer 视频讲解它摒弃了循环结构，并完全通过注意力机制完成对源语言序列和目标语言序列全局依赖的建模。在抽取每个单词的上下文特征时，Transformer 通过自注意力机制（self-attention）衡量上下文中每一个单词对当前单词的重要程度。
2024-07-18 11:27:12
745
原创 notes for datawhale 2th summer camp NLP task2
然而，在基于自注意力机制的翻译模型中，除了输出层，解码器还比编码器多一个编码解码注意力子层，用于帮助模型更好地利用源语言信息。虽然GPT-4的即时语音对话功能让人印象深刻，但是这种从自上到下搭建，自下到上用数据填出一个成熟智能体的做法，还是无法让我心悦诚服。机器翻译疑问评价方法，分为人工评价、无参考答案的机器评价、有参考答案的机器评价，各有优劣。最近开始怀疑，现有的大模型，或者说这种架构的AI，是否真的能实现AGI，或者实现机器情感。文本长度越长，注意力机制对循环神经网络的翻译效果的提升就越大。
2024-07-16 10:57:17
419
原创 notes for datawhale 2th summer camp NLP task1
*目标：**跑通baseline，体验NLP模型解决问题的流程，基本了解赛题要求，理解赛题场景：非常低。
2024-07-11 19:59:11
1152
1
原创 simple python wordcloud from markdown
【代码】simple python wordcloud from markdown。
2024-07-08 15:35:25
113
原创 notes for llm-universe C5
现在，我们已经构建了一个简单的、一般化的大模型应用。以调用、发挥大模型为核心的大模型开发相较传统的 AI 开发更注重验证迭代因此，在使用 LLM 构建应用程序时，你可能会经历以下流程：首先，你会在一到三个样本的小样本中调整 Prompt ，尝试使其在这些样本上起效。随后，当你对系统进行进一步测试时，可能会遇到一些棘手的例子，这些例子无法通过 Prompt 或者算法解决。这就是使用 LLM 构建应用程序的开发者所面临的挑战。
2024-06-29 00:33:27
962
原创 notes for llm-universe C4
Streamlit是一个用于快速创建数据应用程序的开源 Python 库。它的设计目标是让数据科学家能够轻松地将数据分析和机器学习模型转化为具有交互性的 Web 应用程序，而无需深入了解 Web 开发。它不需要你去编写任何客户端代码（HTML/CSS/JS），只需要编写普通的 Python 模块Streamlit 提供了一组简单而强大的基础模块，用于构建数据应用程序：st.write()：这是最基本的模块之一，用于在应用程序中呈现文本、图像、表格等内容。
2024-06-26 22:03:00
665
原创 notes for llm-universe C3
在机器学习和自然语言处理（NLP）中，词向量（Embeddings）是一种将非结构化数据转化为实数向量的技术。实数向量可以被计算机更好地理解和处理嵌入背后的主要想法是，相似或相关的对象在嵌入空间中的距离应该很近//学了线性代数，但没学好空间思维在 RAG 方面词向量的优势主要有使用嵌入模型来构建词向量，可以使用 Embedding API 和本地的嵌入模型。
2024-06-24 22:32:05
848
原创 notes for llm-universe C2
Prompt 最初是 NLP（自然语言处理）研究者为下游任务设计出来的一种任务专属的输入模板，类似于一种任务（例如：分类，聚类等）会对应一种 Prompt我们每一次访问大模型的输入为一个 Prompt，而大模型给我们的返回结果则被称为 Completion。
2024-06-20 21:51:45
995
原创 notes for llm-universe C1
LLM 有时会产生与客观事实不符的信息，导致用户接收到的信息不准确。RAG 通过检索数据源，辅助模型生成过程，确保输出内容的精确性和可信度，减少信息偏差。LLM 基于静态的数据集训练，这可能导致模型的知识更新滞后，无法及时反映最新的信息动态。RAG 通过实时检索最新数据，保持内容的时效性，确保信息的持续更新和准确性。LLM 生成的内容往往缺乏明确的信息来源，影响内容的可信度。RAG 将生成内容与检索到的原始资料建立链接，增强了内容的可追溯性，从而提升了用户对生成内容的信任度。
2024-06-17 21:31:54
1344
原创 notes for CSAPP chapter 2
1850年前后，乔治·布尔(George Boole)注意到通过将逻辑值TRUE和FALSE编码为二进制值1和0，能够设计出一种代数，布尔代数(Boolean algebra)，以研究逻辑推理的基本原则布尔运算可以拓展到位向量的运算&, |, ^计算机执行的“整数运算“，实际上是一种模运算形式结果运算可能溢出无符号形式和补码形式的运算数，都有完全一样或者非常类似的位级行为。
2024-05-31 14:04:12
1043
原创 notes for p2s chapter 6
python本身是没有多行注释的，三个引号包裹的字符串是表达式，python会运行并马上扔掉它。可以在字符串后面使用 反斜杠。//和C的文件操作有点像。//C的rewind()之后还要读取，则应该。
2024-05-22 16:30:51
453
1
原创 notes for p2s chapter 5
如果不明确循环的次数，可以使用条件判定的while循环。与环境交互后，在特定条件下终止的循环。循环次数很大时，考虑优化，效果明显。：在知道循环范围的情况下使用。第三个参数为步长，默认为1。重复执行特定次数的操作。
2024-05-20 10:08:35
326
原创 notes for p2s chapter 3
可以编写Helper Function，来存储那些经常被用到的一系列操作。//C语言中，printf(“%d”, x=5+4);C语言里需要类型转换的赋值，在Python里可以直接赋值。想起搞C语言课程设计时，一个函数塞一堆代码，太臃肿了。print()可以打印值或表达式，不能打印语句。，但是在非常少的一些场合你会需要用到它。//缩进两个或四个空格，但是要一致。//刚刚学了浮点数的表示，确实如此。函数内的局部变量在函数外没有定义。没有返回语句时，函数返回None。函数不在大，小而美亦可。
2024-05-16 09:43:54
735
原创 notes for p2s chapter 2
isinstanc()比type()更具有稳健性。Python 中的一些基本类型。Python 内置了一些常量。//机器学习：分类与回归。python的最底层是C。运算符的运作方式会受到。
2024-05-15 10:20:21
845
2
原创 notes for p2s chapter 1
最初的hello world C代码，没有#include和return 0。//python确实是可以对字符串方便操作，当初学C反而不习惯。Brian Wilson Kernighan，C语言之父。程序员讨厌别人的代码不写注释，也讨厌给自己的代码写注释。hello world，检测运行环境的简单手段。//print的名字来自历史上的打孔计算机。相比于C，python第一行代码简单多了。多行注释，‘’’ or “”"包裹起来。编程中的函数类似数学上的函数。启航，Python基础。
2024-05-13 11:20:37
321
1
原创 notes for p2s chapter 0
miniconda做的就是将不同版本的软件分装到不同的“盒子”，保障正常使用。powershell可以学一学，和ubuntu shell有点像。虚拟环境，可以解决需要同时使用不同版本的软件遇到的冲突问题。安装miniconda, vscode, git。不明觉厉，还是不太懂镜像站的工作方式。//miniconda不是虚拟机。vscode要会用，不得不用了。下载资源的时候，避免使用代理。
2024-05-13 00:09:12
341
C语言图形化应用程序编程课程设计作品：BorlandC实现windows explorer的主要功能
2024-05-11
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人