- 博客(19)
- 资源 (9)
- 收藏
- 关注
RSS订阅原创 通过在线编程彻底搞懂transformer模型之四：Positional Encoding位置编码
在本系列对大语言模型Transformer的讲解中，我会尽量把自己的理解用代码来复现，保证自己讲解的内容是可操作，可重复，可试验的，大家自己亲自写代码，观察输出，调试并找出问题；如果大家对我讲的内容和分享方式感兴趣，请大家关注点赞和收藏，后面还会有更多内容呈现
2024-04-03 16:32:53
538
1
原创 通过在线编程彻底搞懂transformer模型之三：为啥大语言模型都做不好数学题
一个很大的数字它会拆分成几个小的Embedding，这样即使是大语言模型有一定的数学能力， 它也无法理解被拆分成的多个Embedding的数字组合起来的意义，更别提用他们来进行计算了。每一个内嵌可能需要很多位表示 比如一个常见的编码可能是768位或者是2048位 这么多位的数据来表示一个词 是因为一个词里面包含了它的语义信息。我们可以拿这些词的embedding来计算不同词组之间的关联程度 比如河马与斑马之间的距离 就要比盒马与汽车之间的距离要近 在计算机里面可以用一个叫 Product点积的方法来计算。
2024-03-28 14:41:07
461
原创 通过在线编程彻底搞懂transformer模型之二：attention注意力机制
Attention充分利用了embedding中的语义信息，创造一种找到在上下文中词组关联程度的机制，这种机制又能很好的利用GPU的并行能力，在众多模型机制中脱颖而出，在近年很多领域都有斩获。我想好一会儿发现attention用文字并不太好说清楚，而且可能写了一大堆，大家看完的几率也不太大。索性就把视频链接放在下面，自认为用视频能说的比较清楚。大家也可以在我给大家提供的在线编码的网页上去试验。有什么问题大家可以在下面留言。我看到后会尽量给大家解决。，我在这篇文章着重介绍attention注意力机制。
2024-03-24 11:44:23
402
1
原创 通过在线编程彻底搞懂transformer模型之一：embedding嵌入
我们假设一组词嵌入只需3个数字表示，我们把这3个数字对应3维空间的坐标xyz轴，‘斑马’所在的位置，与‘羚羊’所在的位置相对比较近，因为这两个东西有相近的特征；当然现实中的嵌入至少都是50位数字表示，我们无法放到空间坐标中去；第二个里面指的是水果，我们可以看到它们的embedding不一样，通过点积发现单独“苹果”这个词的位置介于这两个语境的“苹果”的中间。这个页面是我给大家专门准备的，在网页浏览器里面可以运行的AI编程环境，大家不用安装，编程需要的库，模型都已经准备好，直接输入代码就可以运行；
2024-03-15 10:35:48
2692
1
原创 如何通过脚本将虾米音乐的收藏列表导出成excel
今日，虾米发布公告称其将停止运营，届时所有收藏的音乐，专辑等等都不再存在，这十几年陪伴我们成长的，给我们带来快乐的网站和app将不再存在。虾米官方给出了将收藏导出的办法，一个是通过其它音乐app，一个是用电脑打开网页，将收藏页保存到本地。我试了一下通过网易云音乐导入虾米的收藏，但是不知道为何有大概1/3的歌曲不能导入；另外一种保存网页的方法。。。我看还是算了。好在我们有万能的javascript脚本，可以将收藏导出成excel，借以保留我们的回忆。脚本获取歌曲列表的脚本var script =
2021-01-08 17:24:00
1120
1
原创 ml5.js人工智能编程入门教程(5): 图像风格转换以及ml5.js总结
上节课，我们通过自定义的神经网络，从头训练实现了曲线拟合的例子。今天我们要来学用ml5.js来做一个风格迁移的例子。风格迁移是将一类风格应用到一张图片上，改变这张图片的风格。风格迁移的原理是通过从一类风格的图片通过卷积网络训练抽取出风格，再将目标图像抽取出来的内容数据混合在一起，这就形成了带特定风格的图像。所以风格迁移主要有两个步骤，一是在一种特定样式上训练模型，二是将此样式应用于另一张图像。和其它许多神经网络模型一样，ml5已经将相对成熟的神经网络移植过来，用别人已经训练好的模型数据，可以直接在浏览器
2020-10-14 22:13:44
1345
原创 ml5.js人工智能编程入门教程(4): 创建和训练自己的神经网络
上接课我们都是采用别人实现好的成熟的网络模型mobileNet来实现Regression 回归 & 保存/加载模型，用预先训练好的网络，通过featureExtractor，只对提取出的特征进行训练，站在巨人的肩上。这样做的有点是可以通过不多的训练得到较好的效果。但是，并不是我们所有的问题都有现成的网络模型，很多时候我们需要自己创建一个新的网络，并加以训练。这节课我们就要用ml5来自己创建一个神经网络，从头开始训练这个模型，来完成任务。
2020-09-28 21:27:28
1818
原创 ml5.js人工智能编程入门教程(3): Regression 回归 & 保存/加载模型
上节课，我们学习了用ml5来进行 Feature Extractor 特征提取、训练和分类 。这节课，我们要来用一个有趣的例子来学习ml5的regression回归的用法。回归是想得到一个线性的答案，比如预测房价，识别物体在图片中的位置，回归的答案是一个连续的值。而分类是想得到一个离散的值，比如我们想分辨一张图片中的水果是苹果还是梨，虽然分类结果会给一个0-1的confidence值，但是我们想要的结果就是知道它是苹果还是梨；
2020-09-22 18:24:21
1738
2
原创 ml5.js人工智能编程入门教程(2): Feature Extractor 特征提取、训练和分类
上一章我们用了MobileNet已经训练好的模型进行分类，这一节，我们来讲讲什么是Feature Extractor 特征提取，以及在此基础上训练和分类。观看本教程的视频：https://www.bilibili.com/video/BV1az4y1Z742?p=2一、开头一段代码还是打开ml5.js的在线编程网页：https://chn.ai/ml5.html，录入下面代码，点击运行。第一次运行的时候浏览器会请求您电脑摄像头的权限，点“允许”。<!DOCTYPE html><
2020-09-22 17:19:03
3078
原创 ml5.js人工智能编程入门教程(1): ml5.js介绍 & 实现图像分类
ml5.js 是基于tensorflow.js的深度学习框架，它安装简便，API简单易懂，直接在浏览器里面运行，适合作为深度学习的入门以及非人工智能专业的深度学习的工具。本系列课程将以一个个实际的例子，带领大家编写ml5.js的深度学习代码，亲自动手进入人工智能的世界。在学习本系列教程过程中，请大家一定要：写代码，自己写代码，自己写有趣的代码！！！ 观看本教程视频 一、ml5.js介
2020-09-22 12:01:16
8781
2
原创 怎么样才能考好PMP，该如何学习
怎么样才能考好PMP，该如何学习？ PMP考试的内容全都是在PMBOK范围之内，但是又不是PMBOK内容的简单重复。我们学习和准备PMP考试，需要理解，记忆和掌握PMBOK的关键知识点，在这个基础上进行引申，把PMBOK整个吃透，消化。达到这一点，PMP高分过关也不是什么难事。即便是通过考试后，在我们实际工作中，理解并印在脑海中的PMBOK项目管理方法，工具技术，模板文档，处理流程对实际...
2020-09-08 14:11:19
307
原创 人类精神能力之野望 - 脑机接口 Neuralink
硅谷钢铁侠马斯克新宣布脑机接口Neuralink v0.9，成功连接到猪脑，接下来准备连接人脑。从特斯拉，spaceX，真空隧道到脑机接口，马斯克的野心的边界到底在哪里？ 马斯克脑机接口宣布突破 Neuralink - 重新定义人类未来？ ...
2020-08-31 11:03:51
229
原创 GPT-3: 最强人工智能？（视频版）
GPT-3是OpenAI公司最新的人工智能语言处理模型，它有强大的功能，用了亿万级的文本进行训练，除了可以自动生成文章，还会自动编程等。GPT-3会是史上最强人工智能吗？ GPT-3: 最强人工智能？ ...
2020-08-06 22:47:50
1077
1
原创 python list 列表操作详解和速查，赶快收藏再也不用到处找了
python的list列表是一个非常基本，也是非常有用的一个数据结构。它的用法再次阐释了python语法的简洁，强大。掌握了python list列表的用法，可以极大的提高开发效率；本文通过例子，详细介绍了python3中列表list的各种用法，小伙伴们再也不用东奔西跑到处找资料，关于python列表list的用法，这篇文章基本都有举例。python list列表的基本定义list在python是有序且可更改的列表，允许重复的值。>>> a = [1,2,3]>>>
2020-08-06 10:35:44
843
原创 使用哪个开发语言的码农最幸福？
最为码农，平常经常能听到许多刻板印象，例如“ PHP是最烂的语言，处于鄙视链的最底层”或“ Python是给菜鸟初学者用的”。于是有好事者做了一些数据统计，使用github和来自开发人员调查的数据找到真相。数据采集Github是任何开发人员都熟悉的平台。它不仅可以用作版本控制工具，还可以收集存储库和项目统计信息，用户配置文件数据和注释。这样就可以访问有关年龄，性别和个人资料照片的信息。 Microsoft Face API正是完成此任务的正确工具，通过人脸识别，可以获取github上各种项目开发者的性别
2020-08-06 10:34:47
249
原创 只需几行代码，用python进行数据分析并生成精美的report - Pandas Profiling
简介Pandas Profiling包是python里面又一个神奇的工具，它能对数据集（csv或者数据库）进行多个维度的分析，生成html格式的report，配以专业的图表，漂亮又炫酷。最关键的是，这个分析和生成report的过程是自动的，我们只需要简单的几行代码即可搞定。如果小伙伴们已经熟悉Pandas Profiling包，那么这篇文章对您可能没太大用处，就没有必要再往下面读了。但是。。。如果您从未听说过Pandas Profiling，或者只是听说过但没有具体见识过它的功能。那么这篇文章可能会对
2020-08-06 10:34:33
2458
原创 GPT-3: 最强的人工智能？
当未来有一天，只要我们头脑中有个想法，不需要懂得编程，也不需要聘请开发人员，更不需要等待短则几个星期，长则几年的交付，通过人工智能可以快速帮把我们的想法变成代码，并发布到云平台上。一个APP或者一个游戏，从一个想法到上线运行 只需要一个人几天时间就可以全部搞定，这是不是听起来太点天方夜谭？在2017年的时候，一些研究人员的预测，最快在2040年我们或许会开发出一个能进行自动编程的AI系统。可是时间刚刚过了3年多，到了2020年7月，GPT-3就横空出世。它可以根据简短的描述生成可执行的代码，不仅可以生成前.
2020-08-05 16:47:33
9050
原创 python列表推导式(list comprehension)的用法，速查
前言Python有一个相当特殊也相当强大的语法叫列表（list）的“推导式”（comprehension），相信大家也都听说过。>>> [a for a in range(5)][0, 1, 2, 3, 4]以前python的list comprehension被翻译成“列表解析”或者“列表解释”，自从官方的中文文档出来后，我们发现在官方comprehension翻译成“推导式”，个人认为这个翻译更准确。一句话概括，comprehension的本质就是python里面创建列表的
2020-06-16 09:42:17
9526
原创 python3 时间相关用法汇总速查
本文总结python3一般开发中常用的时间，日期的操作，格式转换，时区等方法和对象；写法相对简洁，作为抛砖引玉和快速查阅的作用。目录获取当前时间格式化时间字符串解析时间字符串时间日期加减计算时间的长短时间对象转Epoch时间关于时区timezone，UTC等获取当前时间用time模块获取当前时间>>> import time>>> t = time.localtime()>>> current_time = time.strftime("
2020-06-14 10:11:52
386
1
算法设计与分析实验报告 实验 旅行商问题
2024-04-07
毕业设计车床毕业设计 针对把CA6132车床改造为经济型数控车床的目标，对车床的进给系统进行设计
2024-04-07
JavaScript是一种基于对象（Object）和事件驱动（Event Driven）并具有安全性能的脚本语言
2024-04-07
Go语言map（Go语言映射）
2024-04-07
初识VisualBasic
2024-04-07
Scratch课程-scratch大纲
2024-04-07
Ruby入门教程：只需20分钟,你将了解到ruby语言的基础知识
2024-04-07
rust协议书，详细描述了Rust语言的规范、标准库和语言生态系统
2024-04-07
Kotlin - 教程Kotlin 是一种在 Java 虚拟机上运行的静态类型编程语言
2024-04-07
fortran第二章 fortran基础知识
2024-04-07
SWIFT介绍，由于SWIFT的格式具有标准化，目前信用证的格式主要都是用SWIFT电文，因此有必要对SWIFT进行了解
2024-04-07
java实验报告实验报告java实验报告Java
2024-04-07
数据可视化实验报告之财经数据可视化
2024-04-07
携程人工智能与机器学习
2024-04-07
基于STM32的嵌入式系统原理与实践
2024-04-07
2021年网络安全网络安全
2024-04-07
国泰安-ibm移动应用平台整体解决方案
2024-04-07
简易网络爬虫程序的开发
2024-04-07
NET猜数游戏的设计与开发(源代码+论文)
2024-04-07
软件测试ppt介绍文档
2024-04-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人