AI工程化、开源分享、文档翻译、代码笔记

一、概览二、获取 Core ML 模型三、将 Core ML 模型集成到你的 App 中1、将模型添加到您的Xcode项目2、在代码中创建模型3、获取要传递给模型的输入值4、使用模型进行预测5、构建并运行Core ML应用程序四、将经过训练的模型转换为 Core ML1、使用 Core ML 工具2、转换模型3、或者，自己编写自定义转换工具五、通过计算机视觉和 Core ML 对图像进行分类1、配置示例代码项目2、创建图像分类器实例3、创建图像分类请求4、创建一个请求处理程

关于本指南Hugging Face Transformers 是什么？库是什么？Hugging Face Hub 是什么？Hugging Face Spaces 是什么？Notebook 是什么？1、创建一个 Hugging Face 账号2、添加账单信息为什么需要信用卡信息？3、创建一个 Space 以托管你的 notebook4、配置 SpaceDocker 模板是什么？为什么我需要选择 Space 硬件选为 GPU？5、登录 JupyterLab6、创建一个新 notebo

【代码】transformers - 阅读理解。

由于模型较大，up主上传时使用了分卷压缩，这里我们先合并解压。然后根据需要，一步步添加下方的方法。

【代码】NLP - 长求总。

主要分为 images 和 annotations 文件。大写字母开头的是猫；小写字母开头的是狗。将零散的数据，根据名字放到不同文件夹。文件，然后下载完整文件。

2023-03-21（二）

Amazon SageMaker Studio Lab 是一个免费的机器学习（ML）开发环境，它免费提供计算、存储（高达 15GB）和安全性，供任何人学习和试验 ML。SageMaker Studio Lab 通过 GitHub 集成加速模型构建，它预配置了最流行的 ML 工具、框架和库，可让您立即开始使用。SageMaker Studio Lab 会自动保存您的工作，因此您无需在会话之间重新启动。您只需一个有效的电子邮件地址即可开始使用，无需配置基础设施或管理身份和访问权限，甚至无需注册 AWS 账户。

加载 WNUT 17 数据集预处理EvaluateTrain推理

本文翻译自：Text classificationnotebook :文本分类是一种常见的 NLP 任务，它为文本分配标签或类别。一些大公司在生产中运行文本分类，以实现广泛的实际应用。最流行的文本分类形式之一是 情感分析，它为文本序列分配 🙂 积极、🙁 消极或 😐 中性等标签。我们鼓励您登录 Hugging Face 帐户，以便您可以上传模型并与社区分享。

【代码】transformers - 预测中间词。

伊织 2022-12-08。

【代码】NLP - 使用 transformers 翻译。

【代码】DL - 图像分割。

一、引言二、机器学习中常用的数据类型三、模型量化简介四、简要总结 LLM.int8(): 大语言模型的零退化矩阵乘法离群特征的重要性MatMul 内部0 退化是什么意思？比原始模型更快吗？五、Hugging Face `transformers` 集成细节1、用法2、`accelerate` 足矣3、在 `accelerate` 设置设备要当心4、总结六、如何在 `transformers` 中使用它硬件要求安装演示示例 - 在 Google Colab 上运行 T5 11B

这个数据集包含 50 个腹部CT扫描，每个扫描件包含 13个器官的标注。如果你只是想训练 mask decoder，可以查看。这里展示了三种方法，来在你的镜像上，快速测试模型。3、下载/编译 MedSAM 源码。2、安装 Pytorch 2.0。2023-07-13（四）上提供了循序渐进的教程。器官的名字等信息可查看。

``pythondef rnn(inputs , state , params) : # inputs和outputs皆为num_steps个形状为(batch_size, vocab_size)的矩阵 W_xh , W_hh , b_h , W_hq , b_q = params。

在这个notebook中我们将使用openue库代码来训练我们自己的三元组联合抽取，使用的基础模型是，训练分为两步，首先训练关系分类模型，其次训练实体抽取模型。之后联合验证。

一、本地文件二、音频文件夹加载脚本三、加载脚本1、创建一个 dataset builder 类Multiple configurations2、添加数据集元数据3、下载和定义数据集拆分4、生成数据集5、将数据集上载到 Hub6、(Advanced) 本地提取压缩文件1）下载并定义数据集拆分2）生成数据集

安装 datasets 包从源安装使用 conda 安装QuickStart音频视觉NLP从 Hub 加载数据集获取数据集通用信息Split配置了解你的数据集Dataset 对象索引切片IterableDataset 对象

数据集说明 - celeba类型1、ae2、vae3、dcgan 对抗生成4、wgan5、wgangp6、cycleganUNet7、musegan8、style transfer 风格迁移9、simple style transfer10、diffusion11、pix2pix

关于 联邦学习相关教程相关论文联邦学习 起源：相比传统分布式学习分类关于 Flower安装 Flower使用 - PyTorch1、client.py2、server.py使用 - HuggingFace1、client.py2、server.py

使用AI 将一种编程语言的代码，转化为另一种语言。你需要自备 OpenAI Key。

2023-03-31(五)仅做个人学习记录，如侵删。

项目说明数据集说明 - 天气数据代码实现数据处理查看数据和分类预处理数据数据集划分加载数据搭建模型网络训练模型训练函数测试函数执行训练模型评估

外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UHF2W6zO-1679315791201)(HuggingFace-timm.assets/image.jpg)]timm是一个包含SOTA计算机视觉模型、层、实用程序、优化器、调度器、数据加载器、扩充和训练/评估脚本的库。您将学习如何加载、发现和使用库中包含的预训练模型。您可以通过更改分类器（最后一层）来微调任何预先训练的模型。它包装有700多种预训练的型号，设计灵活且易于使用。的训练脚本以使用您的数据集。

关于 Evaluate安装 evaluate使用查看 accuracy_metric查看所有 evaluation modules加载指定类型加载 community module选择 metricGeneric metricsTask-specific metricsDataset-specific metricsEvaluator 类使用示例1、Text classificationEvaluate models on the HubEvaluate multiple me

【代码】PyTorch - 梯度下降。

可以利用 `sklearn.model_selection.train_test_split()`，设置 `train_size=0.8`，对所有数据以 4:1 的比例划分为训练集和验证集，得到 train_X 和 eval_X，进而构造 train_y 和 eval_y。优化器选择自适应矩估计 (Adaptive moment estimation, Adam) torch.optim.Adam()，设置学习率 `lr=5e-4`，动量 `betas=(0.9, 0.999)1。下面是训练过程的代码。

关于 tokenizer安装从零构建 tokenizer使用预训练的 tokenizer

为什么需要AI 编译器ChallengeOperatorOptimization传统编译器和 AI编译器IR 差异优化策略差异什么是AI编译器AI编译器对比XLA：优化机器学习编译器TVM：端到端深度学习编译器TENSOR COMPREHENSIONS：神经网络语言编译器nGraph：兼容所有框架的深度学习系统编译器AI 编译器的发展Stage I 朴素的AI编译器Stage II 专用的AI编译器Stage III 通用AI编译器现有 AI 编译器架构IR 中间表达F

项目说明数据集说明代码实现 - 训练四个类别加载数据拆分数据集数据增强可视化数据增强后的图片迁移学习定义训练函数定义验证函数开始训练绘制 loss, acc在test集上评估根据预测结果，计算统计指标计算混淆矩阵测试识别一张图片预测绘制结果优化-多分类切分数据集数据增强迁移学习训练模型2绘制loss, acc

大模型入门 综合RAGPyTorchNLP语音CV综合机器学习

项目说明数据集说明过程说明代码实现1. 加载文本和标签数据2 数据 EDA2.1 清理无用的标点符号2.2 根据 换行符 \n 分割2.3 字典： 单词 --> 索引2.4 标签 --> 1， 0 转换2.5 清理文本太短以及过长的样本2.6 将单词映射为整型2.7 设定统一的文本长度3 数据类型转换3.1 数据类型转换3.2 数据分割，train, val, test3.3 通过DataLoader按批处理数据4. 定义网络模型结构模型训练测试预测（测试）定义预测

项目说明Sentiment140 数据代码实现加载、查看数据划分训练、测试集构建词汇表构建模型定义模型训练过程训练和验证知识点：text 数据增强 data argumentation随机选择一种语言翻译

项目说明数据集说明代码实现导入库定义transform，划分数据集加载数据集查看 dataloaders 信息显示图片记录错误分类的图片自定义池化层迁移学习定义训练函数定义测试函数定义训练流程调用函数绘图计算正确率函数评估计算testloader

数据集说明代码实现编码工具定义数据集整理数据查看数据样例加载预训练模型定义下游模型定义2个工具函数定义训练过程两段式训练测试预测

关于 PaddlePaddle安装安装成功校验使用场景/流程1、开发与训练2、模型预训练模型应用工具开发套件模型库压缩3、部署辅助工具

HuggingFace PyTorhc 命名实体识别查看数据数据处理数据加载定义下游模型metric测试训练加载模型、测试伊织 2023-02-21

conv2d计算Conv2d 函数解析代码示例MaxPool2d计算函数说明卷积过程动画Transposed convolution animationsTransposed convolution animations