zephyr_wang的博客

2022年，Google团队在论文《Chain-of-Thought Prompting Elicits Reasoning in Large Language Models》中提出了Chain-of-Thought (CoT)方法，以解决大语言模型在数学、常识和符号推理等任务中的局限性。研究发现，单纯增加模型规模并不能有效提升这些复杂任务的性能。CoT通过修改提示词结构为<input, chain of thought, output>，引导模型生成中间推理步骤，从而增强其推理能力。这种方法通

红色箭头形成闭环控制，保持平衡并有速度。当静态平衡时，就只需要平衡PID，无需无刷电机和速度PID

本文主要根据“轮腿机器人Hyun”总结的硬件部分。

本文根据2019年5月《OpenPose: Realtime Multi-Person 2D PoseEstimation using Part Affifinity Fields》翻译总结。不过openpose在2017年就发了。这个是更新版。人体姿态估计面临多种挑战：1）每张图片可能包含未知数量的人，他们出现在不同的未知，也不同的大小尺度；2）人体之间的交互，如接触，产生了复杂的空间预测；3）预测时间随着人的数量增加，增加了在实时场景预测的难度。

这个在上面版本基础上增加了图像显示系统、图像识别、手势识别、图像生成。所以硬件增加了显示屏、摄像头。B站视频：【给小强机器人增加了眼睛（深度相机），能看能听能说能画了-哔哩哔哩】

我们显示了1）如何使用CNN学习了一个图像成分的语义丰富的词汇表,这部分也就是VQGAN；2）利用transformer在高分辨率图像中有效地对其组成（VQGAN压缩过的图片码书表示）进行建模。整体模型也就如下图，包括两部分，VQGAN和transformer。VQGAN先进行图片的压缩，然后输入到transformer。

本文根据google research 团队2023年1月的《Muse: Text-To-Image Generation via Masked Generative Transformers 》翻译总结的。图像生成有GAN、扩散（diffusion）、自回归模型等，而Muse采用mask图像的建模方法，非扩散、非自回归。给定从预训练大预言模型（LLM）中提取的文本embedding，Muse是被训练来预测随机mask的图像token。

主要采用jetson上编写python代码实现，支持离线语音唤醒、在线语音识别、大模型智能文档、在线语音合成。

我们提出了UNIMO（UNIfied-MOdal ），可以同时使用单模态数据和多模态数据，在理解和生成任务。

人工智能领域视频模型大体也经历了从传统手工特征，到卷积神经网络、3D卷积网络、双流网络、transformer的发展脉络。

WeKWS是一个可以投入生产使用、容易构建、易应用的端到端（end-to-end (E2E) ）关键词识别工具（Keyword spotting ）。Keyword spotting（KWS）指从连续语音流中识别预定义的关键词。唤醒词识别（wake-up word（WuW））是KWS的一种。

我们模型latent diffusion models (LDMs)是两阶段的。第一部分就是下面左半部分（红色），对图片进行压缩，将图片压缩为隐变量表示（latent），这样可以减少计算复杂度；第二部分还是扩散模型（diffusion与denoising），中间绿色部分。此外引入了cross-attention机制，下图右半部分，方便文本或者图片草稿图等对扩散模型进行施加影响，从而生成我们想要的图片，比如根据文本生成我们想要的图片。

ERNIE-ViLG , DALL-E ,Cogview , Make-A-Scene , and Parti 、LDM , DALL-E 2 , Imagen等

TensorFlow Lite 是一组工具，可帮助开发者在移动设备、嵌入式设备和 loT 设备上运行模型，以便实现设备端机器学习。

梯度下降优化器：SGD -> SGDM -> NAG ->AdaGrad -> AdaDelta -> Adam -> Nadam -> AdamW

ResNet倾向于捕获高频信号，而对低频信号较困难。ViT（Swin）倾向于捕获低频信号，忽略高频信号。而Next-ViT同时捕获高低频

timm(图像Imagenet预训练模型库)

Sparse Transformers，即稀疏Transformers。

ChatGPT: Optimizing Language Models for Dialogue。如标题，ChatGPT为了对话使用的

InstructGPT:chatGPT的姊妹模型

GPT-3的 Few-Shot (FS)、One-Shot (1S)、Zero-Shot (0S)效果接近有时超越fine-tune模型的效果。

语音特征：spectrogram、Fbank(fiterbank)、MFCC

语音识别与语音合成--百度PaddleSpeech

语音识别预训练模型Hidden-Unit BERT (HuBERT)

语音识别预训练wav2vec 2.0

语音识别VQ-WAV2VEC+BERT

WAV2VEC：语音识别非监督预训练模型

语音识别kaldi初体验

语音识别DNN-HMM

语音识别GMM-HMM

语音识别工具kaldi简介

ViT有两个特点，一是采用纯Transformer，没有CNN；二是基于大量的预训练数据。

《Hierarchical Text-Conditional Image Generation with CLIP Latents》翻译总结的。如题，基于CLIP进行图片生成

Contrastive Language-Image Pre-training，简称CLIP，即对比学习语言-图像预训练模型

各种生成模型：VAE、GAN、flow、DDPM、autoregressive models

rasa http restful api

rasa 对话机器人demo

WBF在融合多个模型的结果上效果好于NMS、soft-NMS，但如果只是处理单个模型，其效果没有NMS、soft-NMS的好，是因为NMS、soft-NMS在处理很多低可信度的box过滤上效果好吧

1 简介本文根据2018年《NATURAL TTS SYNTHESIS BY CONDITIONING WAVENET ON MEL SPECTROGRAM PREDICTIONS》翻译总结的。通过标题可以看出来Tacotron 2包括Tacotron 和WAVENET。Tacotron 2是一个可以直接从文本合成语音的神经网络模型。有两部分构成，第一部分是循环序列到序列的特征预测网络，其将字符embedding转换为mel-scale 频谱（SPECTROGRAM）；第二部分是修改的WaveNet模型

1 简介本文根据2019年《K-BERT：Enabling Language Representation with Knowledge Graph》翻译总结的。如标题所述就是BERT+知识图谱。本文贡献如下：1） 我们介绍了一个知识集成的语言表达模型，取名K-BERT。其兼容BERT，同时可以融合专有领域知识。解决了Heterogeneous Embedding Space（HES，多样化的Embedding空间）和Knowledge Noise (KN)问题。HES指文本中词语的embedding