踏莎行的博客

whisper.cpp是一个C++编写的轻量级开源智能语音识别库，是基于openai的开源python智能语音模型whisper的移植版本，依赖项少，内存占用低，性能更优，方便作为依赖库集成的到应用程序中提供语音识别功能。以下基于whisper.cpp的源码利用C++ api来开发实例demo演示读取本地音频文件并转成文字。

是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型，以及作为依赖库集成的到应用程序中提供类GPT的功能。以下基于llama.cpp的源码利用C++ api来开发实例demo演示加载本地模型文件并提供GPT文本生成。

是一个C++编写的轻量级开源类AIGC大模型框架，可以支持在消费级普通设备上本地部署运行大模型进行AI画图，以及作为依赖库集成的到应用程序中提供类似于网页版stable-diffusion的功能。以下基于stable-diffusion.cpp的源码利用C++ api来开发实例demo演示加载本地模型文件输入提示词生成画图，这里采用显卡CUDA加速计算，如果没有显卡也可以直接使用CPU。不过，如果没有支持CUDA的显卡，默认采用CPU计算，则可以忽略以上两项。

在pytorch的DDP原生代码使用的基础上，ray和accelerate两个库对于pytorch并行训练的代码使用做了更加友好的封装。以下为极简的代码示例。

在做深度学习AI模型训练过程中，可以充分利用多GPU进行模型加速并行训练。这里基于pytorch的DP和DDP特性实现了数据并行的模型多GPU训练，其中DP支持单机多GPU，任务式多线程的，DDP支持单机多GPU和多机分布式多GPU，任务式多进程的，一般来说DDP的方式能保证多个GPU的负载均衡，但是执行效率要看实际场景和数据量。以下式极简的代码示例。

机器学习的框架众多，为了方便复用和统一后端模型部署推理，业界主流都在采用onnx格式的模型，支持pytorch，tensorflow，mxnet多种AI框架。为了提高部署推理的性能，考虑采用onnxruntime机器学习后端推理框架进行部署加速，通过简单的C++ api的调用就可以满足基本使用场景。

pytorch构建和训练深度学习模型的过程中，往往需要能够直观的观测到可视化的过程，比如画出训练曲线等。对于简单的曲线绘制可以使用matplotlib库做出基本的图，如果需要更加高级的可视化过程，pytorch有好几个工具都可以做到，比如tensorwatch，visdom，tensorboard，实测下来发现tensorboard用起来比较方便和成熟稳定。（pytorch自从1.2版本依赖就正式支持了独立的tensorboard，不再需要去安装tensorboardX了）本文通过简单线性模型训

文本情感分析是机器学习自然语言处理NLP中常见的应用场景，给定一段文本，识别其中的情绪或态度，对其进行分类并标签化。这个手段可以应用于书籍电影评价、用户对产品满意度调查、人机对话感情色彩提取和金融研报分析。本文以美国IMDB电影网站的评论数据为例，用pytorch构建和训练基于循环神经网络LSTM的模型，然后用C++ libtorch加载模型对于给定的电影评论文本进行预测，判断改评论是正面的还是负面的，代码和数据实例参考了动手学机器学习pytorch版环境开发工具windows7/ubunt

谷歌发布了tensorflow2.0后带来全新的使用体验和深度学习实践模式，这里基于新版本进行编译，并使用其C++接口编写示例。环境本文只针对linux系统（windows下尝试过多次后未成功，放弃）ubuntu14.04gcc4.8.5cmake3.10.2编译目的是编译出tensorflow的动态链接库以及准备好tensorflow第三方依赖库安装bazeltensorf...

mxnet是最近流行的深度学习框架之一，使用起来体验不错，不过平常都是用python接口写程序，本文介绍如何在linux下从源码编译mxnet并使用其C++接口编程。本文所使用的环境是ubunt14.04，g++4.8，如果是其他类unix发行版（fedora，mac os）同理。目标编译出libmxnet.a，libmxnet.so，本文只编译cpu版 链接共享库，调用C++接口...

大多数情况下，mxnet都使用python接口进行深度学习程序的编写，方便快捷，但是有的时候，需要把机器学习训练和识别的程序部署到生产版的程序中去，比如游戏或者云服务，此时采用C++等高级语言去编写才能提高性能，本文介绍了如何在windows系统下从源码编译mxnet，安装python版的包，并使用C++原生接口创建示例程序。目标编译出libmxnet.lib和libmxnet...

mxnet支持将已训练的模型导出成网络和参数分离的json和params文件，方便离线加载进行预测和验证，同时由于mxnet支持python，C++，scala等多种编程语言，这一特性使得mxnet可以在生产系统上部署「fine-tuning」本文以一个简单那的线性回归训练模型的例子，来介绍如何在mxnet中训练模型，导出模型，加载模型，进行后续预测，其中预测部分采用了python和C++双版...

mxnet作为一个强大的机器学习工具，一直缺乏像tensorflow一样的可视化工具，dmlc社区最近将tensorflow的tensorboard部分代码抽出来做成了一个适配mxnet的记录工具mxboard，使得mxnet里面打印出来的log，可以在tensorboard里面实现可视化mxnet自带可视化在这之前，可以先看看mxnet之前的网络可视化方式，mxnet内部集成了gra...