splendid_java的专栏

博主最近一直使用阿里的文生图模型（通义万相），生成一些图片。这个模型的用途，可通过阿里云官网的模型服务（MaaS），略窥一二：通义万相-文本生成图像是基于自研的Composer组合生成框架的AI绘画创作大模型，能够根据用户输入的文字内容，生成符合语义描述的多样化风格的图像。通过知识重组与可变维度扩散模型，加速收敛并提升最终生成。如果你感兴趣，可直接通过官网（快捷方式）查看相关内容。接下来，我们直接快速的切入本文主题吧。

翻看日历，今年的日子已划到了2024年10月19日，今天的北京是一个空气清新，略感秋冻的“湛蓝湛蓝”的日子。寒露已过，霜降即来，这显然是一个晚秋的标志，奈何岁月匆匆。不过北京的秋天，总是能唤醒人们对自然的情趣。“北平之秋就是人间的天堂，也许比天堂更繁荣一点呢”。当你置身其中， 也许会赞叹吧？期待这个秋天缓缓落幕！——碎碎念北京的秋天没有3个月聊不完，咱们还是先聊聊别的吧，换个频道吧。数据分析是目前行业领域关键的业务技能了，不管你是什么行业、什么领域，几乎都离不开它。

使用python开发的应用在迁移部署的时候，你一定会使用pipreqs（当然也有其他选择）吧？这是一款强大的依赖管理工具。其运行流程如下示意：它是PyPI中的重要成员。这是一篇旨在说明如何正确的使用pipreqs管理你的python project依赖的专业技术文章，通过安装和使用过程，详细说明它的作用。并且可以指导你在实际应用过程中遇到典型问题时的解决方案和思路。

博主准备在Centos8部署一套Python环境，历经千辛万苦，终于成功了。在安装过程中遇到的“坑”也是各种各样，现做一记录，分享各位，避免浪费时间。本文重点介绍了Python最新版的安装过程，逐一分解，操作简便。在linux环境中，你可以安装需要的库，进行下一步的开发喽。

Python作为数据科学、机器学习等领域的必选武器，备受各界人士的喜爱。当你面对不同类型、存储于各类介质的数据时，第一时间是不是要让它亮个相？做个统计，画个图表，搞个报表… 等等。正如Java中的JdbcDriver一样，Python中也有同样角色的库。比如今天博主正要介绍的，它是Python中操作数据库的常用工具，我们先从它说起吧，Let’s go~Python中连接mysql有各种工具支持，博主推荐使用，它是MySQL官方提供的标准工具，依赖少，查询方便。

Embeddings（嵌入）是表示任何类型数据的AI原生方式，它非常适用于各种AI驱动的工具和算法中。它们可以表示文本、图像，很快还可以表示音频和视频。有许多创建嵌入的选项，无论是在本地使用已安装的库，还是通过调用API。而Chroma为流行的嵌入提供商提供了轻量级的封装，使其易于在你的应用程序中使用。你可以在创建Chroma集合时设置一个嵌入函数，该函数将自动使用，也可以自己直接调用它们。下面是提供嵌入函数的厂商，当然也包括国内厂商，可以自行了解，这里不再罗列。

时至今日，经过2年的“攻城拔寨”，大模型显然吹进了“寻常百姓家”。如果你还不了解ChatGPT，不了解通义、文心、混元等国内任意一款大模型产品，那么请来博主这里坐坐，我们“边看边聊”。随着ChatGPT的问世，仿佛一夜间，把AI的门槛从金字塔顶端拉至了腰身，甚至脚跟处，神不神奇？当然神奇，这个领域曾经是机器学习擅长的圈子，除非你具备相当的基础、甚至专业能力，否则可以说“与你无关”。如今呢，AIGC遍天下，工具化浪潮代替了原始的生产方式，你不需要懂数学、懂计算机，什么算法、数据都可以抛在脑后。

在LLM（大语言模型）盛行的今天，博主越来越感觉到AI（人工智能）的潜力被“无限”激发了。它为什么会突然间完成“鱼跃龙门”呢？博主认为基础设施（也可以称为算力）的完善和“天才”式的构思，是本次“盛宴”的幕后功臣。一个点子，可以改变一个领域，甚至重塑我们的工作习惯和生活方式。我想LLM作为AI新势力，有可能改变整个AI的生态。今天，博主通过一个示例，带领各位亲自构建一个大模型应用。说起应用，我想各位应该能够理解了。比如一个聊天机器人、一个翻译助手，一个问答助手、又比如是一个创作助手等。

PyTorch是一个深度学习框架，当我们在本地调试大模型时，可能会选用并安装它，目前已更新至2.4版本。该文用于解决PyTorch2.4安装后，出现了OSError: [WinError 126] 找不到指定的模块，Error loading "PATH\torch\lib\fbgemm.dll" or one of its dependencies.的问题，如存在其他异常，还需进一步探索，如有疑问，欢迎指正！dllme.com。

时间轴来到2024年的下半年，“大模型”这个术语，从几乎是ChatGPT的代名词，转变为AI领域一个划时代产品的广泛词汇。从单一到广泛，代表大模型这个世界级产品，正在走向枝繁叶茂的生命阶段。模型类型主要用途NLP大模型文本生成式，主要用于处理自然语言文本。有GPT系列、BERT系列等计算机视觉（CV）大模型主要用于处理图像和视频。包括Inception、ResNet、DenseNet等语音识别（ASR）大模型专注于语音信号的处理，如语音识别和语音合成，包括WaveNet等。

随着微服务流行开来，API正在成为数据获取的主要渠道，我们可以通过Java的HttpClient完成数据请求，当然也可以通过Python工具完成数据请求。本博将对Python如何请求API进行举例，保你一文掌握。我们通过requests实现请求API，并可以进一步对返回结果进行结构化处理。

我们在使用python的过程中，经常需要它完成一些数据处理的工作，其中尤以json/csv文件为常见。今天，博主针对异常UniCodeDecodeError进行试验，因为这个是新手最容易犯错的地方。针对，博主提供了错误和正确的示例，相信能够从中获取一些帮助。