【AI新趋势期刊#1】GPT自动理解视频、法律顾问、大模型安全围栏-优快云博客

本文概述了2023年4月发布的AI终端产品（如AI中国法律助手和HuggingChat）、开发者工具（如AudioGPT和NeMo-Guardrails）、新模型（如langchain-ChatGLM），以及涉及金融和网络安全的工具，为读者提供筛选有价值的信息和入门网络安全的路径。

每天都要浏览大量AI相关新闻，是不是感到信息量爆炸，有效信息少，无从看起？

这么多新产品和新工具，到底哪些是真正是有价值的，哪些只是浮躁的热点？

想参与AI产品和工具的开发，但苦于没有灵感，从哪里能够获得大量的灵感和思路？

我会把自己浏览和使用过的AI相关新闻、产品、工具、模型等，整理在这里，帮助大家去除信息噪音，简化阅读，更高效的了解AI前沿发展。主要围绕：

AI终端产品
AI开发者工具
AI相关新模型
AI大厂方向
AI业界趋势

作为本期刊的第一期，我们主要围绕2023年4月发布的相关产品和技术工具。

终端产品

AI中国法律助手

https://github.com/lvwzhen/law-cn-ai

该项目把中国法律文书
作为知识库，将知识库embedding后存入向量数据库，然后向用户提供了完整界面，用户可以用自然语言提问，后台使用openAI的API，结合知识库的现有知识进行自然语言的回答。

![](https://img-
blog.csdnimg.cn/img_convert/f4feba2dd963da3500a27668d9d524e7.png)

主要技术：

预处理知识库
在PostgreSQL中使用 pgvector 存储嵌入向量。
执行向量相似性搜索，查找与问题相关的内容。
将内容注入到OpenAI GPT-3文本自动补全中，并将响应流式传输到客户端。

HuggingChat

https://huggingface.co/chat/

Hugging Face发布了一个ChatGPT开源替代品名为HuggingChat。Hugging
Face大家都懂的，可以理解成AI界的Github，很多注明的开源模型都在上面首发。

![](https://img-
blog.csdnimg.cn/img_convert/8cf01cc2293937d39b95b3de5b2df09a.png)

底层模型目前有两种选择：

![](https://img-
blog.csdnimg.cn/img_convert/8a5fba41a401666837a66decf6e56924.png)

金融/投资 GPT助手

https://finchat.io/

FinChat.io是由ChatGPT提供技术支持的工具。它利用人工智能生成关于公共公司和投资者的问题的答案。为了提供准确的答案，FinChat会提供推理、来源和数据等支持。实测效果有点酷炫。

![](https://img-
blog.csdnimg.cn/img_convert/caf27c1d0e7f79225ba44dafde71a6cd.png)

微软AI设计器

https://designer.microsoft.com/

输入文字，通过AI生成一个合适的设计图，且支持动态图。例如下面的文字描述"为我的油管频道‘Science for
Littles’设计一个动态的广告"生成了右方的一些设计图，生成速度非常快，还可调节图片尺寸。

![](https://img-
blog.csdnimg.cn/img_convert/6271c7da83f280e243aa952a6f6331eb.png)

选择了右方较为满意的设计后，可以继续在在线编辑器中修改你的设计，支持自由导出各种格式与下载。

![](https://img-
blog.csdnimg.cn/img_convert/2bdcfed86fb5acfbff90cee56c08e735.png)

AI Shell

https://github.com/builderio/ai-shell

将chatGPT整合到你的shell中，用ai命令进行操作

![](https://img-
blog.csdnimg.cn/img_convert/0cd7e79e140f791b3284e1c115c83c93.gif)

VLog

https://github.com/showlab/VLog

V是大写，他可以将一段长视频转换成包含视觉和音频信息的文档。通过将此文档发送到ChatGPT，我们可以针对这个视频的内容进行自然语言聊天！当然，需要消耗你自己的openAI
API额度。

![](https://img-
blog.csdnimg.cn/img_convert/26d441d0bbb7582b292654fba87c4301.png)

开发者工具

音频能力工具集：AudioGPT

https://huggingface.co/spaces/AIGC-Audio/AudioGPT

这个工具集里包含了大量音频相关的处理能力工具，大部分工具使用时需要填写你自己的GPT API
key，消耗你的额度，我试了一下，文字转语音，一句5个词的句子，消耗了我4000个token！（暴风哭泣！）

演讲：

文字转语音
风格迁移
语音识别
语音增强
语音分离
语音翻译
单声道到双声道
文字转唱

唱歌：

文字转唱歌

音频处理：

文本到音频
音频修复
图像到音频
声音检测
目标声音检测
声音提取

大模型安全围栏：NeMo-Guardrails

https://github.com/NVIDIA/NeMo-Guardrails

NeMo Guardrails 是一个开源工具包，可以轻松地将可编程护栏添加到基于 LLM
的对话系统中。Guardrails（或简称“rails”）是控制大型语言模型输出的特定方式，例如不谈论政治、以特定方式响应特定用户请求、遵循预定义的对话路径、使用特定语言风格、提取结构化数据等。

主要优势：

构建值得信赖、安全可靠的 LLM 对话系统：使用 NeMo Guardrails 的核心价值是能够编写 rails 来指导对话。开发人员可以选择定义他们的 LLM 驱动的机器人在某些主题上的行为，并让他们的创造力不受其他人的影响！
通过操作连接模型、链、服务等： LLM 不需要解决所有挑战。NeMo Guardrails 提供了将您的代码库或服务无缝安全地连接到聊天机器人的能力！

chatGLM结合本地知识库：langchain-chatGLM

https://github.com/imClumsyPanda/langchain-ChatGLM

一种利用 ChatGLM-6B + langchain 实现的基于本地知识的 ChatGLM
应用。支持将txt、markdown等格式的文本文件上传后，进行提问。会给出自然语言的回答，并且在最后会标注出引用本地文本的出处。

![](https://img-
blog.csdnimg.cn/img_convert/d1d2b7ecc4c6ba2ebe112c2b6b9fb519.png)

本项目实现原理如下图所示，过程包括加载文件 -> 读取文本 -> 文本分割 -> 文本向量化 -> 问句向量化 ->
在文本向量中匹配出与问句向量最相似的top k个 -> 匹配出的文本作为上下文和问题一起添加到prompt中 -> 提交给LLM生成回答。

支持的LLM模型：

THUDM/chatglm-6b
THUDM/chatglm-6b-int8
THUDM/chatglm-6b-int4
THUDM/chatglm-6b-int4-qe
ClueAI/ChatYuan-large-v2

支持的Embedding 模型：

nghuyong/ernie-3.0-nano-zh
nghuyong/ernie-3.0-base-zh
shibing624/text2vec-base-chinese
GanymedeNil/text2vec-large-chinese

![](https://img-
blog.csdnimg.cn/img_convert/aa01940bd92937fdc3d0b54129a0b44e.png)

在任意消费级终端部署大模型：MLC LLM

https://mlc.ai/mlc-llm/

MLC
LLM是一种通用解决方案，可以使任何语言模型在各种硬件后端和本地应用程序上本地化部署，同时为所有人提供一个高效的框架，以进一步优化模型性能，以适应其自身用例。

我们的使命是使每个人都能够在其设备上本地开发、优化和部署AI模型。

这个方向的探索如果出现突破，将大大减少模型部署和使用的门槛，让全世界的低算力设备也能加入AI算力阵营。

![](https://img-
blog.csdnimg.cn/img_convert/ea1081eb328a91240bde42948ccf1feb.gif)

仿openAI风格API调用chatGLM：chatglm-openai-api

https://github.com/ninehills/chatglm-openai-api

让开发者能够用调用openAI API的方式调用其他开源模型，节省大量开发工作。

参考

Github Trending

https://github.com/trending

Meta360创新学院-AGI前夜

https://docs.meta360.vip

学习网络安全技术的方法无非三种:

第一种是报网络安全专业，现在叫网络空间安全专业，主要专业课程:程序设计、计算机组成原理原理、数据结构、操作系统原理、数据库系统、计算机网络、人工智能、自然语言处理、社会计算、网络安全法律法规、网络安全、内容安全、数字取证、机器学习，多媒体技术，信息检索、舆情分析等。

第二种是自学，就是在网上找资源、找教程，或者是想办法认识一-些大佬，抱紧大腿，不过这种方法很耗时间，而且学习没有规划，可能很长一段时间感觉自己没有进步，容易劝退。

如果你对网络安全入门感兴趣，那么你需要的话可以点击这里👉网络安全重磅福利：入门&进阶全套282G学习资源包免费分享！

第三种就是去找培训。

接下来，我会教你零基础入门快速入门上手网络安全。

网络安全入门到底是先学编程还是先学计算机基础？这是一个争议比较大的问题，有的人会建议先学编程，而有的人会建议先学计算机基础，其实这都是要学的。而且这些对学习网络安全来说非常重要。但是对于完全零基础的人来说又或者急于转行的人来说，学习编程或者计算机基础对他们来说都有一定的难度，并且花费时间太长。

第一阶段：基础准备 4周~6周

这个阶段是所有准备进入安全行业必学的部分，俗话说：基础不劳，地动山摇

第二阶段：web渗透

学习基础时间：1周 ~ 2周：

① 了解基本概念：（SQL注入、XSS、上传、CSRF、一句话木马、等）为之后的WEB渗透测试打下基础。
② 查看一些论坛的一些Web渗透，学一学案例的思路，每一个站点都不一样，所以思路是主要的。
③ 学会提问的艺术，如果遇到不懂得要善于提问。

配置渗透环境时间：3周 ~ 4周：

① 了解渗透测试常用的工具，例如（AWVS、SQLMAP、NMAP、BURP、中国菜刀等）。
② 下载这些工具无后门版本并且安装到计算机上。
③ 了解这些工具的使用场景，懂得基本的使用，推荐在Google上查找。

渗透实战操作时间：约6周：

① 在网上搜索渗透实战案例，深入了解SQL注入、文件上传、解析漏洞等在实战中的使用。
② 自己搭建漏洞环境测试，推荐DWVA，SQLi-labs，Upload-labs，bWAPP。
③ 懂得渗透测试的阶段，每一个阶段需要做那些动作：例如PTES渗透测试执行标准。
④ 深入研究手工SQL注入，寻找绕过waf的方法，制作自己的脚本。
⑤ 研究文件上传的原理，如何进行截断、双重后缀欺骗(IIS、PHP)、解析漏洞利用（IIS、Nignix、Apache）等，参照：上传攻击框架。
⑥ 了解XSS形成原理和种类，在DWVA中进行实践，使用一个含有XSS漏洞的cms，安装安全狗等进行测试。
⑦ 了解一句话木马，并尝试编写过狗一句话。
⑧ 研究在Windows和Linux下的提升权限，Google关键词：提权

以上就是入门阶段