书生大模型实战营

已于 2024-12-02 17:23:48 修改
阅读量891 收藏 24
点赞数 10
分类专栏： # 书生大模型实战营 文章标签： 人工智能
于 2024-11-30 01:52:58 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.youkuaiyun.com/weixin_46445090/article/details/144138308
版权

书生大模型实战营-InternLM + LlamaIndex RAG 实践

任务要点

  • InternLM + LlamaIndex RAG 实践

基础任务

  • 任务要求1：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答，借助 LlamaIndex 后 浦语 API 具备回答 A 的能力，截图保存。

  • 任务要求2：基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 InternLM2-Chat-1.8B 模型不会回答，借助 LlamaIndex 后 InternLM2-Chat-1.8B 模型具备回答 A 的能力，截图保存。

  • 任务要求3 ：将 Streamlit+LlamaIndex+浦语API的 Space 部署到 Hugging Face。

实践流程

新开一个30% A100机器 Cuda12.2-conda 镜像
在这里插入图片描述

浦语 API+LlamaIndex 实践

# 安装新环境
conda create -n llamaindex python=3.10
conda env list
conda activate llamaindex

# 安装 Llamaindex和相关的包
pip install einops==0.7.0 protobuf==5.26.1
pip install llama-index==0.11.20
pip install llama-index-llms-replicate==0.3.0
pip install llama-index-llms-openai-like==0.2.0
pip install llama-index-embeddings-huggingface==0.3.1
pip install llama-index-embeddings-instructor==0.2.1
pip install torch==2.5.0 torchvision==0.20.0 torchaudio==2.5.0 --index-url https://download.pytorch.org/whl/cu121

# 下载 Sentence Transformer 模型
cd ~
mkdir llamaindex_demo
mkdir model
cd ~/llamaindex_demo
touch download_hf.py

# download_hf.py 中的代码
import os
# 设置环境变量
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 下载模型
os.system('huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /root/model/sentence-transformer')

# 执行代码
cd /root/llamaindex_demo
conda activate llamaindex
python download_hf.py

在这里插入图片描述

# 下载 NLTK 相关资源
cd /root
git clone https://gitee.com/yzy0612/nltk_data.git  --branch gh-pages
cd nltk_data
mv packages/*  ./
cd tokenizers
unzip punkt.zip
cd ../taggers
unzip averaged_perceptron_tagger.zip

在这里插入图片描述

是否使用 LlamaIndex 前后对比

  • 不使用 LlamaIndex RAG（仅API）
    • 运行以下指令，新建一个python文件
      cd ~/llamaindex_demo
touch test_internlm.py
    • 打开test_internlm.py 贴入以下代码
      from openai import OpenAI

base_url = "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"
model="internlm2.5-latest"

# base_url = "https://api.siliconflow.cn/v1"
# api_key = "sk-请填写准确的 token！"
# model="internlm/internlm2_5-7b-chat"

client = OpenAI(
    api_key=api_key , 
    base_url=base_url,
)

chat_rsp = client.chat.completions.create(
    model=model,
    messages=[{"role": "user", "content": "为什么要做 RAG ？"}],
)

for choice in chat_rsp.choices:
    print(choice.message.content)
    • 之后运行
      conda activate llamaindex
cd ~/llamaindex_demo/
python test_internlm.py
    • 结果为：
      在这里插入图片描述
      可以看到回答的效果并不好
  • 使用 API+LlamaIndex

    • 运行以下命令，获取知识库

      cd ~/llamaindex_demo
mkdir data
cd data
git clone https://github.com/InternLM/xtuner.git
mv xtuner/README_zh-CN.md ./

    • 编辑README_zh-CN.md文件，加入对应的RAG内容供大模型参考

      在这里插入图片描述

    • 运行以下指令，新建一个python文件

      cd ~/llamaindex_demo
touch llamaindex_RAG.py

    • 打开llamaindex_RAG.py贴入以下代码

      import os 
os.environ['NLTK_DATA'] = '/root/nltk_data'

from llama_index.core import VectorStoreIndex, SimpleDirectoryReader
from llama_index.core.settings import Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike


# Create an instance of CallbackManager
callback_manager = CallbackManager()

api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"

# api_base_url =  "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"



llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)


#初始化一个HuggingFaceEmbedding对象，用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
#指定了一个预训练的sentence-transformer模型的路径
    model_name="/root/model/sentence-transformer"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性，
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model

#初始化llm
Settings.llm = llm

#从指定目录读取所有文档，并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
#创建一个VectorStoreIndex，并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量，并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎，这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("为什么要做 RAG ？")

print(response)

    • 之后运行

      conda activate llamaindex
cd ~/llamaindex_demo/
python llamaindex_RAG.py

    • 结果为：
      在这里插入图片描述
      借助RAG技术后，就能获得我们想要的答案了

LlamaIndex web

  • 运行之前首先安装依赖
    pip install streamlit==1.39.0
  • 运行以下指令，新建一个python文件
    cd ~/llamaindex_demo
touch app.py
  • 打开app.py贴入以下代码
    import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike

# Create an instance of CallbackManager
callback_manager = CallbackManager()

api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"

# api_base_url =  "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"

llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)



st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
st.title("llama_index_demo")

# 初始化模型
@st.cache_resource
def init_models():
    embed_model = HuggingFaceEmbedding(
        model_name="/root/model/sentence-transformer"
    )
    Settings.embed_model = embed_model

    #用初始化llm
    Settings.llm = llm

    documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()

    return query_engine

# 检查是否需要初始化模型
if 'query_engine' not in st.session_state:
    st.session_state['query_engine'] = init_models()

def greet2(question):
    response = st.session_state['query_engine'].query(question)
    return response

      
# Store LLM generated responses
if "messages" not in st.session_state.keys():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]    

    # Display or clear chat messages
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.write(message["content"])

def clear_chat_history():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]

st.sidebar.button('Clear Chat History', on_click=clear_chat_history)

# Function for generating LLaMA2 response
def generate_llama_index_response(prompt_input):
    return greet2(prompt_input)

# User-provided prompt
if prompt := st.chat_input():
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.write(prompt)

# Gegenerate_llama_index_response last message is not from assistant
if st.session_state.messages[-1]["role"] != "assistant":
    with st.chat_message("assistant"):
        with st.spinner("Thinking..."):
            response = generate_llama_index_response(prompt)
            placeholder = st.empty()
            placeholder.markdown(response)
    message = {"role": "assistant", "content": response}
    st.session_state.messages.append(message)
  • 之后运行
    streamlit run app.py
  • 在本地终端运行（端口映射）
    ssh -p 42190 root@ssh.intern-ai.org.cn -CNg -L 8501:127.0.0.1:8501 -o StrictHostKeyChecking=no -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null
  • 浏览器访问该url
    http://localhost:8501/

在这里插入图片描述

  • 在该网页下，就可以开始尝试问问题了
    在这里插入图片描述
  • 询问结果为：
    在这里插入图片描述

本地部署InternLM+LlamaIndex实践

  • 安装相关的包
    pip install huggingface_hub llama-index-llms-huggingface sentencepiece sentence-transformers
  • 运行以下指令，把 InternLM2 1.8B 软连接出来
    cd ~/model
ln -s /root/share/new_models/Shanghai_AI_Laboratory/internlm2-chat-1_8b/ ./
  • 运行以下指令，新建一个 python 文件
    cd ~/llamaindex_demo
touch llamaindex_internlm.py
  • 打开 llamaindex_internlm.py 贴入以下代码
    from llama_index.llms.huggingface import HuggingFaceLLM
from llama_index.core.llms import ChatMessage
llm = HuggingFaceLLM(
    model_name="/root/model/internlm2-chat-1_8b",
    tokenizer_name="/root/model/internlm2-chat-1_8b",
    model_kwargs={"trust_remote_code":True},
    tokenizer_kwargs={"trust_remote_code":True}
)

rsp = llm.chat(messages=[ChatMessage(content="为什么要做 RAG ？")])
print(rsp)
  • 之后运行
    conda activate llamaindex
cd ~/llamaindex_demo/
python llamaindex_internlm.py
  • 结果为：
    在这里插入图片描述
    目前回答的效果并不好，并不是我们想要的。
  • 运行以下指令，新建一个 python 文件
    cd ~/llamaindex_demo
touch llamaindex_internlm_RAG.py
  • 打开llamaindex_internlm_RAG.py贴入以下代码
    from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings

from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM

#初始化一个HuggingFaceEmbedding对象，用于将文本转换为向量表示
embed_model = HuggingFaceEmbedding(
#指定了一个预训练的sentence-transformer模型的路径
    model_name="/root/model/sentence-transformer"
)
#将创建的嵌入模型赋值给全局设置的embed_model属性，
#这样在后续的索引构建过程中就会使用这个模型。
Settings.embed_model = embed_model

llm = HuggingFaceLLM(
    model_name="/root/model/internlm2-chat-1_8b",
    tokenizer_name="/root/model/internlm2-chat-1_8b",
    model_kwargs={"trust_remote_code":True},
    tokenizer_kwargs={"trust_remote_code":True}
)
#设置全局的llm属性，这样在索引查询时会使用这个模型。
Settings.llm = llm

#从指定目录读取所有文档，并加载数据到内存中
documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
#创建一个VectorStoreIndex，并使用之前加载的文档来构建索引。
# 此索引将文档转换为向量，并存储这些向量以便于快速检索。
index = VectorStoreIndex.from_documents(documents)
# 创建一个查询引擎，这个引擎可以接收查询并返回相关文档的响应。
query_engine = index.as_query_engine()
response = query_engine.query("为什么要做 RAG ？")

print(response)
  • 之后运行
    conda activate llamaindex
cd ~/llamaindex_demo/
python llamaindex_internlm_RAG.py

结果为：
在这里插入图片描述
借助 RAG 技术后，就能获得我们想要的答案了

  • 运行以下指令，新建一个 python 文件
    cd ~/llamaindex_demo
touch app_internlm.py
  • 打开app_internlm.py 贴入以下代码
    import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.llms.huggingface import HuggingFaceLLM

st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
st.title("llama_index_demo")

# 初始化模型
@st.cache_resource
def init_models():
    embed_model = HuggingFaceEmbedding(
        model_name="/root/model/sentence-transformer"
    )
    Settings.embed_model = embed_model

    llm = HuggingFaceLLM(
        model_name="/root/model/internlm2-chat-1_8b",
        tokenizer_name="/root/model/internlm2-chat-1_8b",
        model_kwargs={"trust_remote_code": True},
        tokenizer_kwargs={"trust_remote_code": True}
    )
    Settings.llm = llm

    documents = SimpleDirectoryReader("/root/llamaindex_demo/data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()

    return query_engine

# 检查是否需要初始化模型
if 'query_engine' not in st.session_state:
    st.session_state['query_engine'] = init_models()

def greet2(question):
    response = st.session_state['query_engine'].query(question)
    return response


# Store LLM generated responses
if "messages" not in st.session_state.keys():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]

    # Display or clear chat messages
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.write(message["content"])

def clear_chat_history():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]

st.sidebar.button('Clear Chat History', on_click=clear_chat_history)

# Function for generating LLaMA2 response
def generate_llama_index_response(prompt_input):
    return greet2(prompt_input)

# User-provided prompt
if prompt := st.chat_input():
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.write(prompt)

# Gegenerate_llama_index_response last message is not from assistant
if st.session_state.messages[-1]["role"] != "assistant":
    with st.chat_message("assistant"):
        with st.spinner("Thinking..."):
            response = generate_llama_index_response(prompt)
            placeholder = st.empty()
            placeholder.markdown(response)
    message = {"role": "assistant", "content": response}
    st.session_state.messages.append(message)
  • 之后运行
    streamlit run app_internlm.py
  • 在本地终端运行（端口映射）
    ssh -p 42190 root@ssh.intern-ai.org.cn -CNg -L 8501:127.0.0.1:8501 -o StrictHostKeyChecking=no -o StrictHostKeyChecking=no -o UserKnownHostsFile=/dev/null
  • 浏览器访问该url
    http://localhost:8501/

在这里插入图片描述
在这里插入图片描述

部署到 Hugging Face

  • 登录 Hugging Face 平台
    进入Hugging Face官网，点击右上角头像，New Space，选择Streamlit。

在这里插入图片描述

  • 登录 GitHub CodeSpace 平台
    在这里插入图片描述
  • 创建requirements.txt，space在运行时会自动安装requirements.txt中的库。
    einops==0.7.0 
protobuf==3.20.3
llama-index==0.11.20
llama-index-llms-replicate==0.3.0
llama-index-llms-openai-like==0.2.0
llama-index-embeddings-huggingface==0.3.1
llama-index-embeddings-instructor==0.2.1
torch==2.5.0 
torchvision==0.20.0 
torchaudio==2.5.0
  • 克隆自己在huggingface上刚刚创建的项目：
    pip install huggingface_hub
git clone https://huggingface.co/spaces/Sunshine108/Llamaindex_RAG
  • 切换至Llamaindex_RAG目录下，运行以下指令，新建一个 python 文件
    cd /workspaces/codespaces-jupyter/Llamaindex_RAG
touch app.py
  • 在Llamaindex_RAG目录下创建model文件夹并下载sentence-transformer：
    mkdir model
huggingface-cli download --resume-download sentence-transformers/paraphrase-multilingual-MiniLM-L12-v2 --local-dir /workspaces/codespaces-jupyter/Llamaindex_RAG/model
  • 打开app.py贴入以下代码
    import streamlit as st
from llama_index.core import VectorStoreIndex, SimpleDirectoryReader, Settings
from llama_index.embeddings.huggingface import HuggingFaceEmbedding
from llama_index.legacy.callbacks import CallbackManager
from llama_index.llms.openai_like import OpenAILike

# Create an instance of CallbackManager
callback_manager = CallbackManager()

api_base_url =  "https://internlm-chat.intern-ai.org.cn/puyu/api/v1/"
model = "internlm2.5-latest"
api_key = "eyJ0eXBlIjoiSldUIiwiYWxnIjoiSFM1MTIifQ.eyJqdGkiOiI1MDE3MTYwMCIsInJvbCI6IlJPTEVfUkVHSVNURVIiLCJpc3MiOiJPcGVuWExhYiIsImlhdCI6MTczMjg4NDg3NiwiY2xpZW50SWQiOiJlYm1ydm9kNnlvMG5semFlazF5cCIsInBob25lIjoiMTUyOTY2MjY3OTIiLCJ1dWlkIjoiYjA2NDA1MmQtNmEzYy00MDUwLThjOTgtNjc1ZDJmYzhhNTYxIiwiZW1haWwiOiIiLCJleHAiOjE3NDg0MzY4NzZ9.QRz3xCB7fE8rwNTlqHZ2H9K7wum0gt_pGEk7PtmxihKEnRKJ9oL-ULjaPr9SLTFUCGu_GRcTuNSWGWMDGyDZWw"

# api_base_url =  "https://api.siliconflow.cn/v1"
# model = "internlm/internlm2_5-7b-chat"
# api_key = "请填写 API Key"

llm =OpenAILike(model=model, api_base=api_base_url, api_key=api_key, is_chat_model=True,callback_manager=callback_manager)



st.set_page_config(page_title="llama_index_demo", page_icon="🦜🔗")
st.title("llama_index_demo")

# 初始化模型
@st.cache_resource
def init_models():
    embed_model = HuggingFaceEmbedding(
        model_name="model"
    )
    Settings.embed_model = embed_model

    #用初始化llm
    Settings.llm = llm

    documents = SimpleDirectoryReader("data").load_data()
    index = VectorStoreIndex.from_documents(documents)
    query_engine = index.as_query_engine()

    return query_engine

# 检查是否需要初始化模型
if 'query_engine' not in st.session_state:
    st.session_state['query_engine'] = init_models()

def greet2(question):
    response = st.session_state['query_engine'].query(question)
    return response

      
# Store LLM generated responses
if "messages" not in st.session_state.keys():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]    

    # Display or clear chat messages
for message in st.session_state.messages:
    with st.chat_message(message["role"]):
        st.write(message["content"])

def clear_chat_history():
    st.session_state.messages = [{"role": "assistant", "content": "你好，我是你的助手，有什么我可以帮助你的吗？"}]

st.sidebar.button('Clear Chat History', on_click=clear_chat_history)

# Function for generating LLaMA2 response
def generate_llama_index_response(prompt_input):
    return greet2(prompt_input)

# User-provided prompt
if prompt := st.chat_input():
    st.session_state.messages.append({"role": "user", "content": prompt})
    with st.chat_message("user"):
        st.write(prompt)

# Gegenerate_llama_index_response last message is not from assistant
if st.session_state.messages[-1]["role"] != "assistant":
    with st.chat_message("assistant"):
        with st.spinner("Thinking..."):
            response = generate_llama_index_response(prompt)
            placeholder = st.empty()
            placeholder.markdown(response)
    message = {"role": "assistant", "content": response}
    st.session_state.messages.append(message)
  • 在Llamaindex_RAG目录下创建data文件夹和README.md
     mkdir data
 cd data
 git clone https://github.com/InternLM/xtuner.git
 mv xtuner/README_zh-CN.md ./

		---
		title: Llamaindex_RAG
		emoji: 🦙
		colorFrom: green
		colorTo: blue
		sdk: streamlit
		sdk_version: "1.39.0"
		app_file: app.py
		pinned: false
		---
		
		# Llamaindex_RAG
		
		Welcome to Llamaindex_RAG.
  • 现在可以push到远程仓库上了
    git add .
git commit -m "demo"
git remote set-url origin https://Sunshine108:hf_cEwsWCfJtMncMILqhoppDjwGh@huggingface.co/spaces/Sunshine108/Llamaindex_RAG
git push

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

总结

天行健，君子以自强不息。

书生大模型实战营第三期进阶岛第三课——LMDeploy 量化部署实践
weixin_42567071的博客
08-29 1304
我们可以看出InternLM2.5将输入’Compute (3+5)*2’根据提供的function拆分成了"加"和"乘"两步，第一步调用function add实现加，再于第二步调用function mul实现乘，再最终输出结果16.此时代表我们成功地使用本地API与大模型进行了一次对话，如果切回第一个终端窗口，会看到如下信息，这代表其成功的完成了一次用户问题GET与输出POST。新开一个窗口查看gpu占用情况，约为12G，对比默认的cache-max-entry-count 0.8 少占用了8G左右。
书生大模型实战营闯关关卡五
Etherealland的博客
12-01 612
提示工程是一种通过设计和调整输入(Prompts)来改善模型性能或控制其输出结果的技术。在模型回复的过程中，首先获取用户输入的文本，然后处理文本特征并根据输入文本特征预测之后的文本，原理为next token prediction，类似我们日常使用的输入法。指令要清晰提供参考内容复杂的任务拆分成子任务给 LLM“思考”时间(给出过程)使用外部工具系统性测试变化在提示工程中，第一点给出清晰的指令是至关重要的。
第五期书生大模型实战营报名啦
最新发布
qq_60666264的博客
04-13 373
书生·浦语是上海人工智能实验室大模型品牌，期待和广大的社区开发者一起建设开放、繁荣、健康的大模型开源社区！本知识库已上线飞书社区，欢迎大家来玩。
【InternLM实战营第二期02笔记】轻松玩转书生浦语大模型趣味Demo
w626394316的博客
04-30 806
Lagent 是一个轻量级、开源的基于大语言模型的智能体（agent）框架，支持用户快速地将一个大语言模型转变为多种类型的智能体，并提供了一些典型工具为大语言模型赋能。可以理解自由形式的图文指令输入，包括大纲、文章细节要求、参考图片等，为用户打造图文并貌的专属文章。后，（会有较长的加载时间）勾上数据分析，其他的选项不要选择，进行计算方面的 Demo 对话，即完成本章节实战。Agent：与 Model 的输入接口保持一致，模型到智能体的蜕变只需一步，便捷各种 agent 的探索实现；
书生大模型实战营闯关 - 入门岛 - Python
nachtmusik的博客
07-29 1000
选择debug config时选择remote attach就行，随后会让我们选择debug server的地址，因为我们是在本地debug，所以全都保持默认直接回车就可以了，也就是我们的server地址为localhost:5678。开发机的链接命令可以在开发机控制台对应开发机"SSH连接"找到，复制登录命令到vscode的弹窗中然后回车，vscode就会开始链接InternStudio的服务器，记得此时切回去复制一下ssh的密码，待会会用到。配置完以后会打开配置的json文件，但这不是重点，可以关掉。
书生大模型实战营（第3期）入门岛第2关Python基础知识
aman_he的博客
08-01 977
书生大模型实战营（第3期）入门岛第2关Python基础知识
书生大模型实战营第三关浦语提示词工程实践
08-09
书生大模型实战营第三关浦语提示词工程实践
第四期书生大模型实战营——入门岛
qq_45880352的博客
12-30 1044
什么是git常用命令提交一份自我介绍。从远程仓库 origin 中拉取 class 分支的最新内容。在本地创建一个名为 class 的新分支。自动切换到这个新创建的本地 class 分支。设置本地的 class 分支跟踪远程的 class 分支。还没添加git配置，所以提示commit时无法识别我的身份。这里我们使用命令行配置一下即可：# 全局配置# 局部配置可以提交git push origin class_<你的uid>执行查看结果。
第四期书生大模型实战营（【基础岛】- 第2关 | 玩转书生「多模态对话」与「AI搜索」产品）
ban102055的博客
11-10 787
玩转书生「多模态对话」与「AI搜索」产品 - 任务。
【书生·浦语】大模型实战营——第五课笔记
m0_50123831的博客
01-14 1207
LMDeploy是LLM在nvidia设备上部署的全流程解决方案。（还没有涉及到移动端）关于轻量化：1、权重的4bit量化2、k v cache的8bit量化关于推理引擎：1、turbomind，是LMDeploy的一个创新点2、pytorch关于服务：2、gradio：主要用于演示demoLMDeploy比vLLM的性能要好。
书生大模型第四期实战营作业第四关
cold_cookies的博客
12-25 922
关卡编号：L0G4000关卡名称：玩转HF/魔搭/魔乐社区。
书生大模型实战营闯关记录----第五关：LlamaIndex+Internlm2 RAG实践Demo：效果对比，文档加载，向量库构建，检索器，模型推理
Ace_bb的博客
08-04 1263
RAG正是这种方式。对于LLM来说，这几乎总是意味着创建向量嵌入，即你的数据含义的数值表示，以及许多其他元数据策略，使其易于准确找到上下文相关的数据。给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。完整的RAG代码如下，包含了模型加载，文档加载，向量索引库构建，检索器构建和模型输出。
大模型实战营Day1 书生·浦语大模型全链路开源体系
m0_72806612的博客
01-05 693
第一天学习内容的讲授者为陈恺，是上海人工智能实验室的大牛，毕业于我大清。大模型使得传统对于特定任务，一个模型解决一个问题的方式有了重大突破和改变。本篇为笔者参加实战营第一天的学习笔记，后续会持续更新。主打的是一手参数量很小，但是性能在一些测试集上很高。本次课程的核心内容到此告一段落。
第二期书生·浦语大模型实战营优秀项目一览
2402_82411485的博客
06-25 1473
Streamer-Sales 销冠 —— 卖货主播大模型 是一个能够根据给定的商品特点从激发用户购买意愿角度出发进行商品解说的卖货主播大模型。项目功能点如下：📜 精心设计的数据集生成流程🧰 使用 XTuner 在 InternLM2 上指令微调模型🚀 LMDeploy 加速推理🎙️ ASR 语音输入🔊 TTS 文字转语音输出📚 RAG 检索增强生成🌐 Agent 网络查询实时快递等信息🦸 主播数字人视频生成。
llamaindex+Internlm2 RAG实践
outsideinthesun的博客
09-01 263
给模型注入新知识的方式，可以简单分为两种方式，一种是内部的，即更新模型的权重，另一个就是外部的方式，给模型注入格外的上下文或者说外部信息，不改变它的的权重。第一种方式，改变了模型的权重即进行模型训练，这是一件代价比较大的事情，大语言模型具体的训练过程，可以参考。它能够让基础模型实现非参数知识更新，无需训练就可以掌握新领域的知识。第二种方式，并不改变模型的权重，只是给模型引入格外的信息。类比人类编程的过程，第一种方式相当于你记住了某个函数的用法，第二种方式相当于你阅读函数文档然后短暂的记住了某个函数的用法。
[书生训练营-第四期] Llamaindex RAG实践
qq_33583163的博客
11-29 213
1.基于 LlamaIndex 构建自己的 RAG 知识库，寻找一个问题 A 在使用 LlamaIndex 之前 浦语 API 不会回答，借助 LlamaIndex 后 浦语 API 具备回答 A 的能力，截图保存。2.将 Streamlit+LlamaIndex+浦语API的 Space 部署到 Hugging Face。space地址：https://huggingface.co/spaces/jaeliu2000li/APT。将APT的维基百科页面下载为markdown，作为额外的知识库。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

X_taiyang18

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值