简单看看langchain中的一点qwen源码

ordinary_brony

已于 2024-06-14 09:33:22 修改

阅读量1.4k

点赞数 27

分类专栏： LLM 文章标签： langchain python

于 2024-06-14 09:31:20 首次发布

本文链接：https://blog.youkuaiyun.com/ordinary_brony/article/details/139669649

版权

文章目录

前言
导入Tongyi类
配置Tongyi类
读取api-key
PromptTemplate
ConversationBufferMemory

前言

本文主要是继续深挖Tongyi类，并进一步探究详细的流程。个人理解不够全面，能够为大家给出的解释有限。

导入Tongyi类

Tongyi类是langchain_community.llms中的一个类。实际上，这个类是在langchain_community.llms文件夹下tongyi.py中的一个类，只不过因为langchain_community.llms文件夹下的__init__.py文件追加了一个方法：

def _import_tongyi() -> Type[BaseLLM]:
  from langchain_community.llms.tongyi import Tongyi
  return Tongyi

最终，在一个包含了无数个if-else的__getattr__方法中，会根据传入name的值判断执到底执行哪一个大模型的import方法。

这个意思就是说，我们假设现在新开发了一个大模型，叫做Ninedays（~~就当这个叫做九天吧~~），并存入ninedays.py。我们想要导入这个Ninedays大模型，也就可以通过from langchain_community.llms import Ninedays导入。

导入的过程将首先经过__init__.py方法中的__getattr__方法，用于访问没有直接定义出来的数据。此时，在__getattr__方法中增加：

if name == "Ninedays":
  from langchain_community.llms.ninedays import Ninedays

这个意思就是，我经过__getattr__访问到了Ninedayes这个name，并且通过大量的if-else查询到了这个执行条件，于是开始导入大模型。

这种方法是一种懒加载的实现方法，非常方便。

配置Tongyi类

在langchain_community.llms文件夹下的tongyi.py文件中，里面有这么几个属性：

client: Any  #: :meta private:
model_name: str = "qwen-plus"

"""Model name to use."""
model_kwargs: Dict[str, Any] = Field(default_factory=dict)

top_p: float = 0.8
"""Total probability mass of tokens to consider at each step."""

dashscope_api_key: Optional[str] = None
"""Dashscope api key provide by Alibaba Cloud."""

streaming: bool = False
"""Whether to stream the results or not."""

max_retries: int = 10
"""Maximum number of retries to make when generating."""

其中：

client并不确定是什么，没有相关定义，但是会按照llm.client.call执行，其中llm是Tongyi类的实例。
model_name是qwen-plus，表示默认的模型名称。
model_kwargs是空字典，表示默认的模型参数。
top_p是0.8，是model_kwargs中的top_p参数。
dashscope_api_key是通义千问的api-key。
streaming表示最终的输出是否是流式输出。
max_retries是10，表示最多允许的重试次数。

我们初始化的过程中，往往也是直接自定义这些参数：

llm = Tongyi(
  dashscope_api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx"
)

读取api-key

读取的方式有很多种，包括yaml配置、xml配置、txt配置、properties配置乃至数据库配置等等，Python也为每一种配置都有特定的工具库，非常方便。下面仅介绍3种推荐配置方法。

os配置

在Tongyi初始化的过程中，会执行一个validate_environment方法，将检查环境是否满足要求：

@root_validator()
def validate_environment(cls, values: Dict) -> Dict:
  """Validate that api key and python package exists in environment."""
  values["dashscope_api_key"] = get_from_dict_or_env(
    values, "dashscope_api_key", "DASHSCOPE_API_KEY"
  )
  try:
    import dashscope
  except ImportError:
    raise ImportError(
      "Could not import dashscope python package. "
      "Please install it with `pip install dashscope`."
    )
  try:
    values["client"] = dashscope.Generation
  except AttributeError:
    raise ValueError(
      "`dashscope` has no `Generation` attribute, this is likely "
      "due to an old version of the dashscope package. Try upgrading it "
      "with `pip install --upgrade dashscope`."
    )
  return values