05、Tools

对于一些LLM来说除了可以生成文本外，还可以触发操作。

有一个概念叫“工具/函数调用”。它允许LLM在必要的时候调用一个或多个可用的工具，这些工具一般是针对业务由开发人员来定义的。

这里说的工具可以是任何东西。如：网络搜索、外部API的调用或特定代码的执行......LLM不能自己调用这些工具。然而它们在响应中表达了调用特定工具的意图，作为开发人员应该使用提供的参数来执行这个工具，并报告出这个执行的结果。

两个抽象层次

对于工具的使用，LangChain4j提供了两个层次的抽象

• 低级别的，使用ChatLanguageModel和ToolSpecification的api
• 高级别的，使用AiServece和@Tool注解的java方法

低级别的

对于它可以使用ChatLanguageModel的generate(List<ChatMessage),List<ToolSpecification>)方法。StreamingChatLangugageModel也有类似的方法。

ToolSpecification对象中包含了关于工具的所有信息，这些信息包含：

• name：工具的名称
• description：工具的描述
• parameters：工具的参数

注意：要尽可能详细地提供工具的信息，清晰的名字、全面的描述及每个参数的描述等

我们定义一个工具的类

public class WeatherTools {

    @Tool("根据给出的城市，获取天气信息")
    String getWeather(
            // 这里的@P()注解，用在工具的参数上用来说明参数的
            @P("用来指定要获取天气的城市") String city) {
        return "[" +  city + "],天气信息: 晴，12~19℃，北风2级 ";
    }
}

这里的方法使用@Tool注解标注，其中提供的信息是对这个工具的说明

在Controller类中我们在进行具体聊天时去执行工具获取对应的信息

@Slf4j
@RestController
@RequestMapping("/tools")
public class ToolsController {


    @Resource
    private StreamingChatLanguageModel streamingChatLanguageModel;
    @Resource
    private ChatLanguageModel chatLanguageModel;


    @GetMapping(path = "/chat", produces = "text/plain;charset=UTF-8")
    public Flux<String> weather(@RequestParam("message") String message) {
        // 创建工具
        /*ToolSpecification weatherTool = ToolSpecification.builder()
                .name("getWeather")
                .description("获取天气信息")
                .parameters(JsonObjectSchema.builder()
                        .addStringProperty("city", "城市")
                        .required("city")
                        .build())
                .build();*/
        List<ToolSpecification> toolSpecifications = ToolSpecifications.toolSpecificationsFrom(WeatherTools.class);
        Response<AiMessage> generate = chatLanguageModel.generate(List.of(UserMessage.from(message)), toolSpecifications);

        WeatherTools wt = new WeatherTools();
        List<ChatMessage> messages = new ArrayList<>();
        generate.content().toolExecutionRequests().forEach(toolExecutionRequest -> {
            System.out.println(toolExecutionRequest.name());
            System.out.println(toolExecutionRequest.arguments());
            // 手动调用工具
            String toolExecutorResponse = new DefaultToolExecutor(wt, toolExecutionRequest).execute(toolExecutionRequest, null);
            ToolExecutionResultMessage toolExecutionResultMessage = ToolExecutionResultMessage.from(toolExecutionRequest, toolExecutorResponse);
            
            messages.add(UserMessage.from(message)); // UserMessage
            messages.add(generate.content()); // AIMessage
            messages.add(toolExecutionResultMessage); // ToolExecutionResultMessage
        });


        return Flux.create(slink -> {
            streamingChatLanguageModel.generate(messages, toolSpecifications, new St