Dify工作流中如何去除deepseek-r1思考内容

        在工作流中deepseek-r1的think标签内部的内容,很容易让工作流其他的llm产生幻觉,导致不能良好的生成目标效果。

        我们通过代码的方式让deepseek-r1既有think思考链的效果,又不传递思考链。

        工作流的逻辑为上图

去除think中的代码为

import re
def main(answer: str) -> dict:
    cleaned_text = re.sub(r'<think[^>]*>.*?</think>', '', answer, flags=re.DOTALL)
    # 移除清理后可能在开头的多余换行符
    final_text = re.sub(r'^\n+', '', cleaned_text)
    return {
        "result": final_text,
    }

这样子生成的效果就将think内容替换了

整个工作流的代码为

app:
  description: ''
  icon: 🤖
  icon_background: '#FFEAD5'
  mode: workflow
  name: outThink
  use_icon_as_answer_icon: false
dependencies:
- current_identifier: null
  type: marketplace
  value:
    marketplace_plugin_unique_identifier: langgenius/ollama:0.0.3@9ded90ac00e8510119a24be7396ba77191c9610d5e1e29f59d68fa1229822fc7
kind: app
version: 0.1.5
workflow:
  conversation_variables: []
  environment_variables: []
  features:
    file_upload:
      allowed_file_extensions:
      - .JPG
      - .JPEG
      - .PNG
      - .GIF
      - .WEBP
      - .SVG
      allowed_file_types:
      - image
      allowed_file_upload_methods:
      - local_file
      - remote_url
      enabled: false
      fileUploadConfig:
        audio_file_size_limit: 50
        batch_count_limit: 5
        file_size_limit: 15
        image_file_size_limit: 10
        video_file_size_limit: 100
        workflow_file_upload_limit: 10
      image:
        enabled: false
        number_limits: 3
        transfer_methods:
        - local_file
        - remote_url
      number_limits: 3
    opening_statement: ''
    retriever_resource:
      enabled: true
    sensitive_word_avoidance:
      enabled: false
    speech_to_text:
      enabled: false
    suggested_questions: []
    suggested_questions_after_answer:
      enabled: false
    text_to_speech:
      enabled: false
      language: ''
      voice: ''
  graph:
    edges:
    - data:
        isInIteration: false
        isInLoop: false
        sourceType: start
        targetType: llm
      id: 1743671825415-source-1743671830921-target
      source: '1743671825415'
      sourceHandle: source
      target: '1743671830921'
      targetHandle: target
      type: custom
      zIndex: 0
    - data:
        isInIteration: false
        isInLoop: false
        sourceType: llm
        targetType: code
      id: 1743671830921-source-1743671844725-target
      source: '1743671830921'
      sourceHandle: source
      target: '1743671844725'
      targetHandle: target
      type: custom
      zIndex: 0
    - data:
        isInIteration: false
        isInLoop: false
        sourceType: code
        targetType: end
      id: 1743671844725-source-1743671861862-target
      source: '1743671844725'
      sourceHandle: source
      target: '1743671861862'
      targetHandle: target
      type: custom
      zIndex: 0
    nodes:
    - data:
        desc: ''
        selected: false
        title: 开始
        type: start
        variables:
        - label: query
          max_length: 48
          options: []
          required: true
          type: text-input
          variable: query
      height: 90
      id: '1743671825415'
      position:
        x: 80
        y: 282
      positionAbsolute:
        x: 80
        y: 282
      selected: false
      sourcePosition: right
      targetPosition: left
      type: custom
      width: 244
    - data:
        context:
          enabled: false
          variable_selector: []
        desc: ''
        model:
          completion_params:
            temperature: 0.7
          mode: chat
          name: deepseek-r1:14b
          provider: langgenius/ollama/ollama
        prompt_template:
        - id: bf6b98c6-75dd-4513-b87f-21d6087490ef
          role: system
          text: 回答问题{{#1743671825415.query#}}
        selected: false
        title: LLM
        type: llm
        variables: []
        vision:
          enabled: false
      height: 90
      id: '1743671830921'
      position:
        x: 384
        y: 282
      positionAbsolute:
        x: 384
        y: 282
      selected: false
      sourcePosition: right
      targetPosition: left
      type: custom
      width: 244
    - data:
        code: "import re\ndef main(answer: str) -> dict:\n    cleaned_text = re.sub(r'<think[^>]*>.*?</think>',\
          \ '', answer, flags=re.DOTALL)\n    # 移除清理后可能在开头的多余换行符\n    final_text =\
          \ re.sub(r'^\\n+', '', cleaned_text)\n    return {\n        \"result\":\
          \ final_text,\n    }"
        code_language: python3
        desc: ''
        outputs:
          result:
            children: null
            type: string
        selected: false
        title: 去除think
        type: code
        variables:
        - value_selector:
          - '1743671830921'
          - text
          variable: answer
      height: 54
      id: '1743671844725'
      position:
        x: 688
        y: 282
      positionAbsolute:
        x: 688
        y: 282
      selected: true
      sourcePosition: right
      targetPosition: left
      type: custom
      width: 244
    - data:
        desc: ''
        outputs:
        - value_selector:
          - '1743671844725'
          - result
          variable: result
        selected: false
        title: 结束
        type: end
      height: 90
      id: '1743671861862'
      position:
        x: 992
        y: 282
      positionAbsolute:
        x: 992
        y: 282
      selected: false
      sourcePosition: right
      targetPosition: left
      type: custom
      width: 244
    viewport:
      x: -39
      y: 94
      zoom: 1

<think>好的,用户想了解如何纯本地化搭建Dify+DeepSeek-R1,并利用本地数仓数据进行快速搜索和整理。首先,我需要明确这两个工具的基本情况。Dify应该是一个开源的低代码开发平台,用于构建AI应用,而DeepSeek-R1可能是一个大语言模型,特别是深度求索公司开发的模型。用户的需求是纯本地化部署,所以需要确保所有组件都能在本地运行,不依赖外部服务。 接下来,本地化搭建的步骤可能包括硬件准备、环境配置、模型部署、数据集成等。需要考虑到硬件要求,比如GPU是否必要,以及内存和存储的需求。然后,安装必要的依赖,比如Docker、Python环境等。Dify的部署可能需要通过Docker-Compose来启动服务,同时需要下载DeepSeek-R1的模型文件,并配置本地推理服务,比如使用vLLM或TGI等框架。 然后是数据整合部分,用户提到本地数仓数据,可能需要将数据导入到向量数据库中,比如Milvus或Chroma,以便进行语义搜索。需要处理数据的预处理,比如文本分割、向量化,并建立索引。之后,在Dify中创建应用,配置工作流,将用户查询路由到向量数据库检索相关数据,再调用DeepSeek-R1生成回答。 还需要考虑权限管理和数据安全,确保本地数据不被泄露。可能遇到的问题包括模型与Dify的兼容性、硬件资源不足、数据预处理复杂等,需要提供相应的解决方案,比如调整模型量化、优化数据分块策略。 最后,整理使用场景,比如企业内部知识库、数据分析辅助等,帮助用户理解如何应用这套系统。需要确保整个流程的每一步都详细且可行,用户能够按照步骤操作,同时给出优化建议和注意事项,比如定期更新模型、监控系统性能等。</think>以下是Dify+DeepSeek-R1纯本地化搭建及数据应用的完整方案: 一、本地化部署架构 1. 硬件要求 - GPU服务器(推荐NVIDIA A100/A10 24G显存以上) - 64G内存+1TB SSD存储 - 千兆局域网环境 2. 组件清单 - Dify Community Edition(开源版) - DeepSeek-R1-7B/67B 本地模型文件 - Milvus/Chroma 向量数据库 - PostgreSQL 元数据存储 - Redis 缓存服务 二、部署步骤 1. 基础环境搭建 ```bash # 安装NVIDIA驱动+CUDA Toolkit sudo apt install nvidia-driver-535 cuda-12-2 # 部署Docker环境 curl -fsSL https://get.docker.com | bash systemctl enable docker # 安装NVIDIA Container Toolkit distribution=$(. /etc/os-release;echo $ID$VERSION_ID) curl -s -L https://nvidia.github.io/nvidia-docker/gpgkey | sudo apt-key add - curl -s -L https://nvidia.github.io/nvidia-docker/$distribution/nvidia-docker.list | sudo tee /etc/apt/sources.list.d/nvidia-docker.list sudo apt-get update && sudo apt-get install -y nvidia-container-toolkit ``` 2. Dify服务部署 ```bash git clone https://github.com/langgenius/dify.git cd dify/docker vim .env # 修改MODEL_SERVER=local docker-compose up -d ``` 3. 模型服务部署(以vLLM为例) ```bash # 启动API服务 docker run --gpus all -p 8000:8000 \ -v /data/models:/models \ -vollm/vllm:latest \ --model /models/deepseek-r1-7b \ --tensor-parallel-size 2 \ --trust-remote-code ``` 4. 向量数据库配置 ```yaml # milvus-standalone.yml version: '3.5' services: standalone: image: milvusdb/milvus:v2.3.3 ports: - "19530:19530" volumes: - ./volumes/milvus:/var/lib/milvus ``` 三、数据整合流程 1. 数仓接入 ```python from dify_client import DataSource # 创建JDBC连接 ds = DataSource.create( type="mysql", config={ "host": "localhost", "port": 3306, "database": "data_warehouse", "username": "user", "password": "pass" } ) # 定时同步配置 ds.schedule_sync( tables=["sales_fact", "customer_dim"], interval="0 3 * * *" # 每天凌晨3点同步 ) ``` 2. 数据向量化处理 ```python from langchain.text_splitter import RecursiveCharacterTextSplitter from dify_client.embeddings import LocalEmbedding splitter = RecursiveCharacterTextSplitter( chunk_size=512, chunk_overlap=50 ) embedder = LocalEmbedding(model="bge-large-zh") def process_document(text): chunks = splitter.split_text(text) vectors = embedder.embed_documents(chunks) return [ {"text": chunk, "vector": vec} for chunk, vec in zip(chunks, vectors) ] ``` 3. 混合检索配置 ```yaml # retrieval_chain.yml steps: - name: keyword_search type: elasticsearch params: index: business_data top_k: 5 - name: vector_search type: milvus params: collection: doc_vectors top_k: 10 - name: rerank type: cross_encoder model: bge-reranker-large top_k: 8 ``` 四、权限与安全 1. 访问控制矩阵 ```mermaid graph TD A[用户角色] -->|读取| B(公开数据) A -->|读写| C(部门数据) A -->|管理| D(系统配置) B --> E[向量库访问策略] C --> F[行级数据权限] D --> G[模型管理权限] ``` 2. 数据加密方案 - 静态加密:LUKS磁盘加密 - 传输加密:mTLS双向认证 - 向量混淆:非对称向量偏移算法 $$v' = v \oplus (H(user\_id) \cdot S_{priv})$$ 五、性能优化建议 1. 混合检索加速 $$\text{相关性得分} = \alpha \cdot S_{keyword} + (1-\alpha) \cdot S_{vector}$$ 通过动态调整α值(0.3~0.7)平衡检索效果 2. 模型推理优化 ```python # 使用FlashAttention优化 from deepseek_r1 import AutoModelForCausalLM model = AutoModelForCausalLM.from_pretrained( "deepseek-r1-7b", torch_dtype=torch.bfloat16, use_flash_attention_2=True ) # 量化部署(4-bit) model = quantize_model(model, bits=4, threshold=6.0) ``` 六、典型应用场景 1. 数据智能问答 ``` 用户:Q3季度华东区销售额Top5产品是? 系统: 1. 解析SQL模式:SELECT product, SUM(sales) FROM fact_table WHERE quarter='Q3' AND region='east' GROUP BY product ORDER BY SUM(sales) DESC LIMIT 5 2. 执行查询返回表格+自然语言解读 ``` 2. 文档智能关联 ```python def document_linkage(query): related_data = hybrid_retrieve(query) context = format_context(related_data) prompt = f"""基于以下业务数据: {context} 请用结构化方式回答:{query}""" return model.generate(prompt) ``` 部署建议:建议使用Proxmox VE搭建虚拟化环境,通过PCIe Passthrough将GPU直通给模型推理容器,同时为向量数据库单独分配NVMe存储资源池。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值