robinfoxnan的专栏

本文梳理了主流LLM安全与测试工具，涵盖漏洞扫描（garak）、评估框架（Promptfoo）、红队测试（PyRIT、DeepTeam）、越狱基准（JailbreakBench）、Agent安全（AgentDojo）及提示注入防护（LLM Guard、Rebuff）等方向。推荐结合garak与Promptfoo测试Ollama本地模型，兼顾安全扫描与性能评估。部分工具支持本地运行与CI集成，适用于开发全流程安全验证。

本文介绍如何使用 promptfoo 评估本地 Ollama 模型，对比其与 garak 的定位差异：promptfoo 作为测试框架，支持多模型并排对比、自定义断言、CI/CD 集成，且全程本地运行保障数据安全。通过配置 promptfooconfig.yaml，可快速实现 prompt 调优、模型对比与回归测试。建议与 garak 配合使用，前者用于日常评估，后者专注安全红队，构建完整 LLM 工程化流程。

garak 是 NVIDIA 推出的 LLM 漏洞扫描工具，类比网络安全中的 nmap，用于检测模型是否易受越狱、数据泄露、有害内容生成等攻击。本文演示如何通过 REST 接口对接本地 Ollama 运行的 qwen2.5:7b，配置 YAML 文件并运行 dan.Dan_11_0 探针测试。结果显示攻击成功率 100%，但需注意样本量小、检测器可能存在误报，建议结合人工审查判断模型安全性。

国标对大模型的合规要求，核心依据是。它从三个主要方面提出了明确要求，分别是。

server.tool() # ← 定义能力的位置return f"server = Server("my-server") @server . tool() # ← 定义能力的位置 def get_weather(city : str) - > str : return f" {city } 晴" # SDK 负责：注册工具、生成 tools/list 响应、解析 tools/call、回写 JSON-RPC。

本文系统阐述了AI多模型路由（Model Routing）的核心架构与实现路径，强调大厂产品通过网关层进行意图识别与任务分流，提升效率与成本控制。路由依据输入模态、任务类型、复杂度与成本敏感度分层决策，后端对接专用模型矩阵。结合LiteLLM等开源工具，可实现声明式路由与护栏配置，支持规则、小模型、大模型混合防护策略。针对医学Agent场景，推荐以BastionPromptProtection为输入护栏首道防线，搭配Presidio脱敏与LlamaGuard3输出审核，兼顾精度、延迟与数据安全，构建高效、可

本文介绍基于本地部署的中文医疗RAG系统构建流程：选用MedicalQA高质量数据集，通过Ollama加载大模型，利用BGE向量模型与Qdrant向量数据库实现语义检索，结合关键词与向量双重策略提升召回准确率。重点对比了不同重排模型，推荐使用轻量高效的BGE-Reranker，其跨模态匹配能力强、兼容性好，适用于8GB显存环境。整体流程遵循“检索-增强-生成”标准骨架，兼顾效率与准确性，为本地化医疗问答系统提供可复用的技术方案。

本文系统梳理了时序数据库技术体系，重点对比Prometheus生态（Mimir、VictoriaMetrics、Thanos）与通用时序库（TDengine、GreptimeDB），解析其数据模型、存储架构与多租户实现机制。核心指出：无schema≠无数据模型，标签即主键，高基数标签易引发存储爆炸；对比MySQL索引，Prometheus labels为倒排索引，新增维度代价高昂。深入剖析Prometheus TSDB写入流程与短板，引出Thanos通过Sidecar+StoreGateway实现跨集群全局

1）分为80块，分块读取1G，排序后保存到文件，其中只保存每个数字的次数；2）对80个文件归并排序，可以写到一个大文件里，每个文件的滑动块大小为25MB；注意，归并的同时，就可以知道当前最大次数的数字，所以可以不写入合并的大文件；1）分块读取和排序：将20亿个数字分成80块，每块1GB大小，这样确保了每个小块可以在内存中进行排序，同时最大限度地减少了内存的使用。2）压缩存储：在每个小块中，只保存每个数字出现的次数，而不是保存所有数字。这样可以大大减少文件的大小，确保每个文件不超过2GB的限制。

优点：以用户为中心比以会话为中心（tinode）的好处就是消息管理更加容易；每个用户的数据相对集中，可以快速的找到并一次性同步给客户；缺点：数据需要存储2份；优点：群聊使用读扩散，存储数据量少；缺点：读扩散，如果用户反复离线与上线，需要读取离线数据，对scylladb压力比较大；

它支持多种语言，包括 Java、.NET、Node.js、Go 等，可以跟踪分布式系统中的请求流，并提供详细的性能数据和可视化的监控工具。采集数据的部分分为探针和SDK两种，比如是JAVA和dotNet有虚拟机的，可以使用hook技术来拦截自己需要的方法，如果是编译型语言基本上使用的是SDK，程序员插码的方式实现。它通过收集、分析和报告应用程序的性能数据，帮助开发人员和系统管理员更好地了解应用程序的运行状况，识别潜在的性能问题，并进行优化。对收集到的数据进行分析，以识别性能瓶颈、错误和潜在的优化点。

centos scallyDb 试用，兼容cassandra

目前很多IM的数据存储都是使用mysql，比如teamGram， OpenIMSdk，但是mysql水平扩展十分麻烦，而新的列数据库，有clickhouse, hbase, cassandra，其中cassandra十分适合IM数据存储，原因是：使用id分区，使用id以及时间戳聚合，这样可以完成以用户为中心的数据存储与查询