LlamaIndex --- Evaluating

Evaluating

概念解释

Evaluating(评估):在LLM(大型语言模型)开发中,评估和基准测试是至关重要的概念。为了提高LLM应用(如RAG、代理)的性能,必须有一种方法来衡量其表现。

Response Evaluation(响应评估):评估生成的响应是否与检索到的上下文匹配,是否与查询匹配,是否与参考答案或指南匹配。

Retrieval Evaluation(检索评估):评估检索到的来源是否与查询相关。

响应评估

响应评估的一个简单示例是评估单个响应的忠实度(Faithfulness),即响应是否与上下文一致,是否没有幻觉(hallucinations)。

示例代码

from llama_index.core import VectorStoreIndex
from llama_index.llms.openai import OpenAI
from llama_index.core
08-10
TM-30 是由美国照明工程学会(IES, Illuminating Engineering Society)发布的一项技术标准,正式名称为 **IES TM-30-18**, 全称为 *IES Method for Evaluating Light Source Color Rendition*,用于评估光源的显色性。该标准于2015年首次发布,并在2018年进行了更新,成为当前广泛采用的版本。 ### TM-30 的核心内容 TM-30 提供了一套更全面、更科学的方法来评估光源的显色性能,相较于传统的 CRI(Color Rendering Index)指标,它具有更高的准确性和信息丰富性。主要组成部分包括: - **Color Fidelity Index (Rf)**:衡量光源与参考光源在颜色再现上的相似程度,取值范围为0到100,数值越高表示颜色保真度越好。 - **Color Gamut Score (Rg)**:反映光源在增强或减弱颜色饱和度方面的表现,数值高于100表示颜色更鲜艳,低于100表示颜色更暗淡。 - **Color Vector Graphic**:通过图形方式展示各色相的颜色偏移情况,便于直观分析。 这些指标基于99个标准颜色样本(CIE 13.3-1995和CIE 15:2004)和10组颜色区域(Hue Bins),相较于CRI使用的8个样本,TM-30的评估更具代表性[^1]。 ### 测试方法 TM-30 的测试流程主要包括以下几个步骤: 1. 获取光源的光谱功率分布(SPD)。 2. 计算光源在99个颜色样本下的色度值。 3. 与参考光源(黑体辐射或日光)进行比较,计算Rf。 4. 根据颜色区域(Hue Bins)划分,计算Rg。 5. 生成颜色矢量图,展示每个色相的颜色偏移情况。 测试通常使用光谱仪测量光源的SPD,并通过专用软件(如由NIST开发的TM30 Tool)进行计算和分析。 ### 应用领域 TM-30 主要应用于以下行业和场景: - **照明设计**:帮助设计师选择适合特定环境的光源,如博物馆、画廊、医疗场所等对颜色准确性要求高的空间。 - **灯具制造**:作为产品性能评估的重要指标,用于优化LED光源的设计和调制。 - **建筑与室内设计**:提升视觉舒适度和空间感知质量。 - **影视与舞台照明**:确保色彩表现符合专业需求。 ### 与其他标准的比较 | 指标 | 样本数量 | 主要特点 | 局限性 | |------|----------|----------|--------| | CRI | 8 | 简单直观,广泛使用 | 忽略颜色饱和度变化,样本数量少 | | TM-30 | 99 | 提供Rf和Rg双指标,图形化分析 | 需要专业设备和软件支持 | ### 示例代码:使用 Python 绘制 TM-30 颜色矢量图 ```python import matplotlib.pyplot as plt import numpy as np # 示例数据:每个色相的平均色偏移(简化) hue_bins = ['Red', 'Orange', 'Yellow', 'Green', 'Cyan', 'Blue', 'Magenta', 'Purple', 'Brown', 'Skin'] color_shifts = [0.05, 0.03, -0.02, -0.04, 0.01, 0.06, -0.03, 0.02, 0.04, 0.05] theta = np.linspace(0, 2 * np.pi, len(hue_bins), endpoint=False) radii = np.abs(color_shifts) colors = ['red' if shift > 0 else 'blue' for shift in color_shifts] ax = plt.subplot(111, polar=True) bars = ax.bar(theta, radii, width=0.4, bottom=0.0, color=colors, alpha=0.7) plt.title('TM-30 Color Vector Graphic (Simplified Example)') plt.show() ``` ###
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

需要重新演唱

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值