汉得企业级大模型训练与管理平台（中文名灵炼，英文名 H-AI TrainHub，以下简称灵炼），旨在提供企业级一站式模型训练与管理平台，覆盖数据集管理、精调、推理部署与评测等端到端能力，专注性能与安全保障，全面支撑企业 AI 模型开发与落地。

本文将带你快速了解灵炼模型评估引擎融合 NVIDIA NeMo Evaluator 的完整使用流程，涵盖自动评估、基准评估，以及任务执行与多维结果分析，融合规则指标、模型裁判两类评分方式及同时支持公开/专有评测集，助力企业构建更全面、更客观、更高效的行业垂类模型评估体系。

大模型加速进入企业业务场景，如何客观、全面地衡量公有/私有模型能力，已成为模型选型、效果优化和上线验证的重要环节。

单一的评估数据或评分方式，往往难以覆盖准确性、内容质量、逻辑推理、场景适配等多维能力，也难以支撑不同模型之间的有效对比。

灵炼模型评估引擎现融合 NVIDIA NeMo Evaluator，在保留原有评估能力的基础上，新增自动评估与基准评估两种评估模式：

✅ 支持使用企业私有数据集开展业务场景垂类模型评估；

✅ 支持基于内置的公开评测集进行通用能力测评。

同时提供规则指标与模型裁判两类评分方法，满足不同评估场景下的模型能力评价需求。

核心能力包括：

从评估模式、评测数据到评分方式，灵炼持续完善模型评估能力，覆盖业务场景与通用能力，让模型效果有据可评、结果清晰可见，为企业模型选型、优化与应用提供更可靠的评估依据。

新建模型评估任务时，在“评估引擎”中选择 NeMo Evaluator，即可进一步选择自动评估或基准评估。

自动评估面向企业自有业务数据集，支持 Prompt+Response、多轮对话等多种评估数据，并提供灵活的评分组合能力。

用户可按需选择自动规则打分、自动裁判员打分，或组合多种评分方式，实现从客观指标到主观质量的多维评估：

✅ 自动规则打分：适用于答案可直接比对、结果客观可量化的评估场景。

✅ 自动裁判员打分：适用于逻辑推理、语义理解、内容质量等复杂能力的评估。

✅ 组合评分：支持在同一任务中组合多种评分指标，从多个维度综合评价模型表现。

启用自动裁判员打分后，用户可选择裁判员模型和评分 Prompt。系统将展示裁判员设定及评分指标，并支持根据当前评估任务灵活调整指标内容，最多维护10条评分指标。

任务内的调整仅对当前评估生效，不会影响原始模板，既便于模板复用，也能满足不同业务场景下的个性化评价需求。

基准评估现已支持从内置公开评测集中选择数据。评测集按领域与分类组织，支持自定义采样比例，并实时预估样本数量，帮助你在评估覆盖度与执行成本之间灵活平衡。

若所选评测集需要模型裁判，系统会自动展示对应的裁判模型配置，减少无关操作，让评估流程更高效。

配置完成后，可一键发起 NVIDIA NeMo Evaluator 评估任务。系统统一跟踪任务执行状态，并支持重新评估和失败任务续评，减少重复配置与人工处理成本。

评估完成后，结果页按四个层级呈现模型表现：

以上内容主要介绍了如何通过灵炼接入 NVIDIA NeMo Evaluator，完成评估任务配置、执行跟踪与结果分析，覆盖从业务场景验证到通用能力测评的模型评估流程。更多功能细节可参阅开放平台文档，或随时联系研发团队。

未来我们将持续迭代，为您带来更高效的 AI 模型开发与落地体验，期待与您交流！

欢迎在评论区留言，一起探讨 AI 模型开发在您业务中的应用潜力~

携手汉得，共铸硬核竞争力！