SimpleQA 测试集
简介
SimpleQA 是由 OpenAI 推出的一个开源基准测试集,主要用于评估大型语言模型在回答简短事实性问题上的能力。虽然其直接评估对象是语言模型,但其核心思想和方法对于评估搜索引擎返回答案的事实准确性和可靠性具有重要参考价值。该数据集覆盖历史、科学、艺术、地理等多个主题,每个问题都经过精心设计,确保只有一个明确、客观的答案,并且答案不会随时间改变,这使得评估过程更加直接和可靠。
方法论
在评测过程中,SimpleQA 的问题首先通过不同搜索引擎进行检索,获取的搜索内容构成上下文信息;随后,问题和上下文被输入商用大型语言模型生成答案。最终,使用分类器对答案进行评分,以量化评估各搜索引擎在提供事实性信息上的准确性和可靠性。





