小宿智能搜索

专为 Agent 设计的智能搜索与数据服务

SimpleQA是由OpenAI推出的一个开源基准测试集，主要用于评估大型语言模型在回答简短事实性问题上的能力。虽然其直接评估对象是语言模型，但其核心思想和方法对于评估搜索引擎返回答案的事实准确性和可靠性具有重要参考价值。该数据集数据集覆盖历史、科学、艺术、地理等多个主题，每个问题都经过精心设计，确保只有一个明确、客观的答案，并且答案不会随时间改变，这使得评估过程更加直接和可靠。

在评测过程中，SimpleQA 的问题首先通过不同搜索引擎进行检索，获取的搜索内容构成上下文信息；随后，问题和上下文被输入商用大型语言模型生成答案。最终，使用分类器对答案进行评分，以量化评估各搜索引擎在提供事实性信息上的准确性和可靠性。

Search Arena 由 LMSys.org 提出，旨在提供一个独立、公正的搜索引擎评测标准。该评测平台通过多引擎检索、全文获取和多维度评分，确保结果的客观性和可比性。评测过程由第三方商用大型语言模型执行，覆盖有用性、相关性、深度、引用可靠性、综合推理以及表达准确性等多个维度，同时采用双向对比机制，降低模型偏向性。 我们在完成一对一比较后，进一步应用 Bradley-Terry 模型将结果转化为横向排名，量化每个搜索引擎的整体表现（π值），排名基于π值降序排列，π值越高表示搜索引擎搜索质量越好

本搜索测试集的核心理念是确保评测结果能够真实、无偏地反映搜索系统在实际应用中的表现。为此，测试集中的查询用例基于生成式大模型技术，模拟真实用户的搜索意图和行为生成大量查询，并通过科学的随机抽样方法进行选取，从而全面、公正地衡量搜索系统处理各种真实查询的能力。

搜索质量评测通过专业人工模拟真实用户行为，对搜索引擎结果进行系统化量化分析，衡量其相关性、内容质量与信息价值，确保评测结果客观、公正、可信。评测采用 nDCG 等核心指标衡量排序效果，强调高度相关内容应出现在前列，为用户带来最大价值。
评测遵循客观性、准确性与公正性原则，通过统一标准对不同搜索引擎结果进行横向比较。

评价维度包括：

相关性
搜索结果与用户查询及意图匹配，内容直接解决问题

内容质量
信息真实可靠、回答完整且权威

内容价值
信息量丰富、具时效性，帮助用户快速获取所需信息并做出决策