✨ CHARM 的发现 ✨

提示策略

我们选择了5种常用的提示策略，并评估了19种LLMs在CHARM推理任务上的表现。我们评估了当前常用的LLMs，这些可以分为两类：

提示策略示例

我们在CHARM推理任务中测试了19种LLMs和5种提示策略的组合。结果显示在下面的表格中。

在CHARM推理任务中的平均准确率

💡 结果显示，LLMs的语言取向和任务的知识领域会影响提示策略的表现，这进一步丰富了先前的研究发现。

从 LLM 维度来看, 不同的 LLMs 显然偏好不同的提示策略：在5种策略中，XLT 对于英文 LLMs 始终表现优秀，而对于面向中文的 LLMs，尽管存在一些复杂性，但 ZH-CoT 通常表现最好。

从常识领域维度来看, 使用英文进行推理的策略（如 XLT、Translate-EN 等）适用于全球常识领域；然而，ZH-CoT 在中国常识领域中的表现通常更好。

这里的结论与前面的研究有所不同 (Huang et al., 2023a, Zhang et al., 2023a, Shi et al., 2022),之前的研究提出，在处理非英文的推理任务时，使用英文比使用题目本身的语言更为有效。

综合推理与记忆的对比

我们评估了在 MRI 任务上，综合推理与记忆之间的相关性。下面是 LLMs 在 4 个 MRI 任务上的平均表现。

在中国常识领域的4项MRI任务中的平均准确率。

💡 如图所示，这19个 LLMs 大致可以被分为三种类型：

• 类型 I：低记忆能力和低综合推理能力。 我们发现，除了 OpenAI 的 GPT 系列外，所有其他的英文 LLMs 都属于这个类型。
• 类型 II：高记忆能力和中等综合推理能力。 GPT3.5 和所有规模在 30B 以下的面向中文的 LLMs 都属于这个类型。值得注意的是，一些 LLMs 具有高度的记忆性能，但相对较差的综合推理能力。
• 类型 III：超高记忆能力和高综合推理能力。 个类别包括 GPT4 和三个规模超过 30B 的面向中文的 LLMs。

独立于记忆的推理

我们提出了两种方法来比较 LLMs 在 MRI 任务上独立于记忆的推理能力： Mono-LLM-Memorization (FRMM) and Memorization-Independent Battles among LLMs (MIB). （关于 FRMM 和 MIB 方法的具体细节，请参阅论文。 以下是 FRMM 和 MIB 方法的结果。

Leaderboard on the MRI tasks.

💡 如果大型语言模型（LLMs）对保留的推理问题提供了错误的回答，这些可以被称为独立于记忆的推理错误。我们通过手动审查推理过程来分析这些错误，并将它们归类为四个主要类型

• 理解错误：在这种情况下，LLM 无法准确理解问题，包括误解内容，忽视甚至修改前提中的重要信息，以及未能把握问题的核心查询。
• 知识错误： LLM 在推理过程中融入了不准确的知识。值得强调的是，与推理问题相关的知识片段在之前的相关记忆问题中已经被检查过，而 LLM 正确地回答了这些问题。然而，在推理阶段，LLM 输出的信息是不正确的。
• 逻辑错误： LLM 犯了逻辑推理错误，比如数学推理错误，无法基于足够的信息得出正确的结论，或者达到正确的结论但输出了错误的选项。
• 其他错误： 其他零星、罕见的错误。

💡 独立于记忆的推理错误的分布

独立于记忆的推理错误的分布

💡 LLMs 的三种类型的独立于记忆的推理错误示例

LLMs的3种类型独立于记忆的推理错误的示例。

🖊️ 引用

    @misc{sun2024benchmarking,
          title={Benchmarking Chinese Commonsense Reasoning of LLMs: From Chinese-Specifics to Reasoning-Memorization Correlations}, 
          author={Jiaxing Sun and Weiquan Huang and Jiang Wu and Chenya Gu and Wei Li and Songyang Zhang and Hang Yan and Conghui He},
          year={2024},
          eprint={2403.14112},
          archivePrefix={arXiv},
          primaryClass={cs.CL}
    }