文章介绍了MTCMB，一个专为传统中医(TCM)设计的多任务基准框架，用于评估大语言模型在中医知识、推理和安全性方面的能力。MTCMB由12个子数据集组成，涵盖知识问答、语言理解、诊断推理、处方生成和安全性评估五大任务类别。研究团队与认证中医专家合作，整合了真实病例记录、国家执业考试和经典文献，为中医AI系统提供了全面且真实的测试平台。初步结果显示，当前大语言模型在基础知识上表现良好，但在临床推理、处方规划和安全性合规方面仍有不足。MTCMB的发布旨在促进开发更可靠的中医AI系统，所有数据集、代码和评估工具均已公开。
传统中医(TCM)作为一种具有数千年历史的整体医疗体系，在全球医疗保健中扮演着重要角色。然而，其隐含的推理机制、多样化的文本形式以及缺乏标准化等问题，为计算建模和评估带来了重大挑战。大语言模型(LLMs)在医学领域的应用显示出巨大潜力，但在中医领域的系统性评估仍处于初级阶段。
现有的基准测试要么过于狭窄地集中在事实性问答上，要么缺乏针对中医特定任务和临床真实性的设计。MTCMB的提出填补了这一空白，通过与认证中医专家合作，整合了真实病例、国家考试和经典文献，提供了一个全面且真实的评估平台。
MTCMB包含12个子数据集，分为五大类别：知识问答、语言理解、诊断推理、处方生成和安全性评估。每个数据集都经过精心设计，以确保涵盖中医实践中的关键方面。例如，知识问答数据集包括来自国家执业考试的题目，而处方生成数据集则要求模型根据临床案例推荐治疗方案。
研究团队评估了14种大语言模型在MTCMB上的表现，包括通用模型、医学专用模型和推理优化模型。结果显示，通用模型在事实性知识上表现优异，但在中医特定的临床推理和安全性决策方面存在明显不足。医学专用模型在处方任务中略有优势，但在安全性评估中表现与通用模型相似。
文章提出了三个关键发展方向：领域对齐训练、混合架构设计以及安全性增强学习范式。这些方向旨在进一步提升大语言模型在中医领域的应用能力，确保其输出既准确又安全。