superglue排行榜和chatbot-arena-leaderboard有什么区别
主要差异如下:
对象不同:
superglue排行榜是针对自然语言处理模型力量的一个排行榜,评价模型在各种任务上的综合能力。
chatbot-arena-leaderboard是针对对话型 chatbot 模型的一个排行榜,评价模型在人机对话类任务上的表现能力。
评价标准不同:
superglue排行榜考察的任务包括句子对照匹配、问答理解能力等全面性任务。模型会获取一个总分来评价其综合力量。
chatbot-arena-leaderboard主要考察模型在人机对话过程中的智能性、流畅性以及会话能力,通过人工评分来反映模型的对话质量。
放置体系不同:
su...