中国中文信息学会信息检索专委会

THUIR推荐可解释性论文获国际顶级期刊TOIS录用

  ​Image

  近日,清华大学信息检索课题组(THUIR)师生撰写的论文被ACM TOIS录用。TOIS (ACM Transactions on Information Systems) 是由美国计算机学会(ACM)出版的SCI核心期刊,是中国计算机学会CCF推荐的A类学术期刊,是清华大学推荐论文列表TH-CPL-A类国际期刊,在相关领域享有很高的学术声誉。该论文系我组师生与新加坡国立大学NExT++实验室合作撰写。

  ​Image

  论文第一作者为我组博士生卢泓宇(导师:张敏),题目是​“推荐解释的用户感知:你的解释真的是用户需要的吗?”(User Perception of Recommendation Explanation: Are Your Explanations What Users Need?)​,作者:卢泓宇,马为之,王亦凡,张敏,王翔,刘奕群,Tat-Seng Chua,马少平。链接见https://doi.acm.org/?doi=3565480

  内容简介:

   人们越来越多地在日常决策中使用推荐系统,例如选择电影、购买商品等,此时也越来越需求令人信服的解释理由,来帮助理解推荐结果和帮助决策。近年来,虽然推荐系统的可解释性得到了很多研究者的关注,但用户真正需要什么样的推荐解释,仍然缺少充分研究。用户检验和消费意图(例如,点击并观看一部电影)背后的真实原因,可以成为回答该问题的一个窗口,在本文中被称为自我解释。此外,实际生活中人们在进行推荐时,往往也会伴随着解释理由,在本文中被称为同伴推荐。围绕自我解释和同伴解释,本文研究人类如何进行解释,以及我们能从人类解释中学习到哪些模式?

  ​Image

  图:多角色、多阶段推荐系统可解释性用户实验示意图

   为了探究这些问题,我们进行了一项多角色、多阶段的用户实验。在实验中,用户与多种类型和内容的系统解释,以及人类生成的同伴解释,进行互动。在此过程中,用户的意图强弱、对偏好的预期、以及体验,在多阶段被采集,包括用户被呈现解释之前和之后,以及检验完详情之后。

  ​Image

  图:用户对推荐解释的多角度体验

   通过对实验结果的全面分析,我们有三个主要的发现:首先,我们观察到解释不仅有正向效应,也会有负向效应,同时不同类型的解释产生的影响也不同。其中人类产生的解释,即同伴解释,在提高用户意图强度和帮助用户构建偏好方面表现的更好,也带来了更高的用户满意度。其次,基于用户的自我解释,我们对推荐解释的信息准确性进行了量化,并分析和验证了该指标与用户满意度的强相关性。分析结论表明通过用户自我解释数据,可以实现对推荐解释理由进行离线量化评估。第三,通过对人类产生的自我解释,和同伴解释中所使用的信息进行的标注,我们研究了人类进行解释的模式,包括哪些信息被使用,以及其中的信息量。基于研究发现,我们提出了一种人类启发式解释生成方法,并发现其能够有效提高用户满意度,展示了在推荐解释中纳入更多人类模式的潜在可能。

  ​Image

  图:人类生成解释的信息点/信息量模型 & 人类启发式解释生成方法的用户满意度检验结果

   在领域内,如何对推荐解释进行量化评估,尤其是离线评估,一直是制约可解释性研究的重要问题。本文通过对自我解释、同伴解释的定义、采集和分析,深入探究了用户对推荐解释的需求,以及解释所起到的作用,并建立与满意度的关联。结论表明,基于用户自我解释,可以量化推荐解释的信息准确性,并能够与满意度评测保持一致。此外,本文通过观察人类生成的解释,从信息的使用角度总结模式,可用于优化推荐解释的生成。

Previous post
Example post 2