线性模型是否真的能给出一个很好的解释？
tom 2021-11-22 11:02:24 2021-11-22 62 0
Good Explanation
那就要先解释一下什么是一个 Good Explanation
关于什么是Explanation，miller曾经给出一个回答，对于一个why类型问题的回答的解释：- 为什么治疗对患者无效？
- 为什么我的贷款被拒绝？
- 为什么外星生命还没有联系到我们？
前两个问题可以用“日常”的解释来回答，而第三个问题来自“更一般的科学现象和哲学问题”类别。我们关注于“日常”类型的解释，因为这些解释与可解释的机器学习相关。以“如何”作为开头的问题通常可以改为“为什么”问题：“我的贷款是如何被拒绝的？”可以改为“为什么我的贷款被拒绝的？”。“Explanation”一词指解释的社会和认知过程，但也指这些过程的产物。解释者可以是人，也可以是机器。
关于什么是一个好的解释，这里进一步浓缩了米勒关于“好的”解释的总结，并为可解释的机器学习添加了具体含义。解释是对比的：人类通常不会问为什么会做出某个预测，而是问为什么会做出这个预测而不是另一个预测。我们倾向于在反事实的情况下思考，即“如果输入X不同，预测结果会如何？”。对于房价预测，房主可能会感兴趣的是，为什么预测价格高于他们预期的较低价格。如果我的贷款申请被拒绝，我不想听到所有支持或反对拒绝的因素。我对申请中需要更改才能获得贷款的因素感兴趣。我想知道我的申请和我的申请被接受的版本之间的对比。认识到对比解释的重要性是可解释机器学习的一个重要发现。从大多数可解释模型中，您可以提取一种解释，该解释将实例预测与人工数据实例预测或实例平均值进行隐式对比。医生可能会问：“为什么药物对我的病人不起作用？”。他们可能需要一个解释，将他们的患者与药物有效的患者以及与无反应患者相似的患者进行对比。对比解释比完整解释更容易理解。对于医生提出的药物不起作用的问题的完整解释可能包括：患者已患此病10年，11个基因过度表达，患者身体很快将药物分解为无效化学物质。。。对比解释可能要简单得多：与有反应的患者相比，无反应的患者有某种基因组合，使药物的疗效降低。最好的解释是强调感兴趣的对象和参考对象之间的最大差异。它对可解释机器学习意味着什么：人类不希望对一个预测有一个完整的解释，但希望将差异与另一个实例的预测（可以是人工预测）进行比较。创建对比解释取决于应用程序，因为它需要一个比较参考点。这可能取决于要解释的数据点，但也取决于接收解释的用户。房价预测网站的用户可能希望对房价预测做出解释，并将其与自己的房子、网站上的另一所房子或附近的普通房子进行对比。自动创建对比解释的解决方案可能还包括在数据中找到原型或原型。选择性的解释：人们不希望解释涵盖事件的实际和完整原因列表。我们习惯于从各种可能的原因中选择一个或两个原因作为解释。作为证据，打开电视新闻：“股价下跌被归咎于由于最新软件更新出现问题而对该公司产品越来越强烈的反弹。”“对现有机构和我们的政府越来越不信任是降低投票率的主要因素。”一个事件可以由各种原因解释的事实被称为Rashomon Effect.。《罗生门》是一部日本电影，讲述了关于武士之死的另类、矛盾的故事（解释）。对于机器学习模型来说，如果能从不同的特征中做出良好的预测，这是有利的。将具有不同特征（不同解释）的多个模型组合在一起的集成方法通常表现良好，因为对这些“故事”进行平均可以使预测更加稳健和准确。但这也意味着，为什么做出某个预测，有不止一种选择性的解释。它对可解释机器学习的意义：让解释非常简短，只给出1到3个理由，即使世界更复杂。解释是社会性的：它们是解释者和解释接受者之间对话或互动的一部分。社会背景决定了解释的内容和性质。如果我想向一位技术人员解释数字加密货币为何如此值钱，我会说这样的话：“分散、分布式、基于区块链的分类账，不能由一个中央实体控制，与那些希望获得财富的人产生共鸣，这解释了高需求和高价格。”但我想对我的祖母说：“听着，祖母：加密货币有点像电脑黄金。人们喜欢并为黄金付出很多，而年轻人喜欢并为电脑黄金付出很多。”这对可解释机器学习意味着什么：关注机器学习应用程序的社会环境和目标受众。正确使用机器学习模型的社交部分完全取决于您的具体应用。找人文学科的专家（如心理学家和社会学家）来帮助你。解释的重点是异常情况。人们更关注异常原因来解释事件。这些原因的可能性很小，但仍然发生了。消除这些异常原因将极大地改变结果（反事实解释）。人类认为这些“异常”的原因是很好的解释。来自Štrumbelj和Kononenko（2011）的一个例子：假设我们有一个教师和学生之间的测试情境数据集。学生参加课程，并在成功完成演示后直接通过课程。教师可以选择另外向学生提问，以测试他们的知识。不能回答这些问题的学生将不及格。学生可以有不同程度的准备，这意味着正确回答老师问题的概率不同（如果他们决定测试学生）。我们想预测一个学生是否会通过这门课程，并解释我们的预测。如果老师没有提出任何额外的问题，那么通过的概率是100%，否则通过的概率取决于学生的准备水平和正确回答问题的概率。情景1：老师通常会问学生额外的问题（例如，100次中有95次）。一个没有学习的学生（有10%的机会通过问题部分）不是幸运的学生，他得到的额外问题没有正确回答。这个学生为什么不及格？我认为不学习是学生的错。情景2：老师很少问额外的问题（例如，100次中有2次）。对于一个没有学习过这些问题的学生，我们预测通过课程的概率很高，因为不太可能有问题。当然，其中一名学生没有准备问题，这给了他10%的通过问题的机会。他很不走运，老师又问了一些学生回答不了的问题，结果他不及格。失败的原因是什么？我认为现在更好的解释是“因为老师测试了学生”。老师不太可能参加考试，所以老师的行为不正常。它对可解释机器学习意味着什么：如果预测的一个输入特征在任何意义上是异常的（如分类特征的罕见类别），并且该特征影响了预测，则应将其包括在解释中，即使其他“正常”特征对预测的影响与异常特征相同。在我们的房价预测示例中，一个不正常的特征可能是一栋相当昂贵的房子有两个阳台。即使某些归因方法发现，这两个阳台对价格差异的贡献与高于平均水平的房子大小、良好的邻里关系或最近的装修一样大，但“两个阳台”这一反常特征可能是解释房子如此昂贵的最佳解释。解释是真实的。好的解释在现实中被证明是正确的（即在其他情况下）。但令人不安的是，这并不是“好”解释的最重要因素。例如，选择性似乎比真实性更重要。仅选择一个或两个可能原因的解释很少涵盖所有相关原因。选择性忽略了部分真相。例如，导致股市崩盘的并非只有一两个因素，但事实是，有数百万个原因影响着数百万人的行为，最终导致了崩盘。对可解释的机器学习来说意味着什么：解释应该尽可能真实地预测事件，在机器学习中这有时被称为忠实。因此，如果我们说第二个阳台提高了房子的价格，那么这也应该适用于其他房子（或者至少适用于类似的房子）。对人类来说，解释的忠实性不如其选择性、对比性和社会方面重要。好的解释与被解释者先前的信念是一致的。人类倾向于忽略与他们先前的信仰不一致的信息。这种效应称为确认偏差。这种偏见并不能免除解释的责任。人们会倾向于贬低或忽视与他们的信仰不一致的解释。这套信仰因人而异，但也有基于群体的先前信仰，如政治世界观。它对可解释机器学习意味着什么：好的解释与先前的信念是一致的。这很难集成到机器学习中，并且可能会严重影响预测性能。我们先前认为，房屋规模对预测价格的影响是，房屋越大，价格越高。让我们假设一个模型也显示了房屋规模对一些房屋的预测价格的负面影响。该模型之所以了解到这一点，是因为它提高了预测性能（由于一些复杂的交互作用），但这种行为与我们之前的信念强烈矛盾。您可以强制执行单调性约束（特征只能在一个方向上影响预测），或者使用具有此属性的线性模型之类的东西。好的解释是普遍的和有多种可能的。一个可以解释许多事件的原因是非常普遍的，可以被认为是一个很好的解释。请注意，这与异常原因可以做出很好解释的说法相矛盾。在我看来，非正常原因胜过一般原因。根据定义，异常原因在给定场景中很少见。在没有异常事件的情况下，一般解释被认为是良好的解释。还要记住，人们往往会误判联合事件的概率。一个很好的例子是“房子之所以昂贵是因为它很大”，这是一个非常笼统、很好的解释，解释了为什么房子贵或便宜。它对可解释机器学习的意义：通用性可以很容易地通过特征的支持来衡量，即解释适用的实例数除以实例总数。Linear Model
那么关于线性模型是否真的能给出一个很好的解释这个问题：
从构成良好解释的属性来看，线性模型不能产生好的解释。它们是对比的，但参考实例是一个数据点，其中所有数字特征为零，分类特征位于其参考类别。这通常是一个人工的、无意义的实例，在您的数据或现实中不太可能发生。有一个例外：如果所有数字特征均以平均值为中心（特征减去特征的平均值），且所有分类特征均为效应编码，则参考实例是所有特征均采用平均特征值的数据点。这也可能是一个不存在的数据点，但它至少可能更有可能或更有意义。在这种情况下，权重乘以特征值（特征效应）解释了相对于“平均实例”对预测结果的贡献。一个好的解释的另一个方面是选择性，这可以通过使用较少的特征或训练稀疏的线性模型在线性模型中实现。但默认情况下，线性模型不会创建选择性解释。只要线性方程是特征和结果之间关系的合适模型，线性模型就能做出真实的解释。非线性和相互作用越多，线性模型就越不准确，解释也就越不真实。线性使解释更一般、更简单。我认为，模型的线性本质是人们使用线性模型来解释关系的主要因素。