解釈可能モデルと説明可能モデルの違いとは？

目次（Table of Contents）

• 手法の定義とは（What is the Definition of Techniques）
• 解釈可能モデルとは（What is an Interpretable Model）
• 説明可能モデルとは（What is an Explainable Model）
• 解釈可能性とは（What is Interpretability）
• 解釈可能モデルの例（Examples of Interpretable Models）
• 説明可能モデルの例（Examples of Explainable Models）
• 黒箱モデルとは（What is a Black Box Model）
• 解釈技術とは（What are Interpretation Techniques）
• 解釈性のスペクトル（The Spectrum of Interpretability）
• 定義の問題（Issues with the Definition）
• まとめ（Summary）

手法の定義とは（What is the Definition of Techniques）

解釈可能機械学習（IML）の分野に飛び込むと、似たような言葉が飛び交っていることに気づくでしょう。この動画では、解釈可能モデルと説明可能モデルの違いについて、一つの定義に焦点を当てて解説します。ただし、警告しておきますが、IMLはまだ新しい分野であり、定義の提案や議論が行われています。実際、IMLの正式な名称すら、解釈可能機械学習（IML）なのか、説明可能AI（XAI）なのか、さえ意見が分かれています。この動画では、潜在的な定義に焦点を当ててモデルを分類し、解釈性という関連概念についても議論します。最後に、この定義の問題点と、実際にはこの定義を使ってモデルを分類する必要がない理由についても話します。

解釈可能モデルとは（What is an Interpretable Model）

モデルを理解できると判断される場合、それを解釈可能モデルと呼びます。つまり、モデルが人間によって理解可能な場合、それを解釈可能と言います。モデルのパラメータやモデルの概要を見ることで、予測がどのように行われたのかを正確に理解できます。決定木はその良い例です。予測が行われた方法を理解するために、木のノードを辿るだけで済みます。もう一つの例は線形回帰です。以下のモデルは、顧客の年齢と収入に基づいて予測されるローンの最大額を示しています。たとえば、29歳で月収3,000ドルの人は、最大33,100ドルのローンが予測されます。また、モデルが捉えている一般的な傾向、つまりローンの額が年々100ドルずつ増加し、収入の一ドル増につき10ドル増加することも簡単に分かります。このようなモデルを直接見ることで、予測の方法を理解することができます。なぜなら、これらのモデルは単純であり、決定木にはわずかなノードしかなく、回帰にはたった3つのパラメータしかありません。しかし、モデルが複雑になると、このように理解することはできなくなります。

説明可能モデルとは（What is an Explainable Model）

説明可能モデルとは、人間が理解することができるほど複雑なモデルのことを指します。別名「ブラックボックスモデル」とも呼ばれます。私たちは追加の手法や技術を必要としています。それによってブラックボックスに入り込み、その仕組みを理解することができるからです。例えば、ランダムフォレストは多くの決定木から構成されているため、ランダムフォレストがどのように動作するかを理解するためには、個々の決定木の理解が必要です。たとえツリーの数が少なくても、これは人間には不可能です。さらに、畳み込みニューラルネットワークなどのアルゴリズムを見ると、さらに複雑化します。たとえば、画像認識に使用されるAlexNetという畳み込みニューラルネットワークは、6200万のパラメータを持っています。比較的単純な回帰モデルの3つのパラメータと比べると、AlexNetのようなモデルがどのように動作するかをパラメータの重みだけを見て理解することは不可能です。したがって、これらのモデルがどのように動作するかを理解するためには、追加の技術が必要です。これには、特定のモデル向けに作成された手法（例：ディープリフト）や、あらゆるモデルに適用できる手法（例：LIME、SHAP、PDP、ICEプロットなど）が含まれます。ただし、これらの手法は、それぞれ独自の仮定や制限を持っていますし、モデルの予測方法を近似的に提供するだけであり、注意が必要です。

解釈可能性とは（What is Interpretability）

ここまで、モデルを解釈可能または説明可能と分類しましたが、実際には解釈可能性は連続的なスペクトルで表されます。つまり、モデルが理解できる程度とは、モデルの解釈可能性の度合いを指しています。畳み込みニューラルネットワークはランダムフォレストよりも解釈可能性が低く、ランダムフォレストは決定木よりも解釈可能性が低いと言えます。ほとんどのモデルは、一般的に解釈可能または説明可能と分類されますが、このグレーゾーンが存在し、分類について意見が分かれることもあります。このグレーゾーンでは、ランダムフォレストに2つのツリーがあれば解釈可能とみなすかもしれませんが、100のツリーがあれば解釈可能ではないとなるかもしれません。多くのノードを持つ決定木や多数のパラメータを持つ回帰モデルでも、追加の技術なしでは理解が困難になる可能性があります。問題は、モデルの理解を基準に分類しようとしているところにありますが、この理解能力を測定するための公式的な方法はありません。モデルを理解する能力は、個々の技術的スキルや専門的な経験に依存します。さらに、専門家の間でも意見の不一致が生じることもあります。また、追加の技術と定義するものも一つの問題です。単純なモデルでも、追加の手法が必要となることはよくあります。線形回帰の重みを説明する際に、相関行列を使用することも一般的ですが、これは線形回帰が説明可能なモデルになったと言えるでしょうか。このような問題から、私たちはこの定義が本当に必要なのかという疑問を抱くことができます。IMLの目標は、モデルを理解し説明することですが、そのためにモデルを解釈可能または説明可能と分類する必要はありません。選ぶべき手法は、モデルのタイプと答えたい具体的な質問によって異なります。しかしながら、まだまとまった意見が存在しないことを念頭に置いてください。あなたはどう思いますか？この定義に同意しますか？それとも、モデルを分類するためにはより良い方法があると思いますか？

もしIMLに興味があり、すぐに始めたい場合は、動画の最後でPythonのSHAPコースにアクセスする方法について説明していますので、チェックしてみてください。

【リソース】

• SHAP