あらゆる臨床用AI製品の中核には、静かでありながら重大な選択が存在します。すなわち、そのソフトウェアは意思決定者なのか、それとも意思決定者を支える存在なのか、という問いです。これを程度の問題として——自信が深まるにつれて自動化の側へと少しずつ動かしていけるスライダーのように——扱いたくなる誘惑があります。私たちはそうは考えません。私たちにとってこれは、最初の機能が描き出される前に定められた固定的な設計上の立場であり、所見がどのように提示され、出力がどのように記録され、臨床医がそれらをどのように確認し、編集し、あるいは覆すのかを規定するものです。

設計思想としての支援とは、判断するのは臨床医であり、ツールはその判断を支えるということです。この一文は短いものの、それを体現するのは容易ではありません。それはユーザーインターフェース、レポート、監査証跡、そして症例が終結したずっと後までついて回る説明責任に対して、それぞれ意味を持つのです。

支援は立場であって、免責事項ではない

「支援目的のみ」という文言をフッターに記しておきながら、実際には静かに神託のように振る舞う何かを作り続けることは簡単です。あらかじめチェックの入ったボックス、確定した事実として提示される所見、解除するのが面倒なデフォルト設定——これらはいずれも、臨床医が機械の見解を本当に吟味することなく受け入れる方向へと後押しします。免責事項は一つのことを語りますが、設計は別のことを語り、人は設計の方に反応するのです。

そこで私たちは、支援を法的な姿勢ではなく、工学的な制約として扱います。提案は、提案らしく見えなければなりません。臨床医の判断こそが最も抵抗の少ない経路であるべきであって、労力をかけてようやく主張できる例外であってはなりません。ソフトウェアが不確かなときには、その不確かさを、自信ありげに見える単一の出力へとならして見えなくするのではなく、はっきりと示すべきです。目指すのはAIをより権威あるものに見せることではなく、人間によるレビューをより速く、より十分な情報に基づいたものにすることです。

ループの中にいる人間は、検証者であり承認者である

「ヒューマン・イン・ザ・ループ」も、人間がモデルの出力に対して承認をクリックするだけの存在に成り下がってしまえば、ほとんど意味をなしません。私たちはその役割をより明確に描きます。臨床医は検証者であり承認者であって、その承認なしに最終確定としてシステムから出ていくものは何もありません。

実際には、これはAIによる支援を受けた出力が、有資格者が署名するまでは下書きであることを意味します。私たちの放射線科レイヤーでは、TomoPodが半自動のレポートを生成しますが、放射線科医は依然として検証者であり承認者です——レポートは彼らのものであり、彼らが確認し、修正し、あるいは破棄するものによって形づくられます。病理では、PathoPodが全スライド画像と計算による支援を解剖病理検査室にもたらし、ウェブビューアは病理医のサインアウトを密かに置き換えるためではなく、腫瘍ボードでの協働的なレビューのために作られています。内視鏡では、EndoPodが処置中のリアルタイム支援を提供しますが、見たものに基づいて行動するのは内視鏡医です。システムはその瞬間に情報を与えるのであって、上書きするのではありません。

共通する筋道は、モデルの貢献は常に人間のワークフローの中へ差し出されるものであって、それに取って代わるものではないということです。臨床医は提案を受け入れることも、変更することも、あるいは完全に脇に置くこともでき、システムはこれら三つの行為のすべてを等しく一級のものとして扱わなければなりません。

これがインターフェースをどう形づくるか

いくつかの原則はこの立場から直接導かれ、人々が実際に触れる製品の部分に現れます。

  • 所見は提示されるものであって、断定されるものではない。 ビューアは、モデルが注目すべきものとして挙げたものを提示し、その根拠となる画像やデータは常にひと目で確認できる位置にあります。臨床医は要約に対してではなく、出典に照らして確認します。
  • デフォルトはレビューを重んじる。 あらかじめ受け入れられているものは何もありません。AIによる支援を受けた提案は、臨床医がそれをそこに置いたときにのみレポートに入り、それを編集したり拒否したりすることは、受け入れることと同じくらい簡単です。
  • 覆すことは当たり前であって、対立的なものではない。 モデルに異を唱えることは、ありふれた、摩擦のない行為です——埋もれた設定でも、警告だらけの例外でもありません。覆そうとすると罰せられるようなツールは、本当の意味で支援的ではありません。
  • 不確かさは読み取れるままにしておく。 システムが不確かな場合には、難しい症例をきれいで誤解を招くほど自信ありげな結果へと押し込めるのではなく、インターフェースがそのことを示します。

これらはどれも装飾ではありません。一つひとつの選択は、臨床医の注意を本来あるべき場所——患者と根拠——に保ちながら、画像から、完成され説明責任を伴うレポートへと至るまでの機械的な作業を減らすために存在します。

レポート作成と記録

支援は、臨床医が判断を下した時点で終わるわけではありません。それは記録される内容に反映されなければなりません。AIによる支援を受けたレポートは、それが支援を受けたものであることを明確にし、最終版を生み出した人間の判断を記録すべきです。これは一つには誠実さの問題であり、一つには安全性の問題です。後にその記録を読む者——同僚、監査担当者、あるいは将来の臨床医自身——は、ツールが何を提示し、人が何を判断したのかを見て取れるべきなのです。

レポートは、医療の他の領域がすでに用いている標準規格——RIS、PACS、LIS、EISにわたるDICOMとHL7——を通じて流れるため、支援を受けた出力は独自仕様のサイロに切り離されるのではなく、既存の記録の内側に存在します。支援は臨床ワークフローの一部であって、その傍らに後付けされた別個の装置ではありません。さらに、エッジツールやポッドはケアの現場とより広いシステムとの間で情報を非同期にやり取りするため、そのやり取りのタイミングが、臨床医が行動を起こす前にリモートからの応答を待たせることは決してありません。

説明責任は人に帰着しなければならない

これこそが、究極的にこの立場が重要である理由です。臨床上の判断に対する説明責任は、ソフトウェアに委ねることはできません。モデルは注意義務を負いませんが、臨床医は負います。人間が単に機械の出力に判を押すだけになるよう設計されたシステムであれば、書類上は誰かが署名していても、説明責任は静かに失われてしまっているのです。

支援のために設計することは、法と良き慣行がすでに置いている場所に説明責任をとどめます。レポートを承認する臨床医は、まさにそのレポートの作成者です。なぜならシステムは、検証する手段、覆す自由、そして彼らの判断を反映する記録を、彼らに与えたからです。監査証跡は責任をツールに転嫁するためにあるのではありません。有資格者が十分な支援のもとで判断を下したことを、忠実に示すためにあるのです。

より良い支援を、より多くの自律性ではなく

私たちのシステムは、設計上、AIによる支援に対応できるようになっています。モデルは組み込まれ、時とともに拡張されていき、内視鏡、病理、放射線で利用できる支援は、それに伴って向上し続けます。しかしここでの「より良い」には特定の意味があります。それは、判断をますます機械へと手渡していくことを意味するのではありません。それは、臨床医をより速く、より十分な情報を得た存在にし、最も重要な症例や細部により集中できるようにすることを意味します。

それが、設計思想としての支援が約束するものです。ツールは仕事を奪うことによってではなく、仕事を向上させることによってその居場所を得ます。判断するのは臨床医であり、システムは支える——そして私たちは製品のあらゆる部分を、ビューアの最初の1ピクセルから監査証跡の最後の1行に至るまで、そうあり続けるように作り上げています。