모든 임상 AI 제품의 핵심에는 조용하지만 중대한 선택이 자리합니다. 소프트웨어는 의사결정자인가, 아니면 의사결정을 돕는 보조자인가? 이를 정도의 문제로 — 신뢰가 쌓이면 자동화 쪽으로 조금씩 밀어 올릴 수 있는 슬라이더처럼 — 다루고 싶은 유혹이 있습니다. 우리는 그렇게 보지 않습니다. 우리에게 이것은 첫 번째 기능을 그리기 전에 정해지는 고정된 설계 입장이며, 소견이 어떻게 드러나는지, 출력이 어떻게 기록되는지, 그리고 임상의가 그것을 어떻게 검토하고 수정하거나 기각하는지를 좌우합니다.

설계 원칙으로서의 보조란 임상의가 결정을 내리고 도구가 그 결정을 뒷받침한다는 뜻입니다. 그 문장은 짧지만, 그에 부응하는 일은 결코 짧지 않습니다. 이 원칙은 사용자 인터페이스, 보고서, 감사 추적, 그리고 사건이 종결된 한참 뒤까지 따라붙는 책임에 영향을 미칩니다.

보조는 입장이지, 면책 문구가 아니다

푸터에 “보조 용도로만 사용”이라고 적어 두고는, 조용히 신탁(oracle)처럼 행동하는 무언가를 계속 만들어 가기는 쉽습니다. 미리 체크된 박스, 확정된 사실처럼 제시되는 소견, 되돌리기가 번거로운 기본값 — 이 각각은 임상의가 기계의 견해를 제대로 따져 보지도 않은 채 받아들이도록 떠밉니다. 면책 문구는 한 가지를 말하지만, 설계는 다른 것을 말하며, 사람들은 설계에 반응합니다.

그래서 우리는 보조를 법적 자세가 아니라 엔지니어링 제약으로 취급합니다. 제안은 제안처럼 보여야 합니다. 임상의의 판단은 노력을 들여야 주장할 수 있는 예외가 아니라, 가장 저항이 적은 경로여야 합니다. 소프트웨어가 확신하지 못할 때, 그 불확실성은 하나의 자신만만해 보이는 출력으로 매끄럽게 다듬어지기보다 드러나야 합니다. 목표는 AI를 더 권위 있어 보이게 만드는 것이 아니라, 사람의 검토를 더 빠르고 더 충분한 정보에 기반하도록 만드는 것입니다.

인간은 검증자이자 승인자다

“인간 개입(human in the loop)“은, 인간이 모델이 내놓는 무엇에든 수락을 클릭하는 존재로 전락한다면 거의 아무 의미도 없을 수 있습니다. 우리는 그 역할을 더 분명하게 규정합니다. 임상의는 검증자이자 승인자이며, 그 승인 없이는 어떤 것도 최종본으로 시스템을 떠나지 못합니다.

실제로 이것은 AI가 보조한 출력이 자격을 갖춘 사람이 서명하기 전까지는 초안임을 뜻합니다. 우리의 영상의학 계층에서 TomoPod는 반자동 보고서를 생성하지만, 영상의학과 의사가 검증자이자 승인자로 남습니다 — 그 보고서는 그들이 확인하고, 교정하거나, 폐기하는 것에 의해 형성되는, 그들의 것입니다. 병리 분야에서 PathoPod는 전체 슬라이드 이미지와 전산 보조 기능을 해부병리 검사실에 가져다주며, 웹 뷰어는 병리의의 사인아웃을 조용히 대체하기 위해서가 아니라 종양위원회에서의 협업적 검토를 위해 만들어졌습니다. 내시경 분야에서 EndoPod는 시술 중 실시간 보조를 제공하지만, 자신이 본 것에 따라 행동하는 것은 내시경 의사입니다. 시스템은 그 순간을 무시하고 덮어쓰는 것이 아니라 그 순간에 정보를 제공합니다.

공통된 맥락은 모델의 기여가 언제나 인간의 워크플로 안으로 제공될 뿐, 결코 그것을 대체하지 않는다는 점입니다. 임상의는 제안을 수락하거나, 변경하거나, 완전히 제쳐둘 수 있으며, 시스템은 이 세 가지 행위 모두를 똑같이 일급으로(first-class) 다뤄야 합니다.

이것이 인터페이스를 어떻게 형성하는가

몇 가지 원칙은 이 입장에서 곧바로 따라 나오며, 사람들이 실제로 만지는 제품의 부분에 그대로 나타납니다.

  • 소견은 드러나는 것이지, 단정되는 것이 아니다. 뷰어는 모델이 살펴볼 만하다고 표시한 것을 제시하되, 기저의 이미지나 데이터는 언제나 한 번의 시선만큼 가까이 둡니다. 임상의는 요약이 아니라 원천과 대조하여 확인합니다.
  • 기본값은 검토를 우선한다. 어떤 것도 미리 수락되지 않습니다. AI가 보조한 제안은 임상의가 직접 넣을 때에만 보고서에 들어가며, 그것을 수정하거나 거부하는 일은 수락하는 일만큼이나 간단합니다.
  • 재정의(override)는 적대적인 것이 아니라 정상적인 것이다. 모델에 동의하지 않는 일은 평범하고 마찰 없는 행위입니다 — 깊숙이 묻힌 설정이나 경고로 가득한 예외가 아닙니다. 재정의했다고 사용자를 벌하는 도구는 진정한 보조 도구가 아닙니다.
  • 불확실성은 읽을 수 있는 상태로 남는다. 시스템이 확신하지 못하는 곳에서, 인터페이스는 어려운 사례를 깔끔하지만 오해를 부르는 자신만만한 결과로 뭉뚱그리지 않고 그렇다고 말합니다.

이 가운데 어느 것도 장식이 아닙니다. 각 선택은 임상의의 주의를 마땅히 있어야 할 곳 — 환자와 근거 — 에 두면서, 이미지에서 완성되고 책임 소재가 분명한 보고서에 이르기까지의 기계적인 작업을 줄이기 위해 존재합니다.

보고와 기록

보조는 임상의가 판단을 내리는 순간 끝나지 않습니다. 그것은 기록되는 내용에 반영되어야 합니다. AI가 보조한 보고서는 그것이 보조를 받았다는 점을 분명히 해야 하며, 최종 버전을 만들어 낸 인간의 결정을 기록해야 합니다. 이는 부분적으로는 정직함의 문제이고, 부분적으로는 안전의 문제입니다. 훗날 그 기록을 읽는 누구든 — 동료, 감사자, 혹은 임상의 자신의 미래 — 도구가 무엇을 제안했고 사람이 무엇을 결정했는지 볼 수 있어야 합니다.

보고서는 나머지 의료계가 이미 사용하는 표준 — RIS, PACS, LIS, EIS 전반에 걸친 DICOM과 HL7 — 을 따라 흐르기 때문에, 보조된 출력은 독자적인 사일로에 따로 떨어져 존재하는 것이 아니라 기존 기록 안에 자리합니다. 보조는 그 옆에 덧붙은 별개의 장치가 아니라 임상 워크플로의 일부입니다. 그리고 엣지 도구와 파드(pod)는 진료 현장과 더 넓은 시스템 사이에서 정보를 비동기적으로 교환하기 때문에, 그 교환의 타이밍 때문에 임상의가 행동에 옮기기 전에 원격 응답을 기다려야 하는 일은 결코 없습니다.

책임은 한 사람에게 귀착되어야 한다

이것이 궁극적으로 이 입장이 중요한 이유입니다. 임상적 결정에 대한 책임은 소프트웨어에 위임될 수 없습니다. 모델은 주의 의무(duty of care)를 지지 않지만, 임상의는 집니다. 인간이 단지 기계의 출력에 고무도장을 찍기만 하도록 시스템이 설계되어 있다면, 서류상으로는 누군가 서명했더라도 책임은 조용히 사라져 버린 것입니다.

보조를 위해 설계하는 것은 법과 좋은 관행이 이미 책임을 두는 그 자리에 책임을 그대로 둡니다. 보고서를 승인하는 임상의는 진정으로 그 보고서의 저자입니다. 시스템이 그들에게 검증할 수단, 재정의할 자유, 그리고 자신의 결정을 반영하는 기록을 주었기 때문입니다. 감사 추적은 책임을 도구에 떠넘기기 위해 존재하는 것이 아닙니다. 그것은 자격을 갖춘 사람이 충분한 뒷받침을 받아 판단을 내렸음을 충실히 보여 주기 위해 존재합니다.

더 많은 자율이 아니라, 더 나은 보조

우리 시스템은 설계상 AI 보조에 준비되어 있습니다(AI-assisted-ready). 모델이 끼워 들어가고 시간이 지나며 확장되며, 내시경, 병리, 영상의학에서 이용할 수 있는 보조는 그에 따라 계속 더 좋아질 것입니다. 그러나 여기서 “더 좋다”는 말에는 구체적인 의미가 있습니다. 그것은 결정을 점점 더 많이 기계에 넘긴다는 뜻이 아닙니다. 그것은 임상의를 더 빠르게, 더 충분한 정보에 기반하게, 그리고 가장 중요한 사례와 세부에 더 잘 집중할 수 있게 만든다는 뜻입니다.

그것이 바로 설계 원칙으로서의 보조가 약속하는 바입니다. 도구는 업무를 떠맡음으로써가 아니라 업무를 개선함으로써 그 자리를 얻습니다. 임상의가 결정하고, 시스템이 뒷받침합니다 — 그리고 우리는 뷰어의 첫 픽셀부터 감사 추적의 마지막 줄까지 제품의 모든 부분을 그렇게 유지하도록 만듭니다.