Ada sebuah pilihan yang tenang namun berkonsekuensi di jantung setiap produk AI klinis: apakah perangkat lunak itu seorang pengambil keputusan, atau seorang asisten bagi pengambil keputusan? Sangat menggoda untuk memperlakukan ini sebagai persoalan derajat — sebuah penggeser yang dapat Anda dorong ke arah otomatisasi yang lebih besar seiring tumbuhnya kepercayaan. Kami tidak memandangnya seperti itu. Bagi kami, ini adalah sikap rancangan yang tetap, ditetapkan sebelum fitur pertama digambar, dan ia mengatur bagaimana temuan ditampilkan, bagaimana keluaran dicatat, serta bagaimana seorang klinikus meninjau, menyunting, atau membatalkannya.

Asistif berdasarkan rancangan berarti kliniklah yang memutuskan dan perkakas mendukung keputusan tersebut. Kalimat itu singkat, tetapi menghidupinya tidaklah mudah. Ia memiliki implikasi bagi antarmuka pengguna, laporan, jejak audit, dan akuntabilitas yang mengiringi sebuah kasus jauh setelah kasus itu ditutup.

Asistensi adalah sebuah sikap, bukan sebuah penafian

Mudah saja menaruh “hanya untuk asistensi” di kaki halaman lalu melanjutkan membangun sesuatu yang diam-diam berperilaku seperti orakel. Sebuah kotak yang sudah tercentang, sebuah temuan yang disajikan sebagai fakta yang sudah pasti, sebuah pengaturan bawaan yang merepotkan untuk dibatalkan — masing-masing mendorong seorang klinikus untuk menerima pandangan mesin tanpa benar-benar mengkajinya. Penafian itu mengatakan satu hal; rancangannya mengatakan hal lain, dan orang merespons rancangannya.

Maka kami memperlakukan asistensi sebagai kendala rekayasa, bukan sebagai sikap hukum. Sebuah saran harus tampak seperti saran. Penilaian klinikus harus menjadi jalan yang paling sedikit hambatannya, bukan sebuah pengecualian yang menuntut upaya untuk ditegaskan. Ketika perangkat lunak ragu, ketidakpastian itu seharusnya terlihat alih-alih dihaluskan menjadi satu keluaran yang tampak meyakinkan. Tujuannya bukan untuk membuat AI tampak lebih berwibawa; melainkan untuk membuat peninjauan oleh manusia menjadi lebih cepat dan lebih terinformasi.

Manusia dalam lingkaran adalah seorang pemverifikasi dan seorang penyetuju

“Manusia dalam lingkaran” bisa berarti sangat sedikit jika manusianya direduksi menjadi sekadar mengeklik terima atas apa pun yang dihasilkan model. Kami menggambarkan peran itu dengan lebih tajam: klinikus adalah seorang pemverifikasi dan seorang penyetuju, dan tidak ada yang meninggalkan sistem sebagai final tanpa persetujuan tersebut.

Dalam praktik, ini berarti sebuah keluaran berbantuan AI adalah draf hingga seseorang yang berkualifikasi menandatanganinya. Dalam lapisan radiologi kami, TomoPod menghasilkan laporan semi-otomatis, tetapi radiolog tetap menjadi pemverifikasi dan penyetuju — laporan itu milik mereka, dibentuk oleh apa yang mereka konfirmasi, koreksi, atau buang. Dalam patologi, PathoPod membawa citra slide utuh dan asistensi komputasional ke laboratorium patologi anatomi, dan penampil web dibangun untuk peninjauan kolaboratif di dewan tumor, bukan untuk diam-diam menggantikan penandatanganan oleh patolog. Dalam endoskopi, EndoPod menawarkan asistensi waktu-nyata selama prosedur, tetapi endoskopislah yang bertindak atas apa yang mereka lihat; sistem menginformasikan momen itu alih-alih menggesernya.

Benang merahnya adalah bahwa kontribusi model selalu ditawarkan ke dalam alur kerja manusia, tidak pernah menggantikannya. Klinikus dapat menerima sebuah saran, mengubahnya, atau mengesampingkannya sepenuhnya, dan sistem harus membuat ketiga tindakan itu sama-sama berstatus utama.

Bagaimana hal ini membentuk antarmuka

Beberapa prinsip mengikuti langsung dari sikap ini, dan prinsip-prinsip itu muncul di bagian-bagian produk yang benar-benar disentuh orang.

  • Temuan ditampilkan, bukan ditegaskan. Penampil menyajikan apa yang ditandai oleh model sebagai sesuatu untuk dilihat, dengan citra atau data yang mendasarinya selalu berjarak satu pandangan. Klinikus melakukan konfirmasi terhadap sumbernya, bukan terhadap sebuah ringkasan.
  • Pengaturan bawaan mengutamakan peninjauan. Tidak ada yang diterima di muka. Sebuah saran berbantuan AI masuk ke dalam laporan hanya ketika klinikus menaruhnya di sana, dan menyunting atau menolaknya semudah menerimanya.
  • Pembatalan adalah hal yang normal, bukan permusuhan. Tidak menyetujui model adalah tindakan yang biasa dan tanpa hambatan — bukan sebuah pengaturan yang terkubur atau sebuah pengecualian yang sarat peringatan. Sebuah perkakas yang menghukum Anda karena membatalkannya bukanlah perkakas yang benar-benar asistif.
  • Ketidakpastian tetap terbaca. Di mana sistem ragu, antarmuka mengatakannya, alih-alih meruntuhkan sebuah kasus sulit menjadi sebuah hasil yang bersih dan menyesatkan karena tampak meyakinkan.

Tidak satu pun dari ini sekadar hiasan. Setiap pilihan ada untuk menjaga perhatian klinikus tetap di tempat yang semestinya — pada pasien dan bukti — sembari mengurangi kerja mekanis untuk beranjak dari citra menuju laporan yang selesai dan dapat dipertanggungjawabkan.

Pelaporan dan rekam

Asistensi tidak berakhir ketika klinikus mengambil keputusan; ia harus tercermin dalam apa yang dituliskan. Sebuah laporan berbantuan AI seharusnya memperjelas bahwa laporan itu dibantu, dan seharusnya mencatat keputusan-keputusan manusia yang menghasilkan versi finalnya. Itu sebagian merupakan soal kejujuran dan sebagian soal keselamatan: siapa pun yang membaca rekam itu kemudian — seorang kolega, seorang auditor, diri klinikus itu sendiri di masa depan — seharusnya dapat melihat apa yang ditawarkan perkakas dan apa yang diputuskan orangnya.

Karena laporan itu mengalir melalui standar yang sudah digunakan oleh dunia kedokteran lainnya — DICOM dan HL7 di seluruh RIS, PACS, LIS dan EIS — keluaran berbantuan itu hidup di dalam rekam yang sudah ada alih-alih terpisah di samping dalam sebuah silo berpemilik. Asistensi itu adalah bagian dari alur kerja klinis, bukan sebuah gawai terpisah yang dipasangkan di sebelahnya. Dan karena perkakas tepi dan pod bertukar informasi secara asinkron antara titik layanan dan sistem yang lebih luas, waktu pertukaran itu tidak pernah memaksa seorang klinikus untuk menunggu respons jarak jauh sebelum mereka dapat bertindak.

Akuntabilitas harus jatuh pada seseorang

Inilah pada akhirnya mengapa sikap ini penting. Akuntabilitas atas sebuah keputusan klinis tidak dapat didelegasikan kepada perangkat lunak. Sebuah model tidak mengemban kewajiban kepedulian; seorang klinikus mengembannya. Jika sebuah sistem dirancang sedemikian rupa sehingga manusia sekadar membubuhkan cap pada keluaran mesin, maka akuntabilitas diam-diam telah menghilang meskipun, di atas kertas, ada seseorang yang menandatangani.

Merancang demi asistensi menjaga akuntabilitas tetap di tempat yang sudah ditentukan oleh hukum dan praktik yang baik. Klinikus yang menyetujui sebuah laporan benar-benar adalah penulisnya, karena sistem memberi mereka sarana untuk memverifikasi, kebebasan untuk membatalkan, dan sebuah rekam yang mencerminkan keputusan-keputusan mereka. Jejak audit ada bukan untuk mengalihkan kesalahan kepada perkakas; ia ada untuk menunjukkan, dengan setia, bahwa seseorang yang berkualifikasi mengambil keputusan dengan dukungan yang baik.

Asistensi yang lebih baik, bukan otonomi yang lebih banyak

Sistem kami siap-berbantuan-AI berdasarkan rancangan: model dipasangkan dan diperluas seiring waktu, dan asistensi yang tersedia dalam endoskopi, patologi dan radiologi akan terus menjadi lebih baik seiring hal itu terjadi. Tetapi “lebih baik” di sini punya makna yang spesifik. Itu tidak berarti secara bertahap menyerahkan lebih banyak keputusan kepada mesin. Itu berarti membuat klinikus lebih cepat, lebih terinformasi, dan lebih mampu memusatkan perhatian pada kasus-kasus dan detail-detail yang paling penting.

Itulah janji dari asistif berdasarkan rancangan. Perkakas memperoleh tempatnya dengan memperbaiki kerja, bukan dengan mengambil alihnya. Kliniklah yang memutuskan; sistem mendukung — dan kami membangun setiap bagian produk, dari piksel pertama penampil hingga baris terakhir jejak audit, untuk menjaganya tetap demikian.