Terdapat satu pilihan yang senyap tetapi berkesan di tengah-tengah setiap produk AI klinikal: adakah perisian itu seorang pembuat keputusan, atau adakah ia seorang pembantu kepada pembuat keputusan? Adalah mudah untuk menganggap ini sebagai persoalan darjah — satu peluncur yang boleh anda anjak ke arah lebih banyak automasi apabila keyakinan bertambah. Kami tidak melihatnya sebegitu. Bagi kami ia adalah pendirian reka bentuk yang tetap, ditetapkan sebelum ciri pertama dilukis, dan ia mengawal cara penemuan dikemukakan, cara output direkodkan, dan cara seorang klinisian menyemak, menyunting, atau membatalkannya.

Membantu secara reka bentuk bermaksud klinisianlah yang membuat keputusan dan alat itu menyokong keputusan tersebut. Ayat itu pendek, tetapi memenuhinya bukanlah perkara mudah. Ia mempunyai implikasi terhadap antara muka pengguna, laporan, jejak audit, dan akauntabiliti yang mengikuti sesuatu kes lama selepas ia ditutup.

Bantuan adalah pendirian, bukan penafian

Adalah mudah untuk meletakkan “untuk bantuan sahaja” di bahagian kaki dan terus membina sesuatu yang secara senyap berkelakuan seperti sebuah orakel. Satu kotak yang sudah ditanda, satu penemuan yang dikemukakan sebagai fakta yang muktamad, satu lalai yang menyusahkan untuk dibatalkan — setiap satu ini menganjak seorang klinisian ke arah menerima pandangan mesin tanpa benar-benar memeriksanya. Penafian itu menyatakan satu perkara; reka bentuk pula menyatakan perkara lain, dan manusia bertindak balas terhadap reka bentuk.

Maka kami menganggap bantuan sebagai satu kekangan kejuruteraan dan bukannya satu pendirian undang-undang. Sesuatu cadangan mestilah kelihatan seperti satu cadangan. Pertimbangan klinisian mestilah menjadi laluan yang paling kurang rintangan, bukannya satu pengecualian yang memerlukan usaha untuk ditegaskan. Apabila perisian itu tidak pasti, ketidakpastian itu sepatutnya kelihatan dan bukannya dilicinkan menjadi satu output tunggal yang kelihatan yakin. Matlamatnya bukan untuk menjadikan AI itu kelihatan lebih berautoriti; tetapi untuk menjadikan semakan manusia lebih pantas dan lebih bermaklumat.

Manusia dalam gelung adalah seorang pengesah dan seorang pelulus

“Manusia dalam gelung” boleh bermakna amat sedikit jika manusia itu dikurangkan kepada hanya mengklik terima terhadap apa sahaja yang dihasilkan oleh model. Kami menggariskan peranan itu dengan lebih tajam: klinisian adalah seorang pengesah dan seorang pelulus, dan tiada apa-apa yang meninggalkan sistem sebagai muktamad tanpa kelulusan tersebut.

Dalam amalan ini bermaksud output yang dibantu AI adalah satu draf sehinggalah seorang yang berkelayakan menandatanganinya. Dalam lapisan radiologi kami, TomoPod menghasilkan laporan separa-automatik, tetapi pakar radiologi kekal sebagai pengesah dan pelulus — laporan itu milik mereka, dibentuk oleh apa yang mereka sahkan, betulkan, atau buang. Dalam patologi, PathoPod membawa imej slaid penuh dan bantuan pengiraan ke makmal patologi anatomi, dan pemapar web dibina untuk semakan kolaboratif di lembaga tumor, bukan untuk menggantikan secara senyap proses tandatangan pakar patologi. Dalam endoskopi, EndoPod menawarkan bantuan masa nyata semasa prosedur, tetapi pakar endoskopilah yang bertindak ke atas apa yang mereka lihat; sistem itu memaklumkan saat tersebut dan bukannya mengatasinya.

Benang sepunya ialah sumbangan model itu sentiasa ditawarkan ke dalam aliran kerja manusia, tidak pernah menggantikannya. Klinisian boleh menerima sesuatu cadangan, mengubahnya, atau mengetepikannya sama sekali, dan sistem itu mestilah menjadikan ketiga-tiga tindakan tersebut sama-sama utama.

Bagaimana ini membentuk antara muka

Beberapa prinsip mengikuti secara langsung daripada pendirian itu, dan ia muncul dalam bahagian-bahagian produk yang benar-benar disentuh oleh manusia.

  • Penemuan dikemukakan, bukan ditegaskan. Pemapar membentangkan apa yang telah ditandakan oleh model sebagai sesuatu untuk dilihat, dengan imej atau data asas sentiasa hanya sekilas pandang jauhnya. Klinisian mengesahkan terhadap sumber dan bukannya terhadap satu ringkasan.
  • Lalai mengutamakan semakan. Tiada apa-apa yang diterima terlebih dahulu. Satu cadangan yang dibantu AI hanya memasuki laporan apabila klinisian meletakkannya di situ, dan menyuntingnya atau menolaknya adalah semudah menerimanya.
  • Pembatalan adalah perkara biasa, bukan bermusuhan. Tidak bersetuju dengan model adalah satu tindakan biasa yang tanpa geseran — bukan satu tetapan yang tersembunyi atau satu pengecualian yang sarat dengan amaran. Sesuatu alat yang menghukum anda kerana membatalkannya bukanlah benar-benar bersifat membantu.
  • Ketidakpastian kekal jelas dibaca. Di mana sistem itu tidak pasti, antara muka menyatakannya, dan bukannya meruntuhkan sesuatu kes yang sukar menjadi satu keputusan yang bersih dan yakin secara mengelirukan.

Tiada satu pun daripada ini hanyalah hiasan. Setiap pilihan ada di situ untuk mengekalkan perhatian klinisian di tempat yang sepatutnya — pada pesakit dan bukti — sambil mengurangkan kerja mekanikal untuk beralih daripada imej kepada satu laporan yang siap dan bertanggungjawab.

Pelaporan dan rekod

Bantuan tidak berakhir apabila klinisian membuat keputusan; ia mestilah tercermin dalam apa yang ditulis. Sesuatu laporan yang dibantu AI sepatutnya menjelaskan bahawa ia telah dibantu, dan ia sepatutnya merekodkan keputusan manusia yang menghasilkan versi muktamad. Itu sebahagiannya merupakan soal kejujuran dan sebahagiannya soal keselamatan: sesiapa yang membaca rekod itu kemudiannya — seorang rakan sekerja, seorang juruaudit, diri klinisian itu sendiri pada masa hadapan — sepatutnya dapat melihat apa yang ditawarkan oleh alat itu dan apa yang diputuskan oleh orang tersebut.

Oleh kerana laporan itu mengalir melalui piawaian yang sudah pun dituturkan oleh seluruh bidang perubatan — DICOM dan HL7 merentasi RIS, PACS, LIS dan EIS — output yang dibantu itu hidup di dalam rekod sedia ada dan bukannya terpencil di tepi dalam satu silo proprietari. Bantuan itu adalah sebahagian daripada aliran kerja klinikal, bukan satu peranti berasingan yang dipasang di sebelahnya. Dan oleh kerana alat tepi dan pod bertukar maklumat secara tak segerak antara titik penjagaan dan sistem yang lebih luas, masa pertukaran itu tidak pernah memaksa seorang klinisian menunggu satu respons jarak jauh sebelum mereka boleh bertindak.

Akauntabiliti mesti jatuh pada seorang manusia

Inilah akhirnya sebab mengapa pendirian itu penting. Akauntabiliti untuk sesuatu keputusan klinikal tidak boleh diwakilkan kepada perisian. Sesuatu model tidak memikul kewajipan penjagaan; seorang klinisian memikulnya. Jika sesuatu sistem direka sehingga manusia itu hanya mengecop output mesin sahaja, maka akauntabiliti telah secara senyap hilang walaupun, di atas kertas, seseorang telah menandatangani.

Mereka bentuk untuk bantuan mengekalkan akauntabiliti di tempat yang telah pun diletakkan oleh undang-undang dan amalan yang baik. Klinisian yang meluluskan sesuatu laporan benar-benar merupakan pengarangnya, kerana sistem itu memberi mereka cara untuk mengesahkan, kebebasan untuk membatalkan, dan satu rekod yang mencerminkan keputusan mereka. Jejak audit itu bukan ada di situ untuk mengalihkan kesalahan kepada alat tersebut; ia ada di situ untuk menunjukkan, dengan setia, bahawa seorang yang berkelayakan telah membuat keputusan dengan sokongan yang baik.

Bantuan yang lebih baik, bukan lebih banyak autonomi

Sistem kami sedia-dibantu-AI secara reka bentuk: model dipasang dan diperluas dari masa ke masa, dan bantuan yang tersedia dalam endoskopi, patologi dan radiologi akan terus bertambah baik apabila itu berlaku. Tetapi “lebih baik” di sini mempunyai makna yang khusus. Ia tidak bermaksud secara berterusan menyerahkan lebih banyak keputusan kepada mesin. Ia bermaksud menjadikan klinisian lebih pantas, lebih bermaklumat, dan lebih berupaya untuk menumpukan perhatian pada kes-kes dan butiran yang paling penting.

Itulah janji membantu secara reka bentuk. Alat itu memperoleh tempatnya dengan menambah baik kerja, bukan dengan mengambil alihnya. Klinisian yang membuat keputusan; sistem yang menyokong — dan kami membina setiap bahagian produk, daripada piksel pertama pemapar hinggalah ke baris terakhir jejak audit, untuk mengekalkannya sebegitu.