هوش مصنوعی پزشکی را با چه شواهدی ارزیابی کنیم؟

عبارت «دقت بالا» تا وقتی ندانیم چه چیزی، روی کدام داده و با چه معیار مرجعی سنجیده شده، اطلاعات کمی دارد. برای ارزیابی یک ابزار پزشکی، باید ادعای محصول را به مطالعه‌ای که از آن پشتیبانی می‌کند وصل کرد.

نخست کاربرد را محدود کنید

آیا ابزار قرار است تصویر را علامت‌گذاری کند، متن را خلاصه کند یا در یک تصمیم بالینی کمک کند؟ جمعیت هدف، محیط استفاده و کاربر نهایی باید مشخص باشند. ابزاری که روی تصاویر ذخیره‌شده ارزیابی شده، صرفاً با همان نتیجه دربارهٔ تأثیر بر روند مراقبت شواهد ایجاد نکرده است.

DECIDE-AI؛ ارزیابی اولیهٔ بالینی به گزارش ارزیابی‌های اولیه در محیط بالینی و نقش عوامل انسانی توجه دارد. این نگاه، ارزیابی را از عملکرد عددی مدل به نحوهٔ استفاده هم گسترش می‌دهد.

چهار پرسش برای جلسهٔ معرفی محصول

• دادهٔ آزمون چگونه از آموزش مستقل شده و آیا از مرکز یا زمانی متفاوت آمده است؟
• معیار مرجع چه بوده و اختلاف میان ارزیابان چگونه رسیدگی شده است؟
• چه نوع خطایی مهم‌تر است و عملکرد در گروه‌های مختلف چگونه گزارش شده؟
• کاربر پس از دیدن خروجی چه تصمیمی می‌گیرد و اثر آن تصمیم چگونه سنجیده شده است؟

این پرسش‌ها یک استاندارد رسمی تازه نیستند؛ چارچوبی اجرایی برای منظم‌کردن گفت‌وگو هستند. مستندات سازنده و مطالعهٔ مستقل را کنار هم بخوانید و تفاوت نسخه‌های نرم‌افزار را ثبت کنید.

یک مثال از فاصلهٔ ادعا و شاهد

فرض کنید نرم‌افزاری برای خلاصه‌سازی پرونده، امتیاز زبانی خوبی گرفته است. برای استفادهٔ حرفه‌ای هنوز باید حذف نکتهٔ مهم، خطای زمانی و انتساب نادرست اطلاعات بررسی شوند. «خلاصهٔ روان» و «خلاصهٔ قابل اتکا برای یک کار مشخص» معیار یکسانی ندارند.

راهنمای FDA؛ شفافیت ابزارهای پزشکی مبتنی بر یادگیری ماشین دربارهٔ شفافیت ابزارهای یادگیری ماشین، توضیح کاربرد، عملکرد و محدودیت‌ها را برای فهم ابزار مهم می‌داند. این مرجع به معنای تأیید یک محصول خاص نیست.

تصمیم متناسب با شواهد

برای آزمون محدود، معیار موفقیت و توقف را پیش از شروع بنویسید. اگر اطلاعات کافی نیست، همان کمبود را در تصمیم ثبت کنید. نتیجهٔ ارزیابی می‌تواند شروع آزمایشی، درخواست شواهد بیشتر یا کنارگذاشتن یک کاربرد باشد؛ لازم نیست هر ابزار به استفادهٔ گسترده برسد.