در مقالههای تشخیص پوسیدگی، واژهٔ «بهبود» بدون مشخص شدن پیامد، معنای روشنی ندارد. ممکن است منظور پیدا کردن ضایعات بیشتری در مجموعهٔ تصاویر باشد، یا تغییر زمان بررسی، یا توافق بیشتر خوانندگان. هرکدام پرسش جداگانهای است.
واحد تحلیل را پیدا کنید آیا تعداد نمونه بر اساس بیمار گزارش شده یا دندان، سطح دندان و تصویر؟ چند مشاهده از یک بیمار مستقل از هم نیستند. پیش از توجه به درصد دقت، ببینید طراحی و تحلیل مطالعه این وابستگی را چگونه در نظر گرفتهاند. همچنین مشخص کنید هر خواننده چه تعداد تصویر را در چه شرایطی دیده است.
کمک به خواننده، فقط آزمون الگوریتم نیست در کارآزمایی تصادفی هوش مصنوعی در شناسایی پوسیدگی دندانپزشکان تصاویر را با و بدون کمک هوش مصنوعی ارزیابی کردهاند. چنین طراحیای پرسشی دربارهٔ ترکیب انسان و ابزار میپرسد. برای خواندن آن، ترتیب نمایش، تجربهٔ خوانندگان، مرجع مقایسه و امکان اثر یادگیری را بررسی کنید؛ موفقیت یک مدل در آزمون مستقل همهٔ این عوامل را پوشش نمیدهد.
مثبت کاذب هم بخشی از نتیجه است حساسیت بالاتر را کنار ویژگی و الگوی خطا بگذارید. علامتگذاری بیشتر همیشه به معنای تصمیم بهتر نیست. ارزش یک هشدار به این بستگی دارد که دندانپزشک آن را چطور بررسی کند و با سایر اطلاعات چه تصمیمی بگیرد. مطالعهٔ تصویر بهتنهایی مجوز استنتاج دربارهٔ ضرورت درمان نیست.
نتیجه را در یک جملهٔ محدود بنویسید بهجای «AI پوسیدگی را بهتر تشخیص میدهد»، بنویسید چه ابزار، چه خوانندگانی، چه تصاویر و چه پیامدی مقایسه شدهاند. اگر اطلاعات کافی برای تعمیم به محیط خودتان ندارید، آن را در یادداشت ارزیابی ذکر کنید. STARD-AI؛ مطالعات دقت تشخیصی برای دنبال کردن اجزای گزارش دقت تشخیصی مرجع مناسبی است.
منابع این یادداشت
- کارآزمایی تصادفی هوش مصنوعی در شناسایی پوسیدگی pubmed.ncbi.nlm.nih.gov
- STARD-AI؛ مطالعات دقت تشخیصی www.nature.com
دربارهٔ نویسنده
دکتر میلاد جلالی
بنیانگذار ریسرچ ادیتور و محتوانگار. کار من به پژوهش، آموزش هوش مصنوعی و برندینگ پزشکی متصل است.
رزومه و سوابق ↖پروژهها ↖
