Персоналізований зворотний зв'язок є критично важливим для студентів-стоматологів. Він допомагає розвинути навички поведінкового керівництва під час лікування тривожних або некооперативних дітей. Проте постійний перегляд повних відеозаписів реальних зустрічей із пацієнтами створює величезне навантаження на викладацький склад медичних вишів. Нове пілотне дослідження, проведене в Національному університеті Сінгапуру (NUS), продемонстрував альтернативний шлях.
Використання текстових стенограм (транскриптів) забезпечує значно швидший спосіб оцінки взаємодій, а технології штучного інтелекту (ШІ) мають великий потенціал для підтримки таких процесів.
Головною метою роботи було порівняти ефективність аналізу відеозаписів із вивченням текстових стенограм під час оцінювання роботи студентів останнього курсу. Також науковці прагнули перевірити точність та узгодженість оцінок текстових матеріалів, виконаних експертами-людьми та сучасними великими мовними моделями (LLM).
Для експерименту дослідники детально проаналізували 40 записаних клінічних зустрічей за участю студентів та пацієнтів віком від 4 до 12 років. Оцінювач-людина аналізував стенограми за спеціальною адаптованою шкалою педіатричного поведінкового керівництва, з якої попередньо видалили невербальні елементи (жести, міміку) для забезпечення точності порівняння.
Результати дослідження виявили колосальну різницю в часових витратах:
- Оцінювання однієї текстової стенограми займало в середньому всього 12 хвилин;
- Перегляд та аналіз відповідного клінічного відео вимагали в середньому 73 хвилини.
Незважаючи на таку суттєву економію часу, результати перевірки тексту та відео показали дуже хорошу статистичну узгодженість. Автори дійшли висновку, що транскрипти є чудовою і менш трудомісткою альтернативою. Вони дозволять викладачам переглядати більше кейсів та частіше надавати студентам індивідуальні відгуки. Тим не менш, класичне відео залишатиметься важливим інструментом, коли професорам необхідно оцінити тон голосу чи специфічні рухи лікаря. Співавтор дослідження, доктор Шицзя Ху, підтвердив, що це відкриває нові можливості для покращення якості профільної освіти.
Окремим етапом роботи стало тестування ШІ, яке показало, що оцінювання за допомогою мовних моделей загального призначення наразі є недостатньо послідовним. Безкоштовна та платна версії ChatGPT мали тричі оцінити кожну стенограму. Обидві моделі продемонстрували лише помірну відповідність оцінкам людини та часто давали абсолютно різні бали при повторних перевірках одного й того самого тексту. Безкоштовна версія повернула однаковий бал у всіх трьох спробах лише для 7 із 40 зустрічей, а платна — взагалі лише для 4.
Тому ШІ поки не може виступати незалежним оцінювачем. Проте вчені бачать його в ролі віртуального наставника, який допомагатиме викладачам швидко генерувати персоналізовані чернетки відгуків. Команда NUS уже отримала державний грант від Міністерства освіти Сінгапуру для подальшого вивчення ШІ-технологій у стоматологічній підготовці на більших вибірках пацієнтів та із залученням ширшого кола експертів.
Джерело: Dental Tribune International