Візуалізація даних: оцінювання рівня грамотності з візуалізації даних
Автори: Викладач КШЕ Олег Омельченко та студенти 2 курсу напрямку ШІ Павло Хоменко та Тимофій Харін
Наше дослідження адаптувало Mini-VLAT (Visualisation Literacy Assessment Test, Тест оцінки грамотності з візуалізації) українською мовою. Ми порівняли три версії: оригінальну англійську, буквально перекладену українську та культурно адаптовану українську версію. Адаптована версія зберегла психометричні метрики, які мали бути збережені порівняно з оригіналом, та підвищила точність у вимірюванні культурно адаптованих питань, для яких було очікувано підвищення валідності.
Важливо проговорити, для чого потрібний Visualisation Literacy Assessment Test. Він вимірює критичні навички інтерпретації даних для різних типів візуалізації. Також він допомагає навчальним закладам оцінювати ефективність навчальних програм, дозволяє роботодавцям оцінювати навички роботи з даними та дає дослідникам розуміння того, як культурні фактори впливають на сприйняття візуалізації.
Більшість інструментів оцінки грамотності з візуалізації розроблені для англомовної аудиторії. Простий переклад цих тестів вносить культурні упередження, що впливають на достовірність вимірювань. Наприклад, коли українських учасників просять порівняти штати США на карті, то це перевіряє географічні знання Америки, а не грамотність з візуалізації. Наше дослідження виокремило ці культурні ефекти й продемонструвало, як належна адаптація може створити більш валідні оцінювання для неангломовних користувачів.
Після перекладу та перевірки зворотного перекладу ми зосередили культурну адаптацію на конкретних візуалізаціях (замінили карту США на карту України та модифікували контекстно-специфічні позначки на графіках).
Ми впровадили вебтестування з 206 учасниками, вимірюючи відсоток правильних відповідей, середній час відповіді на питання, показники незавершення та психометричні властивості окремо для кожної версії (Item Validity, Item Discrimination). За допомогою розрахунку McDonald’s Omega ми оцінили кожну з версій тестів на внутрішню консистентність.
За результатами вимірів визначили, що адаптації, такі як заміна мапи Штатів на мапу України, значно впливають на відсоток правильних відповідей. Так, в перекладеній українською неадаптованій версії показники для цього питання показували завищену складність порівняно з оригінальним тестом, а після адаптації (заміни мапи) повернулись до значень одного порядку з оригіналом.
Основні труднощі були повʼязані з тим що це крос-дисциплінарне дослідження: воно комбінує в собі елементи візуалізації даних, адаптації та психометрики, отже в багатьох концепціях довелось розбиратись “з нуля”.
Тому, в контексті наших подальших планів роботи над дослідженням, ми б дуже хотіли б розширити команду, що працює над дослідженням та знайти людей, які мають більш фундаментальні знання з цих суміжних сфер.