В Тернополі створили застосунок, який допомагає відновлювати рухливість кінцівок за допомогою AR
У Західноукраїнському національному університеті в Тернополі майже рік тому відкрили «Імерсивний мультифункціональний хаб». Це простір, в якому втілюють у життя інноваційні проєкти з використанням технологій AR і VR: навчальні, наукові, медичні тощо. Хаб створено з ініціативи Міністерства цифрової трансформації, а технічним партнером проєкту є компанія Cisco Ukraine. Вона надала хабу обладнання й технології гібридної реальності, а також підтримала розробку AR-застосунку Vidnova для відстеження процесу фізичної реабілітації. Над застосунком, окрім розробників, працює група тернопільських науковців і лікарів, які об’єдналися навколо можливостей хабу.
Розповідаємо, як працює Vidnova й як ще можна використовувати пристрої та технології, представлені в «Імерсивному мультифункціональному хабі».
Можливості медичної діагностики у доповненій реальності
«Якщо в людини постраждалі кисті, заміряти прогрес їх відновлення важко. Навіть найдосвідченіший лікар оцінює його на око та не завжди може зафіксувати всі зміни, – пояснює Дар’я Федько, СЕО та засновниця WE/AR Studio, що спеціалізується на розробці AR і VR-проєктів. Натомість у віртуальній реальності прогрес можна виміряти більш точно: алгоритми можуть оцінити амплітуду рухів з точністю до градуса».
Відстеження прогресу фізичної реабілітації у Vidnova відбувається за допомогою арттерапії, а саме – малювання. Як проходить діагностика? Пацієнт має знаходитись в «Імерсивному мультифункціональному хабі», де є необхідне обладнання: окуляри доповненої реальності та камера. Перед початком діагностики людина одягає окуляри, куди інтегрований застосунок пацієнта. Лікар, який може перебувати в будь-якому місці, де є інтернет, запускає застосунок терапевта на своєму ноутбуці. Він обирає шаблон для малювання, його розмір, кут нахилу і висоту відносно рівня очей. І потім запускає сесію.
Пацієнт малює на віртуальному полотні, яке бачить перед своїми очима. Та сама картинка транслюється на монітор терапевта. Крім того, лікар і пацієнт бачать один одного у віконці у верхній частині екрана та можуть спілкуватися. Таку можливість забезпечує відеозв’язок Webex від Cisco, який інтегрований в Vidnova.
Кожен рух пацієнта фіксує камера. Вона збирає дані, як змінюється кут положення зап’ястних, ліктьових і плечових суглобів. Терапевт бачить ці результати у реальному часі. Після сесії дані зберігаються й відображаються на графіку, який показує прогрес відносно попередніх сесій. Також в застосунок Vidnova інтегрована база з 12 тис. діагнозів, поміж яких лікар може обрати відповідний.
«Як лікар фізичної та реабілітаційної медицини, я повинна бачити, як змінювалася амплітуда рухів протягом реабілітації й порівнювати ці дані з показниками здорової кінцівки», – каже завідувачка кафедри фізичної терапії, ерготерапії та фізичного виховання Тернопільського національного медичного університету Дар’я Попович, яка також приймає участь у створенні застосунку.
У Vidnova передбачили таку функцію: щойно терапевт наводить курсор на отриманий показник, спливає вікно з показником норми.
Як Vidnova допомагає оцінити емоційний стан
Арттерапію для діагностики обрали не випадково. Дар’я Попович пояснює: «Це доказовий метод, який дозволяє нам бачити, як змінюється амплітуда рухів під час виконання завдання». Та крім діагностики, арттерапія допомагає людині відновлювати рухливість кінцівок, бо вони активно залучені в малювання. Водночас лікарка наголошує: важливо відстежувати не тільки прогрес фізичної реабілітації, а й психологічні зміни пацієнта. Для цього у Vidnova інтегрували тест від платформи Anima, який діагностує психоемоційний стан за допомогою eye tracking.
Алгоритм такого скринінгу базується на концепції викривлення уваги, тобто враховує, на чому фокусується людина. Лікар або сам пацієнт, якщо лікар знаходиться на відстані, запускає на ноутбуці тест Anima. Людина одягає окуляри доповненої реальності і далі перед її очима змінюються пари різних зображень. Одне з них з негативними подразниками, інше – з позитивними. Негативні – це травми, змії, павуки – все, що може асоціюватися із загрозою. Позитивні – їжа, радісні події, діти з морозивом тощо.
«Ми аналізуємо, на який стимул дивиться людина і як довго, як швидко вона переводить увагу між зображеннями, чи не відводить погляд, наскільки часто блимає, – пояснює CEO та співзасновник Anima Роман Гавриш. – Якщо часто, значить, їй не цікаво, рідко – навпаки».
По цих параметрах платформа може оцінити, як нервова система реагує на загрози, наскільки відсторонюється від негативних подразників, чи здатна отримувати задоволення і не тільки.
Eye tracking вважається одним із провідних методів використання AR у цифровій діагностиці. Роман Гавриш підкреслює, що він дозволяє перейти від суб’єктивної оцінки до об’єктивного аналізу, заснованого на даних. Інтерпретувати результати тесту має лікар.
«Anima дозволяє нам відстежувати, в якому стані людина починала терапію і як він змінювався – покращився чи є необхідність, наприклад, додатково звернутися до фахівця», – зазначає Тетяна Гусєва, доцент кафедри психіатрії, наркології, медичної психології Тернопільського національного медичного університету.
Результати тесту Anima будуть фіксуватися в картці пацієнта у Vidnova, тож лікар бачитиме загальну картину в динаміці.
Хто працює над проєктом
Ідея застосунку належить ком’юніті тернопільських викладачів-науковців і лікарів. Вони побачили, як можна використати інноваційні технології та обладнання хабу в проєкті, пов’язаному з фізичною реабілітацію. Реалізувати задум допомогла компанія Cisco: вона надала творцям технологію гібридної реальності Webex і фінансування.
«Кількість людей, що постраждали від російської агресії, на жаль, щодня зростає. Тож ми в Cisco докладаємо всіх зусиль, аби підтримувати українців, надаючи цифрові та технічні ресурси та впроваджуючи проєкти, що сприятимуть розвитку цифровізації в освітній й медичній сфері. Vidnova – один з таких проєктів», – зазначає Володимир Орлов, лідер програми Country Digital Acceleration (CDA) в Україні.
CDA працює вже у 50 країнах і допомагає урядам впроваджувати цифрові ініціативи. Україна приєдналась до програми минулого літа, коли Cisco підписали меморандум про співпрацю з Міністерством цифрової трансформації.
У якості розробника до проєкту запросили компанію, яка понад дев’ять років створює застосунки з доповненою та віртуальною реальністю. За цей час фахівці WE/AR Studio реалізували більше 150 проєктів.
Vidnova зараз на етапі фінального тестування. Після релізу застосунок почнуть використовувати безпосередньо в процесі реабілітації. На початку він допомагатиме тим пацієнтам, які перебувають в Тернополі, натомість терапевт може знаходитись будь-де. Але меж для масштабування проєкту немає. Необхідне обладнання – AR-окуляри та камеру – можна встановити в будь-якому кабінеті фізичної реабілітації в Україні.
Які можливості надає «Імерсивний хаб»
Оснащення хабу не обмежується AR-гарнітурами та технологією спільної роботи Webex. Компанія Cisco надала простору планшети, інтерактивну дошку Cisco Board Pro 75 та інфраструктуру Cisco Meraki для надійного доступу до інтернет-мережі та зв’язку. Студенти та науковці можуть використовувати все це для візуалізації даних, симуляції та моделювання процесів в різних галузях – від медицини до економіки. Крім того, обладнання дозволяє розробляти прототипи систем у віртуальному середовищі та вивчати їхню поведінку.
«Викладачі Західноукраїнського національного університету розробляють в хабі освітні програми, де використовуватимуться імерсивні технології, – розповідає начальник відділу цифрової трансформації ЗУНУ і координатор роботи хабу Назар Іваницький. – Науковці та аспіранти нашого університету разом з колегами Тернопільського національного медичного університету імені І.Я. Горбачевського розробляють наукові проєкти, один із яких – симуляція операцій на щитоподібній залозі у доповненій реальності».
Також на базі хабу запустили пілотний проєкт Міністерства освіти і науки – центр підтримки студентів для допомоги людям з особливими освітніми потребами. Туди приходять групи Навчально-наукового центру соціально-психологічної підтримки та резильєнтності, щоб пройти тестування Anima.
«Цифрова безбар’єрність – одна з пріоритетних цілей Мінцифри. Наша мета полягає не тільки в розвитку онлайн-сервісів, а й у забезпеченні рівного доступу до технологій. Щоб сприяти інклюзії та соціалізації різних верств населення, ми ініціювали відкриття першого в країні імерсивного мультифункціонального хабу», – каже заступник міністра цифрової трансформації України з питань євроінтеграції Валерія Іонан.
Відкриття хабу є частиною Національної стратегії зі створення безбар’єрного простору до 2030 року, ініційованої першою леді Оленою Зеленською. Крім того, він є прикладом реалізації Глобальної інноваційної візії України — WINWIN. Серед інших цілей зазначені розвиток також Medtech, EdTech та імерсивних технологій, які включають в себе AR і VR. MedTech допоможе скоротити час на відновлення, роблячи медичні послуги більш ефективними та доступними для всіх.
«Vidnova є проєктом, що впроваджує сучасні Medtech-рішення та навчає клінічних фахівців роботі з VR-технологіями. А хаб в цілому є прикладом того, як стратегія реалізується на рівні громад. Завдяки цьому простору місцеві фахівці використовують інноваційні технології для реалізації практичних завдань, – підкреслює Володимир Орлов. – Сподіваємось, що приклад Тернополя надихне очільників інших регіонів на відкриття подібних проєктів у себе».
