Спостереження 3D мікроскопічних зображень за допомогою віртуальної реальності

Інтерв’ю з доктором Крістофером Зюгатесом, інженером з додатків в arivis AG, який обговорював революційний спосіб аналізу складних 3D-зображень ... через віртуальну реальність!

З якими основними проблемами стикаються вчені при аналізі тривимірних мікроскопічних зображень?

Однією з найбільших проблем 3D-мікроскопії є розмір та складність зображень, які ми зараз можемо робити. Досягнення технологій означають, що ми не тільки збираємо більше інформації про зразок, ми також можемо проводити більше аналізу, використовуючи цю інформацію.

Першим випробуванням таких вдосконалених мікроскопів є розробка способу вивчення дуже складного зображення. Коли у вас масивні масиви даних, масивні обсяги або 3D-переміщення, як ми повинні бачити ці дані і як ми можемо їх дослідити?

Зараз дослідникам доводиться вирішувати, як найкраще аналізувати та представляти дані на складних 3D-зображеннях, і ділитися цим із науковою спільнотою.

Що таке InViewR?

InViewR - це програма, яка дозволяє дослідникам надіти комерційні гарнітури віртуальної реальності та зануритись у тривимірні мікроскопічні зображення. Замість того, щоб бачити 3D-зображення на екрані 2D-комп’ютера, дані представляються вам як об’єкти, що знаходяться поблизу вас, до яких ви можете дотягнутися і торкнутися. Це дає змогу маніпулювати даними таким чином, як це було б раніше.

Виходячи з власного досвіду досліджень, я зміг побачити об’єкт у далекому куточку зображення, відразу ж простягнути руку і доторкнутися до нього. Навколо майже немає почуттів. Мій мозок уже знав рухати моєю рукою на певній відстані. Я міг рухати конструкції навколо, обертати їх і спостерігати за ними під різними кутами. Я навіть міг покласти щось позаду і простягнути назад, не дивлячись, схопити і знову потягнути перед собою!

За допомогою плоского екрану ви втрачаєте зв’язок з реальністю. Ви почали з реальних тривимірних матеріалів і, наприклад, провели імуногістохімію, потім зробили візуалізацію і раптом це вже нічим не схоже на сировину. У гарнітурі VR матеріал знову стає реальним. Я думаю, що це перевага InViewR та рендерингу вихідних 3D-даних на основі VR загалом.

У гарнітурі VR ви можете знову взаємодіяти з матеріалом. Ви можете повертати його, заходити всередину, робити поперечні перерізи руками і найголовніше, проводити високоточні вимірювання ефективно та комфортно.

Це особливо корисно для відстеження нейронів. Це інструмент, який наноситься на вашу руку, тому, коли ви простягаєте руку і торкаєтесь нейрона, інструмент розпізнає це і вимірює відстань і діаметр під час руху вниз по аксону.

Це дозволяє співпрацювати з алгоритмом, щоб знайти центральну точку аксона і простежити його. Це світ, далекий від спостереження за зображеннями на плоскому екрані, але набагато більше схожий на природну роботу руками, як у лабораторії.

Як VR може трансформувати спосіб аналізу та подання даних дослідниками?

Безумовно, є ефективність, яку можна досягти, роблячи речі у віртуальній реальності. Маніпуляція та аналіз зображень на екрані комп’ютера здійсненна, але набагато ефективніше було б просто простягнути руку і торкнутися зображення, намалювати об’єкт або виміряти певну відстань між об’єктами.

Ще одне місце, де віртуальна реальність буде важливою, - це поділяти значення вашої роботи. Як вчені, ми зазвичай представляємо свої дані один одному за допомогою презентацій PowerPoint, що є 2D-форматом. Ми завжди намагаємось пояснити побачене словами або двовимірними зображеннями. Що ми в arivis помітили протягом багатьох років, це те, що VR - це чудовий спосіб розповісти історію. Вчені можуть ділитися своєю роботою, додаючи колегу до свого набору даних та чітко вказуючи важливі сфери.

Це також може бути корисно для навчальних лабораторій. Коли я починав навчання в аспірантурі, я навчався нейробіологу. Багато моїх ранніх тренувань стосувались читання статей, написаних іншими людьми, і цей процес навчання триває все життя. Існує величезна прірва між читанням цих робіт, які відображають 2D-зображення, і тим, що матеріал у вас у руках. ВР може стати мостом для освіти, де ви можете показати людям структури тканин та органів за межами лабораторії.

Однією з найбільших переваг для вчених буде аналіз зображень, де багато змішаних структур. Наприклад, якщо ви хочете спостерігати за нейроном, який рухається з однієї площини до іншої, і він перетинається з безліччю інших нейронів на своєму шляху. Ми хочемо спостерігати кожен окремий нейрон, оскільки в кожній із цих структур є щось особливе, і ми хочемо зрозуміти їх властивості індивідуально. Для цього нам потрібно розплутати кожен нейрон і відтягнути їх один від одного.

Якщо алгоритм недостатньо розумний, щоб розглядати структурний потік і безперервність на великі відстані, він не зміг би відокремити нейрони, які знаходяться дуже близько один до одного. Використовуючи VR, ви можете бачити структуру нейрона, і ваш мозок може відрізняти одну структуру від іншої, навіть коли нейрони торкаються і перетинаються. Це надзвичайно потужний для аналізу даних і дозволяє вам відібрати величезну кількість інформації.

Те саме з живими клітинами. Ми працювали з клієнтом, який маркує везикули, які швидко рухаються навколо клітини. За допомогою гарнітури VR я можу сісти всередину однієї з клітин і побачити, як рухаються пухирці. Це як мій мозок заповнює прогалини; Я легко бачу, що ця пухирчатка стрибала звідси туди, туди, і я можу простежити її.

Я можу покласти на нього палець і відстежувати його траєкторію навколо клітини. Я бачу, як пухирці потрапляють у мій периферичний зір, що перетинає моє поле зору і переходить на інший бік. Це легко зробити для вас, якщо ви можете це побачити, але це може бути порівняно складно вирішити на комп’ютері.

Чому ви вважали важливим розробити технологію, яка дозволяє вченим «обходити» свої дані?

Чотири роки тому ми досліджували використання віртуальної реальності в дослідженнях для розваги! Ми представили нашу першу систему віртуальної реальності на щорічну конференцію Товариства за нейронауку, і сотні людей прийшли надіти гарнітури, всі вони літали всередині зображень.

Після шоу ми почали розглядати, як ми можемо перетворити досвід VR з чогось цікавого на щось науково корисне. Ми розглянули всі аспекти проблеми - від розповіді до обміну даними та навіть спільного віртуального діловодства, де там можуть одночасно перебувати двоє людей.

Тоді ми подумали, що якщо легко просто простягнути руку та торкнутися об’єкта, можливо, нам слід додати варіанти живопису чи ліплення, щоб допомогти дослідникам у вирішенні проблем сегментації. Багато дослідників казали нам, що вони хочуть мати можливість легко позначати дендритні колючки на нейроні. Ми зрозуміли, що якщо ми зробимо робочий процес дуже простим, коли ви просто натискаєте кнопку і миттєво позначаєте об’єкт, то це може бути дуже ефективним способом виконання цього загального завдання.

Ми також створили прості способи виміряти тривимірну відстань між точками та виконати від руки 3D-ліплення на зображеннях. Зараз ми поєднуємо ці інструменти з машинним інтелектом, щоб зробити результати все більш точними. Ось чому цього року ми випустили наш новий інтелектуальний інструмент відстеження нейронів.

Разом із цим, взяв безліч різноманітних інструментів та хитрощів і почав упаковувати їх у робочі процеси. Зараз ми починаємо бачити, як люди спілкуються з VR як інструмент для аналізу, а не просто цікавого заняття.

Для яких галузей досліджень призначений InViewR?

Спочатку ми не замислювались над тим, до яких полів намагаємося звернутись, ми просто хотіли зробити тривимірні дані доступними та легкими для аналізу. Пізніше ми почали розробляти робочі процеси для неврологів, тому що вчені в цих областях дійсно розширюють обмеження розміру та інформаційного вмісту, що зберігається в зображенні.

Візуалізація складної нейрональної тканини вимагає високої просторової та часової роздільної здатності, саме тому вони дуже піддаються аналізу VR. Ви можете побачити окремі структури у ВР, які інакше виглядали б як незрозумілий клубок нейронів на 2D-екрані.

При дуже щільному зображенні вам може знадобитися перетворити зображення в потрібний спосіб, щоб побачити щось у поперечному перерізі, а на екрані за допомогою миші це може бути складно і неприємно. Замість того, щоб клацати та намагатися рухати ріжучу площину за допомогою миші та клавіатури, у середовищі VR вам просто потрібно рухати головою природним чином! Звичайно, ви можете обертати набір даних, але ви також можете зробити налаштування головою, щоб отримати ідеальний вигляд.

Які основні відмінності між VR та візуалізацією результатів на 2D-екрані комп’ютера?

Якщо ви думаєте про своє фізичне середовище, припускаєте, що знаходитесь у своєму будинку чи офісі, існує певний спосіб, щоб ви фізично організували кімнату. У вас є це тут і це там, і це там. Так чи інакше, мозку дуже легко запам’ятати, де знаходяться ваші інструменти та матеріали.

Це означає, що ви можете ефективно організовувати та працювати в просторі. Це можна порівняти із середовищем VR. Перед вами цей предмет, до якого ви можете торкнутися та ефективно працювати. Я можу повернутися до цього місця. Я можу перейти до цього місця. Я можу дуже, дуже легко провести лінію від А до В до С до D, тому що мій мозок сприймає це як справжній об'єкт.

Як ця технологія допомагає вченим виправити проблеми сегментації?

Кожен хоче провести вимірювання за своїми зображеннями. Виконання цього на двовимірному екрані, де ви малюєте площину за площиною, може бути дуже, дуже точним, але також трудомістким та трудомістким. У середовищі VR значно більше інформації про те, де є помилки сегментації, передається користувачеві відразу, і він може ефективно перейти до них і виправити їх.

Ви годинами за кілька годин схиляєтесь над екраном комп’ютера, намагаючись маніпулювати зображенням. З віртуальною реальністю ви стоїте прямо або сидите і витягуєте руки так, як ви їх природно використовуєте. Це виключає потребу в клавіатурах і мишах, роблячи завдання менш пошкоджуючим суглоби та мускулатуру. Якщо ви працюєте швидко, це може бути навіть гарною зарядкою.

Розкажіть більше про використання цієї технології. Чи працює це з будь-якою системою тривимірного зображення?

Так! Ми робимо зображення з будь-якого 3D або будь-якого тривимірного часу, і намагаємося максимально спростити цей процес для наших користувачів. Якщо ви заглянете всередину нашого програмного забезпечення, є довгий список різних типів файлів, які ми підтримуємо. Ми намагаємось зробити це якомога простішим.

У більшості випадків це просто вправа перетягування. Ви просто перетягуєте файл на робочий стіл, програмне забезпечення імпортує його до гарнітури VR, і ви готові до роботи.

Яку роль відіграватиме віртуальна реальність у майбутньому?

Думаю, ми будемо бачити вчених все більше і більше використовуючи віртуальну реальність. Я також думаю, що ми почнемо переходити до доповненої реальності, або AR, у міру розвитку технології. Робота у віртуальному середовищі загориться, оскільки гарнітури стануть комфортнішими та доступнішими.

Те, як ми використовуємо руки в середовищі віртуальної реальності, швидше за все, також покращиться. На даний момент ми використовуємо контролери з деякими кнопками, але є багато перспективних технологій, які дозволять людям користуватися руками. Вони включають такі речі, як не просто вібраційний зворотний зв’язок, а зворотний зв’язок під тиском та тепловий зворотний зв’язок. Є всі ці інші виміри, які можна додати до того, де, можливо, дані будуть відчувати себе справжнім об’єктом.

Я не знаю, чи ми б постійно працювали у світі віртуальної реальності. Ми розробили наш інструмент віртуальної реальності таким чином, щоб завдання, які ви виконуєте там, були дуже спеціалізованими. Ми не очікуємо, що ви надінете гарнітуру, сидите там цілий день і виконуєте всю свою роботу. Зараз ми використовуємо VR для вирішення особливих проблем.

Є ще багато завдань, які ви захочете виконати традиційним способом на комп’ютері. Однією з особливих речей нашого додатку VR є те, що він підходить для всіх інших наших додатків. У нас є програма, яка має багато можливостей, традиційний пакет візуалізації та аналізу зображень, який працює на вашому ноутбуці або на робочому столі, тоді у нас також є кілька серверних рішень.

Коли ви хочете зробити великий, пакетний аналіз, з великою кількістю завдань візуалізації, ви можете зробити це і в цьому середовищі. Але всі ці інструменти пов’язані між собою. Все, що ви робите в середовищі VR, можна побачити на комп’ютері, і навпаки.

Де читачі можуть знайти більше інформації?

Про доктора Крістофера Зюгейта

Політика щодо спонсорованого вмісту: News-Medical.net публікує статті та пов’язаний з ними вміст, який може бути отриманий із джерел, де ми маємо комерційні стосунки, за умови, що такий вміст додає цінності основному редакторському суті News-Medical.Net, який полягає у навчанні та інформуванні сайту відвідувачів, зацікавлених у медичних дослідженнях, науці, медичних виробах та лікуванні.

Цитати

Будь ласка, використовуйте один із наступних форматів, щоб цитувати цю статтю у своєму есе, роботі чи доповіді:

arivis AG. (2019, 18 грудня). Спостереження за 3D-мікроскопічними зображеннями за допомогою віртуальної реальності. Новини-Медичні. Отримано 15 грудня 2020 року з https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

arivis AG. "Спостереження за мікроскопічними зображеннями 3D за допомогою віртуальної реальності". Новини-Медичні. 15 грудня 2020 року. .

arivis AG. "Спостереження за мікроскопічними зображеннями 3D за допомогою віртуальної реальності". Новини-Медичні. https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx. (доступ 15 грудня 2020 р.).

arivis AG. 2019. Спостереження за 3D-мікроскопічними зображеннями за допомогою віртуальної реальності. News-Medical, переглянуто 15 грудня 2020 р., Https://www.news-medical.net/news/20191219/Observing-3D-Microscopic-Images-using-Virtual-Reality.aspx.

News-Medical.Net надає цю медичну інформаційну послугу відповідно до цих умов. Зверніть увагу, що медична інформація, розміщена на цьому веб-сайті, призначена для підтримки, а не для заміщення стосунків між пацієнтом та лікарем/лікарем та медичної консультації, яку вони можуть надати.

News-Medical.net - Сайт AZoNetwork