WikiDer > Vaa3D - Википедия

Vaa3D - Wikipedia

Vaa3D (на китайском ‘挖 三维’) - это пакет программного обеспечения для визуализации и анализа с открытым исходным кодом, созданный в основном Ханьчуань Пэном и его командой в Исследовательский кампус Janelia, HHMI и Институт исследований мозга Аллена.[1][2] Программное обеспечение выполняет 3D, 4D и 5D рендеринг и анализ очень больших наборов данных изображений, особенно тех, которые созданы с использованием различных современных микроскопия методы и связанные объекты 3D-поверхности. Это программное обеспечение использовалось в нескольких крупных нейробиология инициативы и ряд приложений в других областях. В недавнем Методы природы обзорную статью, она была признана одной из ведущих программное обеспечение с открытым исходным кодом наборы в смежных областях исследований.[3] Кроме того, исследования с использованием этого программного обеспечения были удостоены премии Cozzarelli 2012 от Национальная академия наук.[4]

Творчество

Vaa3D был создан в 2007 году для решения крупномасштабных картирование мозга проект на хуторе Жанелия Медицинский институт Говарда Хьюза. Первоначальной целью было быстро визуализировать любой из десятков тысяч больших 3D лазерная сканирующая микроскопия стопки изображений мозгов плодовых мушек, каждый объемом несколько гигабайт. Низкий уровень OpenGL3D-рендеринг на основе был разработан для обеспечения прямого рендеринга многомерных стеков изображений. C /C ++ и Qt были использованы для создания кросс-платформенной совместимости, чтобы программное обеспечение могло работать на Mac, Linux и Windows. Надежные функции для синхронизации нескольких визуализированных представлений 2D / 3D / 4D / 5D, создания глобальных и локальных средств просмотра 3D и виртуального пальца позволяют Vaa3D упростить ряд операций для сложных задач науки о мозге, например, сравнение мозга и реконструкция нейронов. . Vaa3D также предоставляет расширяемый плагин интерфейс, который в настоящее время содержит десятки плагинов с открытым исходным кодом, предоставленных исследователями со всего мира.

3D-визуализация данных изображений 3D, 4D и 5D

Vaa3D может быстро отображать данные 3D, 4D и 5D (X, Y, Z, Color, Time). В объемный рендеринг обычно имеет размер несколько гигабайт и может быть расширен до масштаба терабайт на набор изображений. Визуализация выполняется быстро за счет прямого использования OpenGL.

Vaa3D решает проблему визуализации больших данных с помощью нескольких методов. Один из способов - объединить синхронизированный и асинхронизированный рендеринг данных, который отображает данные с полным разрешением только тогда, когда вращение или другое динамическое отображение данных приостановлено, а в противном случае отображает только изображение грубого уровня.

Альтернативный метод, используемый в Vaa3D, - объединить как глобальные, так и локальные средства трехмерного просмотра. Глобальное средство трехмерного просмотра дополнительно отображает только субдискретизированное изображение, в то время как локальное средство трехмерного просмотра отображает изображение с полным разрешением, но только в определенных локальных областях. Интуитивно понятная трехмерная навигация осуществляется путем определения интересующей трехмерной области с использованием техники виртуального пальца с последующим созданием в реальном времени конкретного трехмерного локального средства просмотра для такой интересующей области.

Быстрое трехмерное взаимодействие человека и машины, виртуальный палец и трехмерный WYSIWYG

Трехмерная визуализация стека изображений - это, по сути, пассивный процесс наблюдения за данными. Комбинация активного способа ввода предпочтений пользователя в определенных местах быстро значительно повышает эффективность исследования содержимого трехмерного или многомерного изображения. Тем не менее, «изучение содержимого трехмерного изображения» требует, чтобы пользователь мог эффективно взаимодействовать и количественно профилировать шаблоны объектов изображения с помощью графического пользовательского интерфейса инструментов визуализации трехмерных изображений. Виртуальный палец, или 3D-WYSIWYG («Что вы видите в 2D - это то, что вы получаете в 3D»), позволяющая эффективно генерировать и использовать 3D-информацию о местоположении из 2D-данных, введенных пользователем, на типичном 2D-дисплее или сенсорных устройствах.

Метод виртуального пальца отображает идентифицированный двумерный ввод пользователя с помощью двухмерных устройств отображения, таких как экран компьютера, обратно в трехмерное объемное пространство изображения. Математически это часто бывает трудной обратной задачей. Однако, используя информацию о пространственной разреженности и непрерывности во многих наборах данных трехмерных изображений, эта обратная задача может быть хорошо решена, как показано в недавней статье.[5]

Технология виртуального пальца Vaa3D позволяет мгновенно и в произвольном порядке исследовать сложное содержимое трехмерного изображения, подобно тому, как с помощью настоящих пальцев исследуется реальный трехмерный мир с помощью одного щелчка или росчерка для поиска трехмерных объектов. Он использовался для повышения производительности сбора данных изображения, визуализации, управления, аннотации, анализа и использования данных изображения для экспериментов в реальном времени, таких как микрохирургия.

Рендеринг поверхностных объектов

Vaa3D отображает три основных типа трехмерных поверхностных объектов:

  • Облако точек: набор трехмерных сферических объектов, каждый из которых имеет свой цвет, тип, размер и другие свойства. Это часто используется для моделирования популяции клеток или подобных частиц, подобных объектам.
  • Реляционные данные (граф, сеть, соединенная трубками): каждый узел в графе имеет определенный размер и тип и связан с другими узлами. Это часто используется для моделирования морфологии нейронов, топологии сети и т. Д.
  • Объекты с нерегулярной поверхностью: каждая трехмерная поверхность имеет неправильную форму и моделируется с помощью сложной поверхностной сетки.

Эти трехмерные поверхностные объекты также часто объединяются в «наборы». Vaa3D может отображать несколько наборов любых из этих поверхностных объектов, которые также могут быть наложены поверх данных вокселей изображения с использованием различных отношений наложения. Эти функции полезны для совместной локализации, количественной оценки, сравнения и других целей.

Приложения

Программное обеспечение использовалось в ряде приложений, таких как следующие примеры.

Реконструкция и количественная оценка нейронов

Vaa3D предоставляет пакет Vaa3D-Neuron для реконструировать, количественно оценить и сравнить трехмерную морфологию отдельных нейронов ряда видов.

Vaa3D-Neuron позволяет отслеживать нейроны несколькими способами.

  • Ручная трассировка: пользователь может использовать 3D Virtual Finger, чтобы вручную реконструировать или быстро отредактировать структуру нейрона в 3D.
  • Полуавтоматическая трассировка: пользователь может указать некоторые ключевые конечные точки, до которых трассировка нейрона должна доходить, как и раньше, а затем попросить Vaa3D автоматически завершить трехмерную реконструкцию. Затем пользователь также может редактировать 3D-реконструкцию вручную.
  • Полностью автоматическая трассировка: пользователь может использовать очень быструю обрезку всех путей 1[6] или All-Path-Pruning 2[7] для автоматической трассировки всего нейрона в 3D и использования NeuronCrawler для трассировки очень большого стека изображений (десятки гигабайт на набор данных нейрона). Пользователь также может использовать несколько других алгоритмов автоматической трассировки нейронов, портированных на Vaa3D, включая трассировку змей FarSight, трассировку NeuTube (фитинг) и трассировку MOST на основе пакетных лучей. В Vaa3D также были разработаны и интегрированы в Vaa3D методы-оболочки, такие как UltraTracer, которые расширяют любой из этих базовых индикаторов до произвольно больших объемов многомерных изображений.[8]

Анализ отдельных клеток для C. elegans, плодовая муха и мышь

Vaa3D использовался для извлечения отдельных клеток из нескольких исследований нематод. C. elegans,[9] насекомое плодовая муха,[10] мышь[11] и другие виды. Основными используемыми функциями были сегментация трехмерных изображений для извлечения и количественной оценки уровней экспрессии генов отдельных клеток и быстрый подсчет клеток в определенных областях мозга. Vaa3D также предоставляет методы для аннотирования этих ячеек и определения их имен.

Vaa3D также предоставляет алгоритм SRS (одновременная сегментация и распознавание). [12] для трехмерной сегментации сложных ячеек, часто соприкасающихся друг с другом. Это было сделано путем адаптивного отображения предопределенного «атласа» (схемы расположения некоторых ячеек) на изображение итеративно с использованием алгоритма максимизации ожидания до сходимости. Было показано, что SRS уменьшает чрезмерную и недостаточную сегментацию по сравнению с обычно используемым методом сегментации водораздела.

Картирование мозга и регистрация 3D-изображений

Vaa3D использовался в нескольких картирование мозга проекты, как с точки зрения совмещения шаблонов (регистрации), так и анализа на основе мультиплексирования.

  • Выравнивание и регистрация шаблонов: Vaa3D предоставляет ряд плагинов и функций для выравнивания шаблонов 3D-изображений,[13] а затем синхронизируйте трехмерное отображение этих выровненных узоров.
  • Анализ на основе мультиплексирования: Vaa3D включает шаблон Atlas Manager.[14] который отображает серию выровненных шаблонов изображений в электронной таблице, с помощью которой подмножества этих шаблонов могут быть окрашены различными способами и смешаны вместе для анализа колокализации.

Расширения

Vaa3D можно расширить с помощью интерфейса плагина. Мастер под названием «Создатель подключаемого модуля» предназначен для создания базового шаблона нового подключаемого модуля.

В настоящее время выпущены следующие основные категории плагинов.

  • Мастер создания плагинов
  • Управление цветовым каналом
  • Ввод-вывод и преобразование данных
  • Генерация Атласа
  • Приложения C. elegans
  • Подсчет клеток (на основе машинного обучения или сегментации изображений)
  • Фильтры изображений
  • Геометрия изображения
  • Регистрация изображения
  • Сегментация изображений
  • Сшивание изображений и визуализация больших изображений
  • Генерация фильмов
  • Отслеживание нейронов
  • Набор инструментов Neuron
  • Панель инструментов синхронизации
  • Утилиты FlyWorkstation (для рабочей станции Janelia Farm Fly)

Vaa3D также был расширен для поддержки ITK, Matlab, Биоформаты, OpenCV и другое широко используемое программное обеспечение. Одно из расширений, называемое Vaa3D-TeraFly, предназначено для визуализации терабайтов данных изображения с использованием режима просмотра данных в стиле Google-Earth.

Смотрите также

Рекомендации

  1. ^ Peng, H .; и другие. (2010). «V3D позволяет выполнять 3D-визуализацию в реальном времени и количественный анализ крупномасштабных наборов данных биологических изображений». Природа Биотехнологии. 28 (4): 348–353. Дои:10.1038 / nbt.1612. ЧВК 2857929. PMID 20231818.
  2. ^ Peng, H .; и другие. (2014). «Расширенная визуализация и анализ многомерных изображений с помощью Vaa3D». Протоколы природы. 9 (1): 193–208. Дои:10.1038 / nprot.2014.011. PMID 24385149. S2CID 11837559.
  3. ^ Элисейри, К; и другие. (2012). «Программные средства биологической визуализации». Методы природы. 9 (7): 697–710. Дои:10.1038 / nmeth.2084. ЧВК 3659807. PMID 22743775.
  4. ^ «PNAS объявляет шесть лауреатов премии Cozzarelli 2012». www.nasonline.org. Издательство Оксфордского университета. 12 марта 2013 г. Архивировано с оригинал на 2013-05-01. Получено 20 мая, 2018.
  5. ^ Peng, H .; и другие. (2014). «Виртуальный палец улучшает трехмерную визуализацию и микрохирургию, а также визуализацию и анализ терабайтных объемных изображений». Nature Communications. 5: 4342. Bibcode:2014 НатКо ... 5.4342P. Дои:10.1038 / ncomms5342. ЧВК 4104457. PMID 25014658.
  6. ^ Peng, H .; и другие. (2011). «Автоматическая трехмерная трассировка нейронов с отсечением всего пути». Биоинформатика. 27 (13): i239 – i247. Дои:10.1093 / биоинформатика / btr237. ЧВК 3117353. PMID 21685076.
  7. ^ Xiao, H .; и другие. (2013). «APP2: автоматическое отслеживание морфологии трехмерных нейронов на основе иерархического отсечения деревьев расстояний изображений с серым взвешиванием». Биоинформатика. 29 (11): 1448–1454. Дои:10.1093 / биоинформатика / btt170. ЧВК 3661058. PMID 23603332.
  8. ^ Пэн, Ханьчуань; Чжоу, Чжи; Мейеринг, Эрик (2016). «Автоматическое отслеживание сверхобъемных нейронных изображений». bioRxiv 10.1101/087726.
  9. ^ Long, F .; и другие. (2009). «Цифровой трехмерный атлас C. elegans и его применение для анализа отдельных клеток». Методы природы. 6 (9): 667–672. Дои:10.1038 / nmeth.1366. ЧВК 2882208. PMID 19684595.
  10. ^ Heckscher, E .; и другие. (2014). «Программное обеспечение Atlas-Builder и атлас eNeuro: ресурсы для биологии развития и нейробиологии». Разработка. 141 (12): 2524–2532. Дои:10.1242 / dev.108720. ЧВК 4050700. PMID 24917506.
  11. ^ Aponte, Y .; и другие. (2011). «Нейронов AGRP достаточно, чтобы управлять пищевым поведением быстро и без обучения». Природа Неврология. 14 (3): 351–355. Дои:10.1038 / № 2739. ЧВК 3049940. PMID 21209617.
  12. ^ Qu, L .; и другие. (2011). «Одновременное распознавание и сегментация ячеек: приложение в C.elegans». Биоинформатика. 27 (20): 2895–2902. Дои:10.1093 / биоинформатика / btr480. ЧВК 3187651. PMID 21849395.
  13. ^ Qu, L .; и другие. (2014). «LittleQuickWarp: сверхбыстрый инструмент для деформации изображения». Методы. 73: 38–42. Дои:10.1016 / j.ymeth.2014.09.002. PMID 25233807.
  14. ^ Peng, H .; и другие. (2011). "BrainAligner: 3D-атласы регистрации мозга дрозофилы". Методы природы. 8 (6): 493–498. Дои:10.1038 / nmeth.1602. ЧВК 3104101. PMID 21532582.