ИИ-лапароскопия (доп. модуль)

ИИ-лапароскопия (доп. модуль)

Во время лапароскопической операции нейросеть смотрит на живое изображение лапароскопа и подсвечивает органы брюшной полости: печень, желудок, толстую и тонкую кишку, брюшную стенку (селезёнку и поджелудочную железу — в следующих моделях) — каждый своим цветом, поверх той же картинки, которую видит хирург. Хирург сам выбирает, какие органы подсвечивать и как: контуром или полупрозрачной заливкой. Это дополнительный модуль: ставится на те Vidicap, к которым подключена лапароскопическая стойка.

«ИИ-лапароскопия» — тот же код, что «ИИ-эндоскопия» и «ИИ-УЗИ», со своими классами (органами), своими моделями и своим файлом настроек (/etc/vidicap/lap.json). Отличие одно: модель не рисует рамки вокруг находок, а называет орган для каждой точки изображения. Все три модуля могут стоять на одном Vidicap и на одном Vidicap AI Server.

Подсветка органов — подсказка для ориентирования, а не граница для разреза и не диагноз. Решения принимает хирург. Модель с пометкой «ИССЛЕДОВАТЕЛЬСКАЯ ВЕРСИЯ» не предназначена для диагностики и для принятия хирургических решений: её используют только в исследованиях по утверждённому протоколу.

Данные пациента не покидают больницу. Нейросеть получает только область изображения лапароскопа: поля с текстом видеопроцессора отрезаются до анализа. Кадры идут только к нейросети этого Vidicap или к Vidicap AI Server в сети операционной; они не записываются и не передаются ни в облако vidicap.cloud, ни нам.

Что видит хирург

В главном меню — плитка «ИИ-лапароскопия».

Нажмите её — откроется живое изображение лапароскопа с подсвеченными органами.

1. Цвет органа — у каждого органа свой цвет: печень красная, желудок оранжевый, толстая кишка голубая, селезёнка фиолетовая, поджелудочная железа жёлтая, тонкая кишка зелёная, брюшная стенка розовая.
2. Строка состояния (слева вверху): «ИИ работает», кадров в секунду, миллисекунд на кадр; на Touch 1.0 с сервером — «Vidicap AI Server».
3. Пометка модели (справа внизу): «ИССЛЕДОВАТЕЛЬСКАЯ ВЕРСИЯ · не для диагностики».
4. Под изображением — какая модель работает и как она прошла проверку.

«Подсвечивать»

Справа — список органов с их цветами. Нажатие на орган включает или выключает его подсветку (галочка — подсвечивается). Например, во время холецистэктомии можно оставить только печень и желудок, чтобы остальное не отвлекало. Выбор сохраняется на этом Vidicap.

«Как показывать»

• Контур — только граница органа тонкой линией его цвета; сама ткань не закрыта.
• Заливка — орган закрашен полупрозрачным цветом. Кнопки − и + меняют прозрачность заливки («Заливка 45%»): от 15 до 80 процентов.
• Скрыть — подсветка выключена, нейросеть продолжает работать; вернуть — «Контур» или «Заливка».

Кнопки звук, настройки для техника и «Сохранить кадр для обучения» — те же, что в «ИИ-эндоскопии». Счёта находок, чувствительности и списка «Осмотр» в этом модуле нет: органы не «находки».

Настройка (техник, один раз)

«Настройки» на странице модуля:

1. Вход захвата — к какому входу Vidicap подключён видеовыход лапароскопической стойки.
2. Зона анализа ИИ — своя рамка у каждого входа: «Настроить рамку» или «Найти автоматически»; окна поверх картинки — «+ Исключить область». Подробно — инструкция «ИИ-эндоскопия», раздел «Зона анализа ИИ».
3. Где работает ИИ — на этом Vidicap или на Vidicap AI Server: адрес (порт 7453), сопряжение по коду с экрана сервера.
4. Модель — какая модель работает; «Новые модели с платформы» — что опубликовано на платформе, с результатами проверки; «Установить с флешки» — файл vidicap-lap-model-*.zip.

Пока модели нет, на странице написано, где её взять.

Установка

unzip vidicap-module-lap-1.0.0.zip
sudo ./vidicap-module-lap/install-module.sh            # на Vidicap
sudo ./vidicap-module-lap/install-module.sh --box      # на Vidicap AI Server
sudo vidicap-lap model-install vidicap-lap-model-<имя>-<версия>.zip
vidicap-lap bench                                      # скорость сети на этом компьютере

Или с экрана Vidicap: «Платформа» → «Дополнительные модули» → «ИИ-лапароскопия» → «Установить». После установки перезапустите программу. Модель от «ИИ-эндоскопии» или «ИИ-УЗИ» сюда не ставится: в ней указан другой модуль.

На Vidicap AI Server с видеокартой NVIDIA --box сам ставит её драйвер и ONNX Runtime для CUDA; требования к серверу — в инструкции «ИИ-эндоскопия», раздел «Vidicap AI Server».

Vidicap Touch 1.0

Плитка «ИИ-лапароскопия» в главном меню и та же страница в оформлении Touch 1.0. Где работает нейросеть, решает полная «Проверка Vidicap» этого устройства, так же как в «ИИ-эндоскопии» и «ИИ-УЗИ» (инструкция «ИИ-эндоскопия», раздел «Vidicap Touch 1.0: на самом Vidicap или на Vidicap AI Server»): если она разрешила — «На этом Vidicap», иначе Vidicap AI Server (порт 7453); тогда «Скачать» передаёт новые модели на него.

Первая модель: открытые данные DSAD

Первая модель — «Органы брюшной полости (открытые данные, тестовая)» 0.1.0, статус «исследовательская», не для диагностики. Она обучена на открытом наборе Dresden Surgical Anatomy Dataset (Carstens M. и др., Scientific Data, 2023; лицензия CC BY 4.0): кадры лапароскопических операций на брюшной полости, на которых хирурги обвели органы. Кадры одной операции не попадают одновременно в обучение и в проверку.

Насколько совпадает подсветка с обводкой хирургов на кадрах 7 операций, которых модель не видела (IoU: 1 — полностью, 0 — никак):

Что это значит для хирурга:

• проверка модели — на кадрах операций, которых она не видела; её отчёт (по каждому органу) входит в пакет модели;
• в дыму, при бликах, кровотечении и вплотную к ткани подсветка может дрожать и ошибаться;
• набор снят в одной клинике (Дрезден); на ваших стойках точность нужно проверить.

Чтобы улучшить её, нужны видео лапароскопий с ваших стоек, размеченные хирургами в разделе «Обучение ИИ» на платформе: новая модель придёт на Vidicap как «Новая модель с платформы» со своими цифрами проверки.

Неполадки

← AI ultrasound (add-on module) AI endoscopy: how to train the network →