AI endoscopy (add-on module)

ИИ-эндоскопия (доп. модуль)

Во время гибкой эндоскопии (колоноскопия, гастроскопия) нейросеть смотрит на живое изображение эндоскопа и обводит рамкой то, что врачу стоит осмотреть внимательнее: полипы, новообразования, кровотечение, язвы и эрозии. Каждая новая находка коротко подсвечивает кадр своим цветом и даёт тихий звук; справа ведётся счёт находок за осмотр. Это дополнительный модуль: ставится на те Vidicap, к которым подключён видеопроцессор эндоскопа.

Отметки ИИ — подсказка, а не диагноз. Они помогают не пропустить находку; осмотр, решение и заключение остаются за врачом. Модель с пометкой «ИССЛЕДОВАТЕЛЬСКАЯ ВЕРСИЯ» или «ДЕМОНСТРАЦИЯ» не предназначена для диагностики: её используют только в исследованиях по утверждённому протоколу или для показа. Для клинической работы нужна модель со статусом «для клиники», выпущенная после регистрации как медицинского изделия.

Данные пациента никуда не уходят. Нейросеть получает только изображение эндоскопа: поля видеопроцессора с текстом (там бывают имя пациента и дата) отрезаются до анализа. Кадры не записываются и не передаются ни в облако vidicap.cloud, ни нам. С Vidicap AI Server кадры идут по сети операционной по зашифрованному каналу и сразу же забываются. Кадры для обучения сохраняются, только когда врач сам нажимает «Сохранить кадр», и только на этом Vidicap.

Что видит врач

В главном меню — плитка «ИИ-эндоскопия».

Нажмите её — откроется живое изображение эндоскопа с отметками нейросети.

1. Рамка — уголки вокруг находки (сама находка не закрыта). Цвет — класс находки, над рамкой подпись и уверенность сети в процентах.
2. Вспышка и звук. Когда сеть замечает новую находку, рамка кадра на мгновение загорается её цветом и звучит короткий сигнал. Одна и та же находка, пока она в кадре, считается один раз.
3. Строка состояния (слева вверху): «ИИ работает», сколько кадров в секунду анализирует сеть и за сколько миллисекунд. Зелёная точка — всё в порядке, жёлтая — запуск, красная — ошибка (текст ошибки там же).
4. Пометка модели (справа внизу): «ИССЛЕДОВАТЕЛЬСКАЯ ВЕРСИЯ · не для диагностики» или «ДЕМОНСТРАЦИЯ». У модели «для клиники» пометки нет.
5. Под изображением — какая модель работает, её версия и результаты проверки: какую долю находок она нашла на проверочных видео и сколько ложных отметок в минуту давала.

Цвета: полип — зелёный, новообразование — жёлтый, кровотечение — голубой, язва, эрозия — белый. Цвета выбраны так, чтобы не сливаться с красно-розовой слизистой.

Кнопки справа

• Что отмечать. Нажмите класс, чтобы включить или выключить его отметки (например, на гастроскопии не нужны полипы толстой кишки). Справа от класса — сколько таких находок было за этот осмотр. «Сбросить» обнуляет счёт перед следующим пациентом. Если модель какой-то класс не умеет, он серый с пометкой «модель этого не умеет».
• Чувствительность. «Обычная» — пороги, проверенные при выпуске модели. «Больше находок» — сеть отмечает и менее уверенные находки (больше ложных отметок). «Меньше ложных» — только уверенные.
• Звук — включить или выключить сигнал новой находки.
• Настройки — для техника (ниже).
• Сохранить кадр для обучения — см. ниже.

Отметки появляются, только пока страница открыта: уйдёте в главное меню — нейросеть остановится и не будет занимать процессор.

Сохранить кадр для обучения

Если сеть ошиблась (отметила то, чего нет, или пропустила находку) или, наоборот, отметила верно, нажмите «Сохранить кадр для обучения» и выберите, что на кадре: «ИИ прав», «Ложная отметка» или «ИИ пропустил».

Кадр сохраняется без данных пациента и только на этом Vidicap (папка endo-dataset в домашней папке программы), вместе с отметками сети и вердиктом врача. Позже специалист больницы забирает такие кадры, обезличивает и размечает их по методике (инструкция «ИИ-эндоскопия: как обучить нейросеть»), и следующая версия модели учится на ошибках предыдущей.

Что на экране и «Осмотр» (вторая нейросеть, модуль 1.5.0)

Кроме рамок, вторая нейросеть называет кадр целиком: какой ориентир сейчас на экране, какая подготовка кишки, есть ли изменения, видимые по всему кадру. Она включается сама, как только её модель («Что на экране», скачивается в «Настройки» → «Новые модели с платформы») установлена на этом Vidicap или на Vidicap AI Server.

1. Подпись слева внизу — что на экране, например «Слепая кишка · 94%». Она появляется, только когда сеть держит один ответ несколько кадров подряд, и не мигает при каждом движении эндоскопа.
2. Осмотр (справа вверху). Выберите вид исследования: - Колоно — прямая кишка в ретрофлексии и слепая кишка (подтверждает полную колоноскопию), оценка подготовки по шкале BBPS, язвенный колит; - Гастро — Z-линия, желудок в ретрофлексии, привратник, эзофагит, пищевод Барретта.
3. Ориентир отмечается ✓ и временем, когда он был на экране не меньше секунды. Находка (колит, эзофагит, Барретт) отмечается жёлтым !, пока её не видно — «не видно».
4. Подготовка — «хорошая (BBPS 2–3)», если не меньше 70% времени кишка выглядела чистой, иначе «плохая (BBPS 0–1)». Пока данных мало — «оценивается».
5. «Сбросить» (под классами находок) начинает новый осмотр: счёт находок и список «Осмотр» обнуляются.

Рядом с «Осмотром» список «Что отмечать» короче: в нём только те находки, которые умеет отмечать работающая модель рамок.

Список «Осмотр» — подсказка врачу на экране: он не сохраняется и никуда не передаётся.

Техник выключает вторую нейросеть в «Настройки» → «Что на экране и «Осмотр»» → «Выключено» (останутся только рамки; так меньше нагрузка на процессор).

Модель «Что на экране» 0.1 обучена на открытом наборе HyperKvasir (CC BY 4.0, Borgli H. et al., Scientific Data 2020): 10 647 кадров, 14 классов. Это исследовательская версия · не для диагностики.

Vidicap Touch 1.0

Та же страница в оформлении Touch 1.0: плитка «ИИ-эндоскопия» в главном меню, на странице — изображение с отметками, справа те же кнопки. Нейросеть работает на Vidicap AI Server: в строке состояния написано «Vidicap AI Server».

Прогнать файл через ИИ (видео или фото с хранилища и флешки)

Нейросеть может посмотреть не только живое изображение, но и записанное видео или фото: запись исследования с этого Vidicap или файл с флешки (например, видео с другого аппарата, лекцию, разбор сложного случая). Так можно ещё раз пройти по записи с ИИ после осмотра, показать коллегам, где сеть отметила находки, или проверить, как модель работает на ваших видео.

1. На странице «ИИ-эндоскопия» под изображением справа нажмите «Прогнать файл через ИИ».

2. Откроется окно выбора. Вкладка «Хранилище Vidicap» — записи исследований этого Vidicap: дата → исследование → видео и фото с миниатюрами. Для каждой вставленной флешки — своя вкладка «Флешка «имя»» с её папками; флешка, вставленная при открытом окне, появляется сама. «‹ Назад» и названия папок в строке пути возвращают на уровень выше. Окно открывается там, где вы были в прошлый раз. У файлов, которые ИИ уже смотрел, на миниатюре плашка «ИИ: находок N» или «ИИ: нет находок».

3. Нажмите видео или фото. Оно откроется на месте живого изображения, с теми же рамками нейросети. Справа вверху оранжевая плашка «ФАЙЛ, не живое изображение» и имя файла: так файл не спутать с эндоскопом.

Список файлов всегда справа. Пока идёт файл, справа две вкладки: «Файлы» — папка, в которой вы сейчас (хранилище или флешка), с миниатюрами, и «Находки (N)» — что найдено в этом файле. Нажатие на другой файл в списке сразу отправляет его в ИИ, назад в окно выбора ходить не нужно. Файл на экране подсвечен оранжевым, у просмотренных — «✓ находок: N» и цветные точки найденного.

Несколько файлов по очереди. «Несколько…» под списком (или «Выбрать несколько» в окне выбора) включает галочки. Отметьте файлы (или «Выбрать все» в этой папке) и нажмите «Прогнать выбранные (N)»: файлы пойдут один за другим без остановок, вверху «файл 2 из 5». Кнопка «Следующий ›» под шкалой переходит к следующему файлу очереди, а без очереди — к следующему видео той же папки.

4. Под изображением — время и шкала. Найденное отмечается на шкале цветными чёрточками; нажатие на шкалу переводит видео в это место. Кнопки: пауза, −10 с / +10 с, скорость 1× / 2× / 4× и «Без остановок»: сеть смотрит каждый кадр так быстро, как успевает (картинка не плавная, зато длинная запись проходится быстрее и ничего не пропускается).
5. Справа — «Находки в файле»: время, что найдено, уверенность сети. Нажмите строку — видео перейдёт на секунду раньше этого места. Одна и та же находка, пока она в кадре, записывается один раз. Чувствительность работает так же, как для живого изображения.
6. «Сохранить кадр» кладёт кадр с рамками и подписями ИИ рядом с файлом: в папку того же исследования (файл из хранилища) или в ту же папку флешки. Имя файла — имя видео и момент, например 10-15-00-ИИ-02-41.jpg. «Для обучения» — то же, что «Сохранить кадр для обучения» на живом изображении.
7. Когда видео закончится, справа внизу шкалы написано «прогон завершён» и сколько находок. Чтобы вернуться к эндоскопу, нажмите «← Живое изображение»; уход в главное меню тоже возвращает живое изображение. Счёт находок осмотра при этом прежний: прогон файла его не трогает.

Что важно знать:

• Находки сохраняются рядом с файлом: файл «видео.mp4.ai.json» в той же папке (на флешке, защищённой от записи, — в памяти Vidicap). Их потом видно в «Файлах» программы (раздел «Находки и метки в «Файлах»» ниже) и в архиве на сервере больницы. Повторный прогон того же файла заменяет прежние находки, отметки врача «не подтверждаю» сохраняются.
• Пока идёт файл, ИИ по живому входу на паузе. Запись, трансляция и внешний монитор работают как обычно.
• Файл не копируется и никуда не уходит. Его читает сам Vidicap; кадры идут только в нейросеть: на этом Vidicap или на Vidicap AI Server в сети больницы. В облако не уходит ничего.
• Поля с текстом аппарата отрезаются так же, как у живого изображения (зона анализа ИИ того входа, что выбран). Если запись с другого аппарата и рамка не та, откройте файл, затем «Настройки» → «Настроить рамку»: рамка ищется и правится по кадрам файла.
• Гость («Продолжить как гость») видит в хранилище только папку «Гость», как и в «Файлах».
• Видео: mp4, mkv, avi, mov, ts (и другие, что читает ffmpeg). Фото: jpg, png. Фото открывается одним кадром.

Vidicap Touch 1.0

Всё то же самое: кнопка, окно, шкала и находки. Видео читает сам Touch 1.0, нейросеть работает на Vidicap AI Server (или на самом Touch 1.0, если его «Проверка Vidicap» это разрешила). Пока Touch 1.0 записывает или транслирует, доступна только скорость 1×: «2×», «4×» и «Без остановок» серые с пояснением, чтобы чтение файла не отнимало процессор у записи. Закончили запись — быстрые скорости снова доступны.

Находки и метки в «Файлах» (обе ревизии)

Всё, что ИИ нашёл в видео, видно при обычном просмотре записи в «Файлах» («Просмотр записанных материалов»), без модуля ИИ на экране. Нужны агент Vidicap 1.90.0, модуль «ИИ-эндоскопия» 1.6.0 (или «ИИ-УЗИ» 1.4.0, «ИИ-лапароскопия» 1.1.0), программа Touch 2.0 2.108.0 или Touch 1.0 1.71.0.

Откуда берутся находки:

• Прогон файла через ИИ (раздел выше): находки записываются рядом с видео, пока файл идёт.
• Живой вход во время записи. Если во время записи исследования на странице ИИ была открыта нейросеть, всё, что она отметила, попадает в файл этой записи с тем же временем, что на видео. Запись можно открыть в «Файлах» сразу после остановки.

Что видно в «Файлах»:

1. В «Библиотеке записей» у видео, которое ИИ смотрел, под именем строка «ИИ: находок N» (или «ИИ: нет находок»).
2. Нажмите видео. Справа, под данными пациента, панель «Находки и метки»: время, что найдено, уверенность ИИ и сколько секунд находка была в кадре. Нажатие на строку переводит видео на полсекунды раньше этого места.
3. Поверх картинки — рамки ИИ в нужный момент, на шкале воспроизведения — цветные отметки находок и синие отметки врача. Кнопка «Рамки ИИ» включает и выключает рамки; «‹ Пред.» и «След. ›» — от одной находки или метки к другой.

Метки врача. «+ Метка» ставит метку в текущий момент видео: готовое слово (Биопсия, Полип удалён, Кровотечение, Важно, Посмотреть ещё раз) или своими словами и «Сохранить». В метке записано, кто её поставил (кто вошёл по PIN-коду или бейджу). «✎» у метки — переименовать или удалить.

«Не подтверждаю». «✕» у находки ИИ зачёркивает её: она уходит из счёта и с шкалы, но остаётся в файле для обучения ИИ (это важный пример ошибки сети). «↺» возвращает её.

Прогнать через ИИ прямо из «Файлов». Под шкалой кнопки «Выбрать для ИИ» и «Прогнать через ИИ». Без галочек «Прогнать через ИИ» отправляет видео на экране; с «Выбрать для ИИ» у файлов библиотеки появляются галочки, и выбранные уходят в ИИ по очереди. Открывается страница модуля ИИ с уже идущим файлом. Если модулей ИИ несколько, Vidicap спрашивает, какой смотрит файл. Кнопок нет, если модуль ИИ не установлен.

Копирование и удаление. Кнопка USB у видео копирует на флешку и его находки и метки; удаление видео удаляет и их. Находки и метки не уходят на vidicap.cloud: это данные обследования, они хранятся только на Vidicap и на сервере больницы.

Vidicap Touch 1.0

Всё то же самое: строка «ИИ: находок N» в библиотеке, панель «Находки и метки» справа под данными пациента, рамки поверх видео, отметки на шкале, «Выбрать для ИИ» (галочки ☐/☑ в списке) и «Прогнать через ИИ» под шкалой.

Демо: имитатор эндоскопа (обе ревизии, без сервера)

Самый простой показ ИИ — без эндоскопа, без камеры и без Vidicap AI Server. Встроенный в модуль имитатор эндоскопа показывает искусственную колоноскопию, а небольшая нейросеть, обученная на нём, обводит полип, новообразование, кровотечение и язву, как в работе. Сеть идёт вместе с модулем (версия 1.3.0 и новее, около 19 МБ) и работает на самом Vidicap — в том числе на Vidicap Touch 1.0 без «Проверки Vidicap»: пациента и видео операции здесь нет. На Touch 1.0 она всё равно уступает процессор записи и трансляции и при нехватке сама встаёт на паузу.

Как включить и выключить

1. Откройте «ИИ-эндоскопия» → «Настройки» (на Touch 1.0 — «Настройки для техника»).
2. В разделе «Демо-режим» нажмите галку «Демо: имитатор эндоскопа». Источник изображения и модель на это время откладываются (их настройки не меняются).
3. Нажмите «Готово»: на экране искусственная колоноскопия с рамками и счётом находок, сверху жёлтая надпись «ДЕМО · имитатор эндоскопа · нейросеть на этом Vidicap · не для пациентов».
4. Чтобы выключить, снимите ту же галку: вернутся прежние источник и модель. Выбор любой модели в «Модель нейросети» тоже выключает демо.

Кадры для обучения в демо не сохраняются. Пороги этой сети подобраны на кадрах имитатора; на настоящем эндоскопе она не работает и для пациентов не предназначена.

Демо-режим: пальцы, ручка, телефон

Чтобы показать возможности ИИ без эндоскопа и до того, как обучена медицинская модель (на выставке, в отделении, руководству больницы), есть демо-режим. Готовые открытые нейросети без нашего обучения смотрят в камеру и:

• считают пальцы, которые показывает рука («Пальцев: 2»);
• обводят ручку и телефон.

Демо-режим не для пациентов: на изображении крупно написано «ДЕМО-РЕЖИМ · ИИ без обучения · не для пациентов», а кнопка «Сохранить кадр для обучения» в нём не работает.

Как включить и выключить

1. Откройте «ИИ-эндоскопия» → «Настройки».
2. В разделе «Демо-режим» нажмите галку «Демо-режим: пальцы, ручка, телефон». Медицинская модель на это время откладывается (её настройки не меняются).
3. Нажмите «Готово» и покажите руку, ручку или телефон в камеру (в «Источник изображения» выберите вход, к которому подключена камера).
4. Чтобы выключить, снимите ту же галку: сразу вернётся медицинская модель. Выбор любой модели в «Модель нейросети» тоже выключает демо.

Файлы демо: установить и удалить

Демо — это отдельный пакет (около 100 МБ): vidicap-endo-model-demo-vision-1.0.0.zip. В модуль он не входит, чтобы не занимать место там, где демо не нужно.

• Установить с флешки: скопируйте пакет на флешку, вставьте её в Vidicap и нажмите «Настройки» → «Установить с флешки». Или в терминале: sudo vidicap-endo demo-install (найдёт пакет на флешке сам и доустановит библиотеку распознавания рук mediapipe — нужен интернет). На Vidicap Touch 2.0 начиная с 2.94.0 библиотеку mediapipe ставит сама программа при установке и обновлении (нужен интернет), поэтому хватает кнопки «Установить с флешки».
• Удалить: кнопка «Удалить файлы демо» рядом с галкой (на ней написано, сколько места освободится). Демо выключится, файлы удалятся. Или командой sudo vidicap-endo demo-remove.
• Vidicap Touch 1.0: это демо работает только на Vidicap AI Server: нейросеть для предметов тяжёлая, а библиотека mediapipe не запускается на Touch 1.0. Без сервера галка серая с надписью «только с Vidicap AI Server»; показывайте «Демо: имитатор эндоскопа». С сервером пакет ставится на Vidicap AI Server (sudo vidicap-endo demo-install на нём), а галка — на экране Touch 1.0, как обычно. Vidicap AI Server при этом продолжает работать с медицинской моделью для остальных операционных.

Пакет собирается командой python3 modules/or_endo/tools/make_demo_package.py (OWL-ViT и MediaPipe Hand Landmarker от Google, лицензия Apache 2.0). Можно собрать демо и с другими предметами: --objects "cup=Чашка=#ff80ab=a cup;a mug".

Установка (для техника)

Vidicap Touch 2.0

1. Обновите программу до 2.9.0 или новее (Настройки → Обновления).
2. Установите модуль: на экране Vidicap «Настройки» → «Доп. модули» → «ИИ-эндоскопия» (с платформы или с флешки), см. инструкцию «Дополнительные модули». Или с флешки в терминале: unzip vidicap-module-endo-1.0.0.zip && sudo ./vidicap-module-endo/install-module.sh
3. Перезапустите программу. В главном меню появится плитка «ИИ-эндоскопия».
4. Установите модель (файл vidicap-endo-model-*.zip выдаёт команда проекта после проверки): «ИИ-эндоскопия» → «Настройки» → «Установить с флешки», или sudo vidicap-endo model-install файл.zip. Без модели работает только демонстрация «тёмно-красные участки» (правило цвета, не нейросеть).
5. Проверьте скорость: vidicap-endo bench. Нужно 10 кадров в секунду и больше. Если меньше — поставьте Vidicap AI Server с ускорителем и выберите в настройках «Vidicap AI Server в сети».

Vidicap Touch 2.0 с видеокартой NVIDIA

Если в компьютер Vidicap Touch 2.0 поставлена видеокарта NVIDIA, нейросеть считает на ней, как на Vidicap AI Server: кадр за 10–20 мс вместо 60–160 мс на процессоре.

1. Поставьте видеокарту (нужны слот PCIe x16, место в корпусе и запас блока питания; в тонкий корпус подойдёт низкопрофильная, например RTX A2000 или RTX 4000 SFF).
2. Обновите программу Vidicap до 2.97.0 или новее, или переустановите её. Установка сама находит видеокарту, ставит её драйвер из Ubuntu и ONNX Runtime для видеокарты. Нужен интернет: это около 3 ГБ.
3. Перезагрузите Vidicap: драйвер начинает работать после перезагрузки.
4. В строке состояния «ИИ-эндоскопии» появится «· видеокарта». Скорость: vidicap-endo bench.

Если драйвер не загрузился (часто мешает Secure Boot: отключите его в BIOS или подтвердите ключ MOK при загрузке), нейросеть продолжает работать на процессоре; повторно драйвер установка не ставит. Оставить процессор при видеокарте: VIDICAP_ENDO_DEVICE=cpu.

Vidicap Touch 1.0 видеокарту для ИИ не использует (Ubuntu 18.04 и Python 3.6: сборок для видеокарт под них нет); для него — Vidicap AI Server.

Vidicap Touch 1.0: на самом Vidicap или на Vidicap AI Server

Процессоры у Vidicap Touch 1.0 разные, и он занят кодированием видео. Поэтому можно ли ИИ на самом Touch 1.0, решает проверка этого устройства, а не общая таблица:

1. Установите модуль 1.2.0 и запустите полную проверку: «Платформа» → «Проверка Vidicap» → «Проверить» (около 4 минут, не во время операции). Проверка запускает нейросеть рядом с записью 1080p и трансляцией и смотрит, сколько кадров в секунду она успевает и не теряет ли кадры сама запись.
2. Ответ в строке «ИИ-эндоскопия»: - «Работает» — 10 кадров/с и больше, запись без потерь; - «N к/с» — 5–10 кадров/с: работает, рамка появляется с небольшой задержкой; - «Vidicap AI Server» и причина — медленнее, запись теряет кадры или процессор без AVX2.
3. «ИИ-эндоскопия» → «Настройки» → «Где работает нейросеть». Кнопка «На этом Vidicap» доступна, только если проверка разрешила; под ней — её слова. Иначе кнопка серая, и нужен Vidicap AI Server.

На Touch 1.0 нейросеть уступает процессор записи и трансляции. Если она долго не успевает (меньше 3 кадров/с дольше 20 секунд), ИИ сам приостанавливается на минуту и пишет об этом на экране; запись при этом не страдает. Заменили компьютер или поставили новую модель — запустите проверку ещё раз.

На всех устройствах больницы сразу это видно на платформе: «Сервисное меню» → «Проверка парка», колонки «ИИ-эндоскопия» и «ИИ-УЗИ».

Vidicap AI Server

Vidicap AI Server — небольшой компьютер в сети операционной. Он нужен Touch 1.0, которым проверка не разрешила ИИ, и Vidicap Touch 2.0, если тому не хватает скорости.

Vidicap AI Server: компьютер с Ubuntu 22.04 или 24.04 в той же сети, что и Vidicap (проводное подключение). Для 1–3 операционных хватит мини-ПК с процессором Intel Core i5/i7 12-го поколения и новее, Core Ultra или AMD Ryzen 7 (8 ядер, AVX2) и 16–32 ГБ памяти. Для большего числа операционных, тяжёлых моделей и обучения — системный блок с видеокартой NVIDIA (GeForce RTX с 16 ГБ памяти, например RTX 4060 Ti / 5060 Ti 16 ГБ). Достаточно ли его — покажет vidicap-endo bench на нём.

С видеокартой NVIDIA нейросеть считает на ней сама: install-module.sh --box (модуль 1.3.4 и новее) находит видеокарту, при необходимости ставит её драйвер (тогда попросит перезагрузить компьютер и запустить команду ещё раз; с загрузочной флешкой перезагрузка и повтор идут сами) и ставит ONNX Runtime для CUDA вместе с CUDA и cuDNN. Где считает сервер, видно в его журнале: sudo journalctl -u vidicap-endo-box | grep считает — «считает: видеокарта NVIDIA» или «считает: процессор»; то же пишет vidicap-endo bench. Нужен интернет на время установки.

1. На Vidicap AI Server: unzip vidicap-module-endo-1.0.0.zip && sudo ./vidicap-module-endo/install-module.sh --box. Скрипт поставит библиотеки и службу vidicap-endo-box и напечатает порт (7451), код доступа из 6 цифр и отпечаток сертификата.
2. Установите модель на Vidicap AI Server: sudo vidicap-endo model-install файл.zip, затем sudo systemctl restart vidicap-endo-box.
3. На Vidicap Touch 1.0: обновите программу до 1.13.0 («Платформа» → «Проверить обновления») и установите модуль так же, как на Touch 2.0 (без --box).
4. На экране Vidicap: «ИИ-эндоскопия» → «Настройки» → «Vidicap AI Server в сети», введите адрес сервера (например, 192.168.1.50:7451) и код доступа, нажмите «Подключить».

Vidicap запоминает сертификат Vidicap AI Server. Если сервер заменят или по этому адресу ответит чужой компьютер, Vidicap откажется отправлять кадры и покажет «сертификат Vidicap AI Server изменился». Тогда подключите сервер заново. Код доступа всегда можно посмотреть на самом сервере: sudo journalctl -u vidicap-endo-box | grep код.

Веб-страница Vidicap AI Server

У сервера есть своя страница в браузере: https://<адрес сервера>:7450 с любого компьютера или телефона в сети больницы (модуль 1.3.4 и новее; одна страница на оба модуля, ИИ-эндоскопию и ИИ-УЗИ). Браузер предупредит о сертификате: он выпущен самим сервером, нажмите «Подробнее» → «Перейти на сайт».

Пароль показан на экране сервера в конце установки (install-module.sh --box или загрузочная флешка) и в «Журнале установки» на платформе. Новый пароль: на сервере sudo vidicap-endo web --password. После 10 неверных паролей вход с этого адреса закрыт на 10 минут.

На странице:

• Вычисления: на видеокарте NVIDIA или на процессоре, загрузка видеокарты, её память, загрузка и температура процессора.
• Модули ИИ: порт, код доступа для подключения Vidicap, версия модуля, модель по умолчанию; кнопки «Новый код» (все Vidicap этого модуля нужно будет подключить заново) и «Перезапустить».
• Подключены сейчас: какие Vidicap (имя компьютера и адрес) работают с сервером, модель, кадров в секунду и миллисекунд на кадр. Кадры на страницу не попадают, только числа.
• Модели: установленные модели обоих модулей; «Загрузить модель (.zip)» с компьютера, «По умолчанию» (модуль перезапустится), «Удалить». Обычно модели приходят с платформы сами (сервер подключён к платформе, см. ниже), через Vidicap («Скачать» в настройках модуля) или с загрузочной флешки.
• Журнал последних событий и «Скачать журнал» — его можно прислать в поддержку.
• Платформа: к какой точке подключён сервер и что он поставил сам; «Подключить» (адрес платформы и код подключения) и «Отключить».

Связь с платформой: модели и версии приходят сами

Сервер, установленный с загрузочной флешки (модуль 1.8.0 и новее), сам подключается к точке, для которой создан код установки. Сервер, установленный иначе, подключают на его веб-странице: на платформе «Устройства» → точка сервера → «Настройки» → «Код подключения», затем на странице сервера «Платформа» → «Подключить» (адрес платформы, например vidicap.cloud, и код).

После этого сервер раз в минуту сообщает платформе своё состояние и сам:

• ставит опубликованные модели своих модулей ИИ (ИИ-эндоскопия, ИИ-УЗИ, ИИ-лапароскопия). Модель скачивается ключом сервера, контрольная сумма проверяется; модуль перезапускается, чтобы её увидеть, только когда к нему не подключён ни один Vidicap;
• ставит новые версии своих модулей ИИ — тоже только когда к серверу не подключён ни один Vidicap;
• если компьютер видит видеокарту NVIDIA без драйвера (например, её поставили после установки), ставит драйвер, сам перезагружается, когда свободен, и переводит нейросеть на видеокарту. Для RTX 50 ставится open-драйвер NVIDIA.

На платформе на странице точки виден блок Vidicap AI Server: связь, вычисления (видеокарта или процессор, загрузка), видеокарты, которые видит компьютер, и их драйвер, модули ИИ с версиями, моделью и числом подключённых Vidicap, установленные модели и что сервер поставил сам. Если в строке «Видеокарты» нет NVIDIA, компьютер её не видит: проверьте, что карта плотно вставлена, к ней подключено питание (6/8-pin) и BIOS показывается на мониторе, подключённом к ней.

На платформу уходят только числа и названия: кадры и данные пациентов не передаются. Связь только исходящая. На сервере: sudo vidicap-endo link status.

Настройки

• Источник изображения — вход захвата Vidicap, к которому подключён видеопроцессор эндоскопа («Вход 1», «Вход 2»). «Имитатор эндоскопа» — синтетическая колоноскопия с полипом, новообразованием, кровотечением и язвой: для обучения персонала и проверки без пациента.
• Зона анализа ИИ — своя рамка у каждого входа; подробно — раздел «Зона анализа ИИ» ниже. Это обязательно: поля видеопроцессора с текстом (имя пациента, дата) отрезаются и не попадают ни в анализ, ни в сохранённые кадры.
• Где работает нейросеть — «На этом Vidicap» (только Touch 2.0) или «Vidicap AI Server в сети».
• Демо-режим — см. выше.
• Модель нейросети — «Новейшая установленная» (выбирается сама) или конкретная модель. «Установить с флешки» ставит все пакеты vidicap-endo-model-*.zip с флешки. Пакет проверяется по контрольной сумме: изменённый файл не установится.

Зона анализа ИИ

ИИ смотрит только внутрь рамки: меню, шкалы, текст и миниатюры аппарата в анализ не попадают, рамки находок на них не рисуются. У каждого входа своя рамка (на разных входах разные аппараты). Одинаково на Vidicap Touch 1.0 и 2.0 и во всех модулях ИИ (эндоскопия, УЗИ, лапароскопия).

1. Включите аппарат, чтобы на входе было живое изображение, и подвигайте эндоскопом или датчиком УЗИ.
2. «Настройки» → «Зона анализа ИИ» → у нужного входа «Настроить рамку». Откроется весь кадр входа. Если рамки ещё не было, Vidicap сам смотрит на вход 3 секунды и предлагает её: то, что меняется, — изображение; то, что стоит на месте, — меню аппарата (часы и счётчики слишком малы и не в счёт).
3. Поправьте рамку пальцем: круги в углах и полоски на сторонах тянут, палец внутри сдвигает рамку целиком. Снаружи рамки картинка затемнена — эту часть ИИ не видит. «Живое | Стоп-кадр» — смотреть живой вход или остановленный кадр, пока правите.
4. «Сохранить». ИИ сразу начинает смотреть только в рамку. «Отмена» — ничего не менять, «Весь кадр» — без рамки.

Исключённые области. Окна поверх изображения — ScopeGuide (схема положения колоноскопа), картинка в картинке, миниатюры — тоже меняются, но смотреть их ИИ не нужно. Красная область внутри рамки закрашивается чёрным до анализа: ИИ её не видит и находок в ней не рисует. Если окно заходит за край изображения, автопоиск сам предлагает его исключить. Если оно целиком внутри изображения, нажмите «+ Исключить область» (до 4 областей) и подвиньте красную рамку на окно; ✕ на её ярлыке убирает её. На живой картинке модуля исключённая область обведена тонкой красной линией.

«Найти автоматически» у входа в настройках ищет рамку так же и сразу сохраняет её; результат пишется вверху настроек. Если изображение стоит на месте (заморозка, датчик лежит), рамка ищется по яркости, и Vidicap просит её проверить.

Слежение. Переключатель «Следить, что изображение не ушло за рамку» (включён) раз в минуту коротко смотрит на вход. Если изображение дважды подряд заметно выходит за рамку (аппарат сменил режим или раскладку экрана), на картинке появляется подсказка «Изображение аппарата вышло за рамку зоны ИИ»: «Проверить рамку» открывает редактор (PIN техника), «Позже» прячет подсказку на час. Сама рамка не меняется никогда.

«Искать рамку при каждом включении ИИ» (выключен) — для входов, куда подключают разные аппараты: при каждом открытии модуля рамка ищется и сохраняется заново.

Vidicap Touch 1.0 — тот же редактор, поиск идёт на самом Touch 1.0 без нейросети (около секунды после трёх секунд просмотра):

Когда рисовать рамку

Сеть даёт каждой находке уверенность в процентах. Рамка рисуется, только когда уверенность не ниже порога. Порог модели выбран при её проверке на открытых данных (у модели полипов — 21 %), но техник может поставить свой — например, если на этом эндоскопе много ложных рамок на бликах.

1. Откройте «Настройки» и пролистайте до раздела «Когда рисовать рамку». Для каждого класса модели (полип, кровотечение и т. д.) — своя строка.
2. Двигайте ползунок или нажимайте «−» и «+» (по 1 %). Можно от 5 % до 95 %. Серая чёрточка на ползунке — порог самой модели.
3. Выше — меньше ложных рамок, но сеть может пропустить находку. Ниже — больше находок и больше ложных рамок.
4. «Как у модели» возвращает порог модели; под кнопкой написано, изменён ли он сейчас.

Значение запоминается для этой версии модели: после установки новой модели действует её собственный порог, и его при необходимости настраивают заново. Кнопки врача «Меньше ложных» и «Больше находок» сдвигают выставленный порог на 10 в ту или другую сторону. На Vidicap Touch 1.0 раздел такой же:

Новые модели с платформы

Нейросеть дообучают на новых размеченных кадрах (раздел «Обучение ИИ» на платформе, инструкция «Обучение ИИ на платформе»). Когда новая модель опубликована («Сделать доступным» в «Выпусках для устройств» или «Отправить на Vidicap» в «Обучении ИИ»), Vidicap, подключённый к платформе, узнаёт о ней сам через несколько секунд (агент 1.63.0 и новее): на кнопке «Настройки» появляется подпись «новая модель» и жёлтая точка, а в настройках — раздел «Новые модели с платформы».

У каждой модели — название, версия, статус и цифры проверки на видео, которых сеть не видела:

• чувствительность — какую долю находок модель нашла;
• специфичность — какую долю кадров без находок она оставила без ложных отметок (чем выше, тем реже сеть отвлекает врача);
• ложных в минуту — сколько ложных отметок в минуту осмотра.

Рядом — разница с моделью, которая работает сейчас: зелёным — лучше, красным — хуже.

1. «Скачать» — пакет скачивается с платформы (проверяется контрольная сумма) и ставится рядом с нынешней моделью. На экране ничего не меняется.
2. «Включить» — операционная переходит на новую модель. Прежняя версия остаётся: выберите её в «Модель нейросети», чтобы вернуться.
3. «Работает сейчас» — эта модель уже включена.

Сам Vidicap ничего не ставит и не переключает: решает врач или техник.

Vidicap Touch 1.0: «Скачать» скачивает пакет и передаёт его на Vidicap AI Server; «Модель нейросети» показывает модели, установленные на Vidicap AI Server, и каждая операционная работает со своей выбранной моделью — Vidicap AI Server обслуживает несколько операционных одновременно.

Команды (терминал)

Модели

Модели — отдельные файлы vidicap-endo-model-<имя>-<версия>.zip. Каждая модель выпускается с отчётом о проверке на видео, которых сеть не видела при обучении, и одним из статусов:

• демонстрация — показывает работу цепочки, никогда не для пациентов;
• исследовательская — для исследований по утверждённому протоколу; на экране «не для диагностики»;
• для клиники — только после регистрации как медицинского изделия.

Несколько версий одной модели стоят рядом; «Модель нейросети» в настройках показывает все. Как собирают снимки, размечают, обучают и проверяют модели — в инструкциях «ИИ-эндоскопия: как обучить нейросеть» и «Обучение ИИ на платформе».

Неполадки

← Room systems: lighting, climate, power (add-on module, LogicMachine) AI ultrasound (add-on module) →