AI training on the platform: doctors, experts, administrators

Обучение ИИ на платформе: врачи, эксперты, администраторы

Раздел «Обучение ИИ» на vidicap.cloud — это место, где врачи готовят материал для нейросетей Vidicap: загружают свои видео и фото (не обязательно записанные на Vidicap), выбирают кадры, обводят находки и отправляют случай эксперту. Когда одобренных примеров становится достаточно, платформа предлагает «Собрать тестовую модель»; готовая модель одной кнопкой отправляется на Vidicap, и врачи в операционной видят её в настройках модуля как новую модель с цифрами проверки.

Направлений может быть сколько угодно: «Гибкая эндоскопия: полипы, новообразования, кровотечение» уже есть, новое (например, «УЗИ печени: изменение текстуры») администратор создаёт за минуту.

Данные пациента не покидают компьютер врача. Видео и фото открываются в браузере врача и на платформу не загружаются. На платформу уходят только кадры, которые врач сам взял: обрезанные по изображению (поля аппарата с именем и датой — снаружи), с закрашенными участками и заново сохранённые без служебных данных (EXIF, имя файла, время съёмки). Случай называется только номером. Перед каждой отправкой врач подтверждает галкой, что на кадре нет имени, даты рождения, номера истории и лица пациента. Использовать можно только материал, который клиника врача разрешает использовать для обучения нейросетей.

Врачу: как подготовить случаи

1. Учётная запись по приглашению

Администратор присылает вам ссылку-приглашение (она действует 14 дней, если не сказано иное). Откройте её, впишите фамилию и имя, место работы, специальность, придумайте логин и пароль, отметьте правило про данные пациента и нажмите «Создать учётную запись».

Это отдельный вид учётной записи: вы видите только раздел «Обучение ИИ» и те направления, в которые вас пригласили. Ни трансляций, ни устройств, ни данных больниц такая учётная запись не видит. Если у вас уже есть учётная запись на платформе, войдите в неё и откройте ссылку — к ней добавится раздел «Обучение ИИ».

После входа откроется направление, в которое вас пригласили. В следующий раз главное меню покажет плитку «Обучение ИИ».

2. Направление и новый случай

На странице направления — что ищет нейросеть, ваши случаи и полосы «Сколько данных»: сколько одобренных примеров каждого класса уже набрано и сколько нужно.

Случай — одно обследование одного пациента. Нажмите «+ Новый случай». Случаю дают номер («Случай 9»), имени пациента нигде нет. Над кадрами можно заполнить поля случая (отдел, режим света, видеопроцессор, аппарат УЗИ — набор задаёт администратор) и нажать «Сохранить»: так видно, на каком материале училась сеть.

3. Видео: открыть, обрезать, закрасить

Нажмите «Выбрать файлы» (или перетащите файл в рамку) и выберите видео с вашего компьютера: MP4, WebM, MOV — всё, что открывает ваш браузер. Файл не загружается: он открывается прямо в браузере.

Шаг 1. Область изображения. Нажмите «Найти автоматически»: платформа найдёт освещённую область эндоскопа (или сектор УЗИ) и обведёт её оранжевой рамкой. Всё снаружи рамки — поля аппарата с именем пациента, датой, настройками — на кадр не попадёт. Проверьте рамку глазами; если она не та, выберите «Рамка вручную» и обведите изображение мышью или пальцем.

Если текст есть внутри изображения (имя поверх картинки, номер), нажмите «Закрасить участок» и обведите его: участок станет чёрным на всех кадрах этого файла. Закраску можно убрать кнопкой «Убрать закраску ×».

Под видео — кнопки перемотки: −10 с, −1 с, кадр назад, пауза/пуск, кадр вперёд, +1 с, +10 с, и ползунок времени. С клавиатуры: пробел — пауза, «,» и «.» — кадр назад и вперёд.

Шаг 2. Взять кадры.

1. Отметьте галку «Я проверил(а): на кадре нет имени, даты рождения, номера истории и лица пациента». Без неё кадры не отправятся.
2. «Взять этот кадр» — берёт кадр, который сейчас на экране.
3. Отрезок — для находки, которая видна несколько секунд: остановите видео там, где она появилась, нажмите «Начало», перемотайте туда, где она ушла, нажмите «Конец», выберите частоту (1, 2, 5 кадров в секунду) и нажмите «Взять отрезок». Для «нормы» достаточно 1 кадра в секунду; для находок — 2–5, чтобы сеть видела её под разными углами.

Кадры появляются внизу, в «Кадры случая», с подписью «видео 1 · 0:02.5» (какой файл и где в нём). Точно такой же кадр второй раз не добавляется.

4. Фото

Фото (JPEG, PNG, снимки с УЗИ-аппарата, эндоскопические фото) выбираются так же, можно сразу несколько. Рамка и закраска задаются один раз для всех фото. Листайте фото кнопками «Предыдущее фото» / «Следующее фото», берите по одному или все сразу кнопкой «Взять все фото».

5. Разметка

Нажмите «Размечать кадры →». Слева — лента кадров, в центре — кадр, справа — классы и находки.

Направление «обвести находки рамкой» (эндоскопия):

1. Выберите класс справа (или клавиши 1–9): полип, новообразование, кровотечение, язва.
2. Обведите находку мышью или пальцем — появится рамка и находка «1 · Полип».
3. Перейдите на следующий кадр (→) и обведите то же образование: пока находка выбрана справа, новая рамка относится к ней. Так сеть узнаёт, что это одно образование на многих кадрах (трек), и проверка считает «найденные находки», а не рамки. Для другого образования нажмите «+ новая находка».
4. «Рамки с прошлого кадра» (C) копирует рамки, если камера почти не сдвинулась; затем подвиньте их. Рамку можно потянуть (сдвинуть) или потянуть за угол (размер); Delete — удалить выбранную рамку.
5. У выбранной находки заполните признаки (у полипа — Парижская классификация, размер в мм, гистология, если известна). «Удалить находку со всех кадров» убирает её целиком.

6. Кадр без находок отметьте «Норма (находок нет)» (N). Такие кадры не менее важны: на них сеть учится не ставить ложных отметок (это и есть специфичность).
7. Кадр, который не нужен (размыт, не то), — «Убрать кадр».

Правила рамки — как в методике «ИИ-эндоскопия: как обучить нейросеть»: рамка плотно по краю образования, всё образование внутри; если видна только часть — рамка по видимой части; кровотечение — рамка по источнику и свежей крови, не по всему залитому полю.

Всё сохраняется само («Сохранено» под кадром). Зелёная точка на кадре ленты — кадр размечен, синяя — «норма».

Направление «оценить изображение целиком» (например, УЗИ печени): вместо рамок справа — «Что на изображении». Нажмите класс (или 1–9): стеатоз, фиброз, цирроз; можно несколько. Если изменений нет — «Норма» (N).

На телефоне и планшете страница та же: кадр сверху, классы и находки ниже, лента кадров внизу; рамку рисуют пальцем.

6. Отправить на проверку

Когда все кадры размечены, вернитесь к случаю и нажмите «Отправить на проверку эксперту». Случай станет «на проверке», менять его нельзя. Эксперт одобрит его или вернёт с замечанием: тогда исправьте и отправьте снова. Только одобренные случаи идут в обучение.

Удалить случай со всеми кадрами («Удалить случай») можно, пока он у вас: в работе или возвращён на доработку.

Эксперту: проверка разметки

Эксперт — опытный врач, которого администратор пригласил с ролью «эксперт (проверяет разметку)». На странице направления у него два дополнительных списка: «На проверке» (случаи, ждущие проверки) и «Случаи врачей» (остальные случаи всех врачей направления).

1. Откройте случай из «На проверке» и нажмите «Размечать кадры →»: пройдите кадры стрелками. Эксперт может сам поправить рамку или класс.
2. Проверьте: каждая находка обведена на каждом кадре, где видна; класс верный; рамки плотные; «норма» действительно без находок; на кадрах нет текста и лиц.
3. «Одобрить» — случай идёт в обучение. «Вернуть на доработку» — напишите замечание врачу (без данных пациента) в поле рядом; врач увидит его в случае.

Администратор может вернуть одобренный случай на проверку кнопкой «Снова на проверку».

Администратору: направления и приглашения

Главное меню администратора показывает плитку «Обучение ИИ» рядом с остальными. В разделе — все направления с полосами готовности, кнопки «Новое направление» и «Участники и приглашения».

Новое направление (пример: УЗИ печени)

«Обучение ИИ» → «Новое направление»:

1. Название — что ищем, например «УЗИ печени: изменение текстуры». По нему платформа делает адрес страницы (/ai/uzi-pecheni-izmenenie-tekstury/) и имя модели.
2. Что ищет нейросеть — пара строк для врачей.
3. Задача: «Обвести находки рамкой» (полипы, кисты, узлы — где на изображении) или «Оценить изображение целиком» (норма / стеатоз / фиброз — что на снимке).
4. Материал: «Видео и фото» или «Только фото».
5. Классы — «+ класс», название и цвет. Для УЗИ печени: Стеатоз, Фиброз, Цирроз.
6. Как называется «без находок» — «Норма».
7. Поля случая — по строке на поле: «Аппарат: Samsung, GE, Philips, Mindray, другой». Не добавляйте полей для имени, даты рождения или номера истории.
8. Нужно примеров каждого класса и нужно одобренных случаев — когда набрано столько, платформа предложит собрать тестовую модель. Для первой проверки идеи хватает 40–60 примеров класса и 10 случаев; для клиники нужны тысячи кадров и сотни пациентов (см. методику).
9. Доп. модуль Vidicap — где модель будет работать (для эндоскопии or_endo). Пусто — модуля пока нет: модель можно собрать и проверить, но кнопки «Отправить на Vidicap» не будет.
10. Открыто для разметки — снимите, чтобы временно закрыть новые случаи.

Пригласить врача

«Обучение ИИ» → «Участники и приглашения» → «Пригласить врача»: выберите направление, роль (врач-разметчик или эксперт), для кого (видно только администраторам), сколько дней действует ссылка → «Создать ссылку». Ссылка появится вверху: нажмите «Копировать» и отправьте врачу почтой или в мессенджер. Одна ссылка — одна учётная запись.

В списке «Врачи» — кто участвует, сколько случаев и сколько одобрено. Там же меняют роль, добавляют направления (галки) и «Заблокировать» (вход закрыт, случаи остаются). Неиспользованное приглашение можно «Отозвать».

Тестовая модель

Когда каждая полоса «Сколько данных» дошла до нужного числа, на странице направления появляется зелёная плашка «Данных достаточно для тестовой модели» и кнопка «Собрать тестовую модель». (Раньше можно нажать «Собрать тестовую модель сейчас» — модель будет слабее.)

1. Нажмите кнопку. В «Тестовые модели» появится строка с новой версией (0.1.0, 0.2.0 …) — «в очереди».
2. Компьютер обучения (см. «Технику») заберёт задание: «обучается», в «Журнал» идут эпохи обучения.
3. Через некоторое время — «готова» с цифрами проверки на кадрах, которых сеть не видела: чувствительность (какую долю находок нашла), специфичность (какую долю кадров без находок оставила без ложных отметок), ложных в минуту. Для «оценить целиком» — точность, чувствительность и специфичность по классам. Если «не удалась» — причина в «Журнале».

4. «Отправить на Vidicap» — модель становится доступна устройствам с этим модулем. «Снять» — убрать её обратно. «Скачать» — файл модели для установки с флешки.

Тестовая модель всегда исследовательская: на экране Vidicap она помечена «ИССЛЕДОВАТЕЛЬСКАЯ ВЕРСИЯ · не для диагностики». Модель «для клиники» выпускается только после независимой проверки и регистрации как медицинского изделия (методика, разделы 9–11).

«Скачать обучающий набор (ZIP)» — одобренные кадры и разметка в формате инструментов обучения (dataset.json + images/), если модель обучают вручную.

Технику: компьютер обучения, модели и модули

Компьютер обучения

Тестовые модели собирает компьютер с видеокартой NVIDIA (12–24 ГБ памяти; на процессоре тоже работает, но очень медленно) — в больнице или у нас. Платформа сама не обучает сети: компьютер обучения берёт задания по зашифрованному каналу, скачивает одобренный набор, обучает, проверяет и присылает пакет модели. Набор удаляется с компьютера после каждой сборки.

1. На платформе: «Участники и приглашения» → «Компьютеры обучения» → название (например, «Сервер обучения 1») → «Добавить». Платформа один раз покажет ключ вида vw_… — скопируйте его.
2. На компьютере (Ubuntu 22.04/24.04, драйвер NVIDIA и CUDA):

git clone https://github.com/Nikitkam/Vidicap_OR.git && cd Vidicap_OR/modules/or_endo
python3 -m venv ~/vidicap-train && . ~/vidicap-train/bin/activate
pip install torch torchvision --index-url https://download.pytorch.org/whl/cu124
pip install -r training/requirements.txt
python3 training/worker.py --server https://vidicap.cloud --token vw_…

3. Компьютер спрашивает задания раз в минуту. В «Компьютеры обучения» видно «на связи» и когда. Проверить один раз и выйти: --once. Ключ можно хранить в переменной VIDICAP_TRAIN_TOKEN.
4. Чтобы работал постоянно — служба systemd с той же командой (Restart=always).
5. «Отключить» на платформе — ключ перестаёт действовать сразу.

Направления «обвести рамкой» обучаются детектором (Faster R-CNN MobileNetV3, train.py), «оценить целиком» — классификатором (MobileNetV3, train_cls.py); оба экспортируются в ONNX, пороги выбираются на части val, проверка — на части test. Подробно — в «ИИ-эндоскопия: как обучить нейросеть».

Новая модель на Vidicap: как это видит врач

Vidicap, подключённый к платформе, сам узнаёт об опубликованных моделях своего модуля. В «ИИ-эндоскопия» на кнопке «Настройки» появляется подпись «новая модель» и жёлтая точка. В настройках — раздел «Новые модели с платформы»: название, версия, статус и цифры проверки — чувствительность, специфичность, ложных в минуту — с разницей против модели, которая работает сейчас (зелёным — лучше, красным — хуже).

1. «Скачать» — пакет скачивается с платформы (проверяется контрольная сумма) и ставится рядом с нынешней моделью. На экране ничего не меняется.
2. «Включить» — операционная переходит на новую модель. Прежняя остаётся установленной: выберите её в «Модель нейросети» — и она снова работает.
3. «Работает сейчас» — эта модель уже включена.

Ничего не ставится и не включается само: решает врач или техник на месте.

Vidicap Touch 1.0: нейросеть работает на Vidicap AI Server, поэтому «Скачать» скачивает пакет на Vidicap и сразу передаёт его на Vidicap AI Server по зашифрованному каналу (с проверкой контрольной суммы); «Модель нейросети» показывает модели, установленные на Vidicap AI Server. Vidicap AI Server обслуживает несколько операционных одновременно, и каждая работает со своей выбранной моделью.

Без платформы модель ставят с флешки: «Скачать» у тестовой модели на платформе (или файл от команды проекта) → «Настройки» → «Установить с флешки», или sudo vidicap-endo model-install файл.zip. Из терминала: vidicap-endo updates — что предлагает платформа, sudo vidicap-endo update-get имя@версия — скачать.

Техник ставит модули и обновления

Техник больницы (пользователь, которому администратор больницы дал управление точками) видит на платформе страницу «Выпуски для устройств»: все версии программы, доп. модули (свет, стол, HL7, маршрутизация, ИИ-эндоскопия, голосовой помощник) и модели, а также Vidicap своих точек и их версии. На странице точки он предлагает устройству обновление, скачивает файлы для флешки и ставит модули и модели на Vidicap: Touch 2.0 — «Настройки» → «Платформа» → «Доп. модули», Touch 1.0 — «Платформа» → «Доп. модули» (инструкция «Дополнительные модули»); устанавливает сам Vidicap после подтверждения на экране. Загружают и публикуют новые выпуски только администраторы платформы.

Неполадки

← AI endoscopy: how to train the network Web access: the platform on the Vidicap itself (add-on module) →