Vidicap Assistant voice assistant

Голосовой помощник Vidicap Assistant

Vidicap Assistant — отдельное небольшое устройство в операционной. Оно слушает операционную и по голосу управляет хирургическим светом, записью и фото на Vidicap, отвечает на вопросы о показателях пациента, засекает время. Пример: «Привет, Видикап, свет на семь».

Речь распознаётся на самом ассистенте, без интернета. Звук не записывается, не сохраняется и никуда не передаётся, в том числе на платформу и в облако. Ассистент общается только с Vidicap своей операционной по сети больницы.

Это первая версия: только русский язык. Управление столом и сценарии («подготовь всё для простатэктомии») появятся в следующих версиях.

Без отдельной коробки ассистент может слушать операционную самим Vidicap через любой USB-микрофон: это инженерный прототип, не для работы, см. «Сам Vidicap».

Ассистент умеет одно и то же на обеих ревизиях. Свет работает там, где стоит модуль «Хирургический свет» (или прежний общий «Свет и стол»), показатели пациента — где стоит модуль «Показатели пациента (HL7)».

Из чего собрать

Собрать можно двумя способами: всё в одном корпусе на потолке с питанием по одному сетевому кабелю (рекомендуем, см. «Корпус для 3D-печати») или по частям: микрофон на потолке, Raspberry Pi в шкафу. Ниже — вариант по частям.

Полный список закупки на два комплекта с ценами — у руководителя проекта. Один комплект стоит около 335 $.

Где повесить микрофон. Над операционным столом, на потолке или на штанге, на высоте 2,5–3 м, кольцом вниз, не за светильником. Кабель — по потолку к шкафу, где стоит Raspberry Pi. Колонку поставьте так, чтобы она не смотрела прямо в микрофон.

Корпус для 3D-печати

Весь ассистент в одной «шайбе» Ø150 × 70 мм: Raspberry Pi 5, SSD, микрофонная решётка с кольцом света и динамик. Шайба крепится к потолку над столом тремя шурупами. К ней идёт один сетевой кабель: по нему и сеть, и питание (PoE+). Отдельный блок питания, USB-удлинитель и колонка не нужны.

Файлы для печати: vidicap-assistant-enclosure.zip (4 детали STL и исходник OpenSCAD, в котором можно поменять размеры).

Посмотреть в 3D: страница «Vidicap Assistant в 3D» — модель из этих же файлов, её можно покрутить и посмотреть, как светится кольцо в каждом состоянии. Видеоролик — в разделе «Маркетинг».

Что внутри

Что купить

Плата Waveshare PoE M.2 HAT+ (B), Active Cooler, динамик 50 мм 4 Ом 3 Вт, два проходных keystone (RJ45 Cat6 и USB-A), короткие кабели внутрь (патч-корд 0,25 м, USB-C → USB-A 0,3 м, USB-A папа-папа 0,3 м), резьбовые вставки M2.5 (4 шт.) и M3 (6 шт.), винты M3×8 потай (6 шт.), саморезы 2,5×6 (3 шт.), шурупы с дюбелями 4×30 (3 шт.). Пластик: PETG белый и PETG полупрозрачный. Нужен порт PoE+ (802.3at) на коммутаторе или инжектор PoE+: обычного PoE (802.3af) Raspberry Pi 5 с SSD не хватает.

Перед печатью измерьте платы. Модель рассчитана на решётку XVF3800 диаметром 99 мм и стопку Pi + плата PoE высотой до 36 мм. Если ваши размеры другие, поменяйте числа XVF_D и PI_STACK в начале файла vidicap-assistant-enclosure.scad и выгрузите STL заново в OpenSCAD.

Печать на Bambu Lab H2D

Детали уже повёрнуты так, как их печатать. Откройте STL в Bambu Studio, сопло 0,4 мм, текстурный лист PEI.

Крышка — из полупрозрачного пластика: сквозь неё видно кольцо решётки (кто говорит, слушает ли ассистент). Все детали помещаются на один стол H2D, но крышку лучше печатать отдельно, своим пластиком. PETG выдерживает протирку спиртовыми салфетками.

Сборка

1. Вставки. Паяльником при 220–240 °C вплавьте резьбовые вставки: M2.5 — в четыре стойки основания; M3 — в три выступа на краю основания (сбоку) и в три бобышки у верхнего края корпуса.
2. Raspberry Pi. Поставьте на Pi кулер Active Cooler. Вставьте SSD в плату PoE M.2 HAT+ (B), соедините её с Pi по инструкции Waveshare (разъём PCIe и гребёнка GPIO). Привинтите стопку к основанию стойками из комплекта платы (или винтами M2.5×6). Сетевой разъём Pi — к вырезу для кабеля.
3. Keystone. Вщёлкните проходные разъёмы RJ45 и USB-A в прямоугольные окна корпуса снаружи.
4. Динамик. Приклейте динамик к плоской площадке внутри корпуса нейтральным силиконом или термоклеем, по центру между четырьмя рёбрами, конусом наружу.
5. Решётка. Положите XVF3800 лицом (микрофонами и светодиодами) на крышку изнутри, по центру. Прижмите тремя прижимами на саморезах 2,5×6. Если разъём решётки попадает под прижим, поверните плату.
6. Провода. Динамик — к разъёму динамика на решётке (если его нет — через усилитель PAM8403 от выхода 3,5 мм решётки). Решётка — кабелем USB-C → USB-A в любой USB-порт Pi. Keystone RJ45 — коротким патч-кордом в сетевой разъём Pi. Keystone USB-A — кабелем папа-папа в USB Pi.
7. Закрыть. Наденьте корпус на основание, совместите отверстия и закрутите три винта M3×8 сбоку. Наденьте крышку, закрутите три винта M3×8 спереди.

Звук только через решётку. Динамик подключён к решётке, поэтому подавление эха работает: ассистент не слышит сам себя. В настройках ассистента оставьте "speaker": "XVF3800", как ставит установщик.

Монтаж на потолок

1. Снимите основание с корпуса (три винта сбоку). Внутри останутся только платы, их можно не снимать: шурупы основания доступны рядом с ними.
2. Приложите основание к потолку над столом, разъёмами keystone в сторону, откуда идёт кабель. Просверлите три отверстия по основанию, вставьте дюбели, закрутите шурупы 4×30.
3. Кабель из потолка. Если кабель выходит прямо из потолка над корпусом, выломайте тонкую заглушку выреза в основании и вставьте кабель прямо в Pi. Иначе подключите его к разъёму RJ45 сбоку.
4. Наденьте корпус и закрутите винты.

PoE и проверка после сборки

• Подключите кабель к порту PoE+ (802.3at). Плата PoE даёт Raspberry Pi до 4,5 А; для обычного PoE (802.3af) этого мало, Pi будет перезагружаться под нагрузкой.
• При питании не через USB-C Raspberry Pi 5 ограничивает ток USB-портов. Чтобы решётке с динамиком и педали хватило тока, добавьте строку usb_max_current_enable=1 в файл /boot/firmware/config.txt и перезагрузите Pi.
• Проверка нагрева: через час работы vcgencmd measure_temp должно быть ниже 75 °C, а vcgencmd get_throttled — throttled=0x0. Если Pi греется сильнее, проверьте, что кулер подключён и вентиляционные прорези не закрыты.

Установка на ассистенте

Понадобятся клавиатура и монитор (или SSH) на время установки. Интернет не нужен: всё нужное лежит в файле программы.

1. Запишите на SSD (или карту microSD) Raspberry Pi OS 64-bit (Bookworm) программой Raspberry Pi Imager. Подойдёт и Ubuntu 24.04 для Raspberry Pi. В Imager задайте имя компьютера (например assistant-or2), пользователя и пароль, включите SSH.
2. Подключите микрофон, колонку, педаль и сеть, включите Raspberry Pi.
3. На платформе: «Выпуски для устройств» → «Дополнительные модули» → «Голосовой помощник» → «Скачать программу ассистента». Это файл vidicap-assistant-<версия>-arm64.tar.gz, около 250 МБ (в нём модели речи).
4. Перенесите файл на ассистент (флешка или scp) и выполните:

Установщик ставит программу в /opt/vidicap-assistant, заводит службу vidicap-assistant (запускается сама при включении) и пользователя для неё. Если системы не хватает пакетов libportaudio2, python3-evdev или alsa-utils, установщик скачает их, и тогда интернет нужен.

vidicap-assistant status показывает, привязан ли ассистент, на месте ли модели речи, какие звуковые устройства видны и найдено ли кольцо. Проверить голос и кольцо можно сразу:

Модуль на Vidicap

Модуль один для обеих ревизий.

С экрана, если Vidicap подключён к платформе: Vidicap Touch 1.0 — «Платформа» → «Проверить обновления» → «Доп. модули» → «Голосовой помощник» → «Установить модуль». Vidicap Touch 2.0 — «Настройки» → «Платформа» → «Доп. модули» → то же. Затем перезагрузка.

С флешки на экране Vidicap: положите vidicap-module-assistant-<версия>.zip на флешку и установите его в «Доп. модули» кнопкой «Установить с флешки» (подробно: «Дополнительные модули»).

По SSH: скачайте на платформе vidicap-module-assistant-<версия>.zip и выполните unzip vidicap-module-assistant-<версия>.zip && sudo ./vidicap-module-assistant/install-module.sh, затем перезагрузите компьютер. Установщик откроет порт 7431 в брандмауэре, если тот включён.

После перезагрузки в «Настройках» появится кнопка «Доп. модули» → «Голосовой помощник».

Привязка ассистента к Vidicap

Ассистент слушается только своего Vidicap. Привязка делается один раз, кодом с экрана.

1. На Vidicap: «Настройки» → «Доп. модули» → «Голосовой помощник» → «Привязать ассистент». На экране появятся код из шести цифр и готовая команда. Код действует 10 минут, после пяти неверных попыток перестаёт действовать.
2. На ассистенте выполните команду с экрана: sudo vidicap-assistant pair <адрес Vidicap> <код>.
3. Кольцо на ассистенте вспыхнет зелёным, на экране Vidicap появится «На связи». Служба ассистента перезапустится сама.

Когда ассистент на связи, страница показывает его имя и адрес и список команд. Кнопка «Проверить: кольцо и голос» просит ассистент мигнуть кольцом и сказать «Связь с Видикапом есть». «Отвязать ассистент» стирает ключ на Vidicap; ассистент сразу теряет связь, и его можно привязать заново.

Ключ привязки хранится на Vidicap (~/.local/share/vidicap/assistant) и на ассистенте (/var/lib/vidicap-assistant). Без ключа ассистент к Vidicap не подключится, даже зная код.

Как говорить

Начните с «Привет, Видикап» и сразу скажите команду, или скажите «Привет, Видикап», дождитесь синего кольца и тогда команду. С педалью «Привет, Видикап» не нужно: нажмите и говорите.

На неподдерживаемые светильником команды ассистент так и скажет: «Этот светильник так не умеет». Команды для отдельного купола работают с модулем «Хирургический свет» 2.3.0 и новее: на более старом ассистент попросит его обновить. Где действие может помешать операции (монитор хирурга, сброс таймера, сохранение позиции камеры, климат и «выключи всё» в зале), ассистент сначала спрашивает и ждёт «да» 15 секунд; «нет» или «отмена» — ничего не делать. Если что-то не получилось, он скажет «Извините, что-то пошло не так» и причину.

Стол голосом

По умолчанию стол голосом выключен: ассистент ответит «Стол голосом выключен». Включает его тот, кто настраивает Vidicap: «Настройки» → «Голосовой помощник» → кнопка «Стол голосом: выключен» над списком команд (станет «включён»).

Нужен модуль «Хирургический стол».

1. Скажите «Привет, Видикап, Тренделенбург».
2. Ассистент спросит: «Наклонить стол головой вниз? Скажите „да“». На ответ — 15 секунд.
3. Скажите «Да». Стол едет, пока вы не скажете «Стоп» (без «Привет, Видикап»), но не дольше 10 секунд. «Стол чуть выше» — движение на 2 секунды.

Если стол спит, ассистент разбудит его и попросит повторить команду через пять секунд.

Что показывает кольцо и экран

На экране Vidicap то же самое видно в значке микрофона (в верхней строке) и в полосе внизу. После выполненной команды в полосе есть кнопка «Отменить».

Выключить и включить помощника

Помощника можно выключить на время, например когда в зале много разговоров не по делу, и включить снова. Нужен модуль «Голосовой помощник» 1.9.0 и новее.

1. В настройках. «Настройки» → «Голосовой помощник», кнопка «Помощник: включён» вверху слева. Нажмите, она станет «Помощник: выключен». Ещё одно нажатие включает помощника снова.
2. Из «Пульта». Потяните верхнюю строку вниз (или нажмите «•••»). На плитке «Ассистент» кнопка «Выключить» или «Включить».

Что происходит, пока помощник выключен:

• никто не слушает операционную, команды не выполняются, «Привет, Видикап» не срабатывает;
• «Сам Vidicap»: распознавание остановлено, микрофон свободен, трансляция пользуется им как обычно;
• отдельный ассистент остаётся привязанным, но Vidicap не принимает его команды (на экране он «не на связи»);
• в верхней строке серый перечёркнутый микрофон, на плитке «Ассистент» в «Пульте» — «выключен»;
• после перезагрузки Vidicap помощник остаётся выключенным, пока его не включат.

Голосом помощника не выключают: включить его снова голосом было бы нельзя.

Настройки ассистента

Файл /etc/vidicap-assistant/config.json на ассистенте. После правки: sudo systemctl restart vidicap-assistant.

Педаль. Педаль работает как клавиатура с одной клавишей. Узнайте, какую клавишу она присылает: sudo apt install evtest, затем sudo evtest, выберите педаль и нажмите её. В строке появится имя вроде KEY_B. Впишите его в pedal_key и перезапустите службу.

«Сам Vidicap»: без отдельного ассистента (инженерный прототип)

Инженерный прототип, не для работы. Для проверки идеи «мини-версии»: ассистент слушает операционную самим Vidicap, через USB-микрофон, без Raspberry Pi и кольца. Распознавание то же, что в коробке, без интернета; звук не записывается и никуда не уходит. Вместо кольца состояния показывает окно посреди экрана. Нажатие на окно закрывает его и останавливает прослушивание; если ассистент задал вопрос («Таймер: на сколько?») и ответа нет, окно закрывается само через 6 секунд.

Нужно: доп. модуль «Голосовой помощник» 1.1.0 и новее (в нём уже есть распознавание речи, около 190 МБ), программа Touch 2.0 2.58.0 или Touch 1.0 1.52.0 и новее (чтобы трансляция брала выбранный микрофон), агент «Платформа» 1.52.0 (скачивает модуль такого размера). Установка одной кнопкой — модуль 1.2.0, Touch 2.0 2.59.0, агент 1.53.0 на Touch 1.0. Пока агент старше, платформа показывает модуль без кнопки «Установить»: сначала обновите агент («Проверить обновления» в той же панели).

Микрофон. Лучше всего USB-спикерфон для переговорных (Jabra Speak 510/710, Anker PowerConf S3, EMEET Luna): в нём микрофон и подавление эха и шума, ставится на стойку у стола, слышит на 3–4 м. Подойдёт и обычный USB-микрофон, но хуже в шуме. Звуковая карта Vidicap (вход «PCH») тоже есть в списке.

Установить с экрана одной кнопкой

Терминал не нужен. Всё делается на экране Vidicap, с платформы или с флешки (если Vidicap не подключён к платформе, см. «Дополнительные модули»).

1. Подключите USB-микрофон к Vidicap (можно и потом: Vidicap дождётся его сам).
2. Vidicap Touch 2.0: «Настройки» → «Платформа» → «Доп. модули» → «Голосовой помощник» → «Установить модуль». В окне «Кто будет слушать операционную?» оставьте «Сам Vidicap» и нажмите «Установить и включить». Vidicap Touch 1.0: кнопка «Платформа» → «Доп. модули» → «Установить: слушает сам Vidicap» и ещё раз для подтверждения.
3. Модуль загружается, под ним видно «Загрузка модуля: 74 из 188 МБ». Можно уйти с этого экрана.
4. Когда модуль установлен, Vidicap перезагружается сам через 15 секунд. Во время записи или трансляции он ждёт, пока они закончатся. «Перезагрузить сейчас» — не ждать, «Позже» — перезагрузить потом самому («Перезагрузить устройство»).
5. После перезагрузки модуль сам включает «Сам Vidicap» и находит USB-микрофон. Трансляция остаётся со своим микрофоном. На экране окно проверки: скажите громко «Привет, Видикап, как дела?». Полоса показывает, как ассистент вас слышит.
6. Услышал — окно «Всё работает», нажмите «Готово». Если ответил «не разобрал» — скажите ещё раз. «Другой микрофон ›» перебирает микрофоны Vidicap.

Если USB-микрофона нет, окно просит его подключить и подхватывает сам, как только он появится. «Взять вход звуковой карты Vidicap» — слушать вход звуковой карты (тот же, что у трансляции; конфликта не будет, см. ниже). «Позже» закрывает окно: всё настраивается потом в «Настройки» → «Голосовой помощник».

Выбор «Отдельная коробка» ставит модуль для коробки Vidicap Assistant на потолке: после перезапуска привяжите её кодом, см. «Привязка ассистента к Vidicap».

Включить или поменять вручную

1. «Настройки» → «Голосовой помощник (доп. модуль)» → «Кто слушает операционную» → «Сам Vidicap». Появится жёлтая надпись «ИНЖЕНЕРНЫЙ ПРОТОТИП, НЕ ДЛЯ РАБОТЫ».
2. «Микрофон ассистента»: стрелками ‹ › выберите микрофон. Говорите: зелёная полоса под ним показывает, как его слышит ассистент. Строка сверху: «Слушает: <микрофон>». Усиление, порог шума и чувствительность — в «Настройки микрофона».
3. «Микрофон трансляции»: какой микрофон идёт в трансляцию (или «Без звука»). Новый выбор действует со следующего запуска трансляции.
4. «Голос ассистента»: «Динамик Vidicap» (говорит через колонки Vidicap) или «Без голоса» (только окно на экране). Голос есть на обеих ревизиях, Touch 1.0 и Touch 2.0. Женский или мужской голос выбирается в «Настройки динамика» → «Голос».
5. «Проверить: экран и голос» — зелёное окно «Проверка: связь есть» и ответ голосом.

Справа — все команды, которые знает ассистент (листаются пальцем). Они те же, что у коробки, см. «Как говорить».

Настройки микрофона

Если ассистент плохо слышит команды или срабатывает сам от шума, настройте микрофон. Под зелёной полосой нажмите «Настройки микрофона: усиление, порог шума, чувствительность ›». Всё меняется сразу, без перезагрузки; звук никуда не записывается. Работает на Touch 1.0 и Touch 2.0 в режиме «Сам Vidicap» (для отдельной коробки — позже).

1. «Уровень сейчас». Говорите обычным голосом: полоса должна доходить примерно до середины. Белая отметка — порог шума.
2. «Усиление». «Авто» само подстраивает усиление под голос. Кнопки − и + выключают «Авто» и задают усиление вручную: ×0,5, ×0,75, ×1, ×1,5, ×2, ×3, ×4. Тихий микрофон — прибавьте, полоса упирается в конец — убавьте.
3. «Порог шума» (0–10). Звук тише белой отметки ассистент не слушает. Если ассистент просыпается от мониторов, вентиляции или разговоров, поднимите порог до 2–4. Отметка должна быть выше полосы в тишине и ниже полосы, когда вы говорите. 0 — выключен.
4. «Чувствительность к «Привет, Видикап»». «Низкая» — фразу надо сказать чётко, ложных срабатываний меньше всего. «Обычная» — как раньше. «Высокая» — ассистент узнаёт фразу, даже если расслышал её неточно и без «Привет»; ложных срабатываний может быть больше.
5. «Ждать команду» (4, 6 или 10 с) — сколько ассистент ждёт команду после «Привет, Видикап».
6. «Конец команды» (0,8, 1,2 или 2 с) — пауза, после которой ассистент считает команду законченной. Если он перебивает на середине фразы, выберите «2 с · медленно».
7. «Проверить фразу». Скажите фразу, например «Привет, Видикап, свет на семь». Ассистент покажет, что услышал, узнал ли «Привет, Видикап» и есть ли в фразе команда. Команда при этом не выполняется. Зелёное окно — всё хорошо. Оранжевое — подсказка, что поменять. «Сказать ещё раз» — проверить снова.
8. «Сбросить как было» возвращает настройки по умолчанию (×1, порог 0, «Обычная», 6 с, 1,2 с). «Готово» закрывает окно.

Настройки хранятся в ~/.local/share/vidicap/assistant/assistant.json (раздел mic) пользователя программы и сохраняются после перезагрузки.

Один микрофон для ассистента и трансляции

Микрофон можно выбрать один и тот же для обоих — конфликта не будет. Обычно микрофон открывает только одна программа: вторая получила бы «занято». Поэтому ассистент всегда слушает микрофон в общем режиме (ALSA dsnoop), а если трансляция берёт тот же микрофон, она тоже читает его в общем режиме. Оба слышат один звук одновременно и не мешают друг другу. Когда ассистент выключен или выбран другой микрофон, трансляция открывает свой микрофон как раньше.

Выбор хранится в ~/.local/share/vidicap/microphones.json пользователя программы и читается трансляцией обеих ревизий.

Окно на экране

Окно закрывается само. Тревога монитора пациента показывается поверх него. Пока ассистент говорит, он не слушает (у обычного микрофона нет подавления эха, иначе он слышал бы сам себя): дождитесь, пока он договорит, или выберите «Без голоса».

Вернуть коробку

«Кто слушает операционную» → «Отдельный ассистент». Распознавание на Vidicap останавливается, трансляция возвращается к своему микрофону, ассистент-коробку нужно привязать заново кодом.

Неполадки

Обновить ассистент: скачайте новую версию программы на платформе и выполните те же две команды установки. Настройки и привязка сохраняются. Удалить: sudo ./vidicap-assistant/deploy/install.sh --remove.

← Web access: the platform on the Vidicap itself (add-on module) Voice link with the operating room →