# Обработка записей BigBlueButton через CUPS как сервер очереди и балансировщик нагрузки

## Формулировка задачи

В часы пиковой нагрузки идет одновременно много (допустим, 50) вебинаров на нескольких серверах BigBlueButton.

Каждый сервер имеет определенное количество ресурсов для проведения вебинара (память и процессор), но не имеет ресурсов — дискового пространства — для хранения записей. Также нецелесообразно хранить разные записи на разных серверах.

Во время пиковой нагрузки нельзя занять ресурсы сервера конвертированием записей, однако записи нужны в готовом для использования виде как можно скорее.

## Концепция решения

Выносим обработку записей на отдельные сервер(-ы).

Прошел вебинар — перекачали исходники записи на этот специальный сервер и конвертировали их. Результат конвертации положили на специальный сервер, обслуживающий записи.

Для масштабирования может потребоваться несколько обрабатывающих записи серверов.

## Реализация решения

CUPS многим известен как сервер печати в UNIX-подобных операционных системах, однако его можно использовать как сервер очереди, что мы и делаем.

Вместо принтера у нас обработчик записей, вместо задания печати ­— исходники записи.

CUPS имеет встроенный функционал, так сказать, кластеризации: может сам распределять задания печати между свободными принтерами, чем мы воспользуемся для распределения заданий обработки записей между несколькими серверами.

Разделяем весь BigBlueButton на следующие сущности:

1. Модуль проведения вебинаров
1. Модуль конвертирования записей
1. Модуль хранения записей

Количество каждой сущности может машстабироваться горизонтально.

Существует и работает центральный сервер CUPS, а также запущен CUPS на каждом модуле.

Инструменты масштабирования и балансировки нагрузки:

1. По одному принтеру на поток выполнения задачи (пока принтер занят, занят и поток)
1. Возможность включения и выключения принтера в CUPS

В веб-интерфейсе центрального CUPS видна картина в целом.

### Процесс обработки

#### На сервере печати

##### Для сбора исходников записей

1. Создается класс (группа) принтеров для сбора исходников записей
1. Сетевой принтер с обработчика записей добавляется в этот центральный CUPS (`ipps://ip-адрес-обработчика-записей:631/printer-name`)

##### Для конвертирования записей

(пока не реализовано)

1. Каждый принтер типа `bbb-build-recording` (по одному принтеру с каждого обработчика записей) добавляется в этот центральный CUPS (`ipps://ip-адрес-обработчика-записей:631/printer-name`)

##### Для отправки записей в хранилище

(пока не реализовано)

1. Каждый принтер типа `bbb-store` (по одному принтеру с каждого обработчика записей) добавляется в этот центральный CUPS (`ipps://ip-адрес-обработчика-записей:631/printer-name`)

#### На сервере проведения вебинаров:

1. Установлен CUPS, добавлен принтер с сервера печати, корень класса принтеров
1. Завершился вебинар
1. BigBlueButton собрал артефакты записи в `/var/bigbluebutton/recording/raw/$meeting_id`
1. BigBlueButton запускает скрипты в `/usr/local/bigbluebutton/core/scripts/post_archive`, в т.ч. наш `20-cups-bbb-copy-raw.rb` (`post-archive_cups-bbb-copy-raw.rb`)
1. Этот скрипт запаковывает каталог `/var/bigbluebutton/recording/raw/$meeting_id` в tar-архив и отправляет на "печать" в CUPS на принтер типа `bbb-copy-raw` (сервер CUPS, с которого "расшарен" принтер, может находиться в другом месте физически и с точки зрения сети, будет выполнена передача потока по сети, а сам сервер передаст полученное задание печати на непосредственно обработчик записи, на котором тоже запущен CUPS)

#### На обработчике записей

##### Прием исходников записей

1. Установлен CUPS
1. Бекенд CUPS `cups-backend-copy-raw.sh` устанавливается в `/usr/lib/cups/backends/bbb-copy-raw`, с правами 0700, чтобы CUPS запускал его от пользователя `root`, а не `lp`
1. Создан принтер типа `bbb-copy-raw` (и добавлен на центральном сервере печати в класс/группу), PPD raw queue, URI принтера имеет вид `bbb-copy-raw://local/var/bigbluebutton/recording/raw`, что означает, что полученные исходники записей будут складываться в `/var/bigbluebutton/recording/raw`
1. CUPS получает задание печати с центрального сервера CUPS
1. Принтер распаковывает tar-архив в нужную директорию, тем самым копируя его содержимое

##### Обработка записей

(пока не реализовано)

1. Бекенд CUPS `cups-backend-build-recording.sh` устанавливается в `/usr/lib/cups/backends/bbb-build-recording`, с правами 0700, чтобы CUPS запускал его от пользователя `root`, а не `lp`
1. Создан принтер(-ы) типа `bbb-build-recording` (и добавлен на центральном сервере печати). Один поток обрбаотки записей — один принтер.
1. На центральный CUPS отправляется задание сборки записи (передать достаточно только ID записи в теле или названии задания), но в качестве принтера указывается принтер типа `bbb-build-recording` с этого узла, что позволяет и запустить задание сборки здесь же, и отразить его в центральном сервере
1. Изнутри CUPS-бекенда `bbb-build-recording` запускается конвертирование записи, задание считается выполненным только по окончанию конвертирования

##### Отправка записей в хранилище

(пока не реализовано)

1. Бекенд CUPS `cups-backend-store.sh` устанавливается в `/usr/lib/cups/backends/bbb-store`, с правами 0700, чтобы CUPS запускал его от пользователя `root`, а не `lp`
1. Создан принтер типа `bbb-store` (и добавлен на центральном сервере печати)
1. На центральный CUPS отправляется задание архивации записи (передать достаточно только ID записи в теле или названии задания), но в качестве принтера указывается принтер типа `bbb-record` с этого узла, что позволяет и запустить задание сборки здесь же, и отразить его в центральном сервере
1. Изнутри CUPS-бекенда `bbb-record` выполняется перемещение результата сборки записи (`/var/bigbluebutton/published/presentation/$meeting_id`) на сервер, хранящий записи, через `mv`/`cp`/`rsync && rm`. Задание печати считается выполненным по окончанию перемещения.