Имеем офис, удаленный объект - на нем видеорегистратор, с видеокамерами.

Сделали канал с этим объектом из офиса.

В офисе 5 человек хотят в режиме реального времени смотреть картинку с камер на объекте.

Подключаем одного - все ОК, все пять разом - канал между офисом и объектом перегружается и у всех перестает показывать.

Есть ли какой-то кэширующий сервер, который можно установить в офисе чтобы все эти пятеро "смотрели" с него, а он забирал бы видео с объекта один раз?

Есть
Поднять надо в офисе
Чтобы тянул все камеры с регика и транслировал желающим

(1) Есть конкретные модели как серверов, так и ПО?

Будет по сути очередная вариация
https://stevethemoose.blogspot.com/2021/07/converting-rtsp-to-mjpeg-stream-on.html

(2) Из готового вроде Трассир
А так все сами собирают из говна и палок ffmpeg и вариаций mjpg-streamer from rtsp

(4)+ Даже я такое делал аля видеодверь
Из usb веб-камеры, апельсинки (Orange Pi) и набора открытого софта
Веб-камера отдавала поток в один канал, апельсинка его получала и транслировала на сколько угодно получателей им в браузеры