Локальный запуск решает две настоящие задачи: переписка не уходит наружу и за ответы никто не выставляет счёт. Платой за это становится видеокарта и качество модели. Разбираем без обещаний, что «пойдёт на любом ноутбуке».
Разводим два разных «локально», которые постоянно путают.
Сама SillyTavern запускается локально всегда — это и есть её устройство: сервер на вашем компьютере, интерфейс в браузере. Для этого нужен обычный компьютер, никаких требований к видеокарте нет.
Локальный запуск модели — совсем другое. Тогда на вашем же компьютере поднимается программа, которая и генерирует ответы, а SillyTavern обращается к ней вместо внешнего провайдера. Вот здесь и появляются требования к железу.
Отсюда типичное недоразумение: человек читает «какое железо нужно для SillyTavern» и пугается требований, которые относятся не к ней, а к модели.
Три параметра, и первый из них решает почти всё.
| Что | На что влияет |
|---|---|
| Объём видеопамяти | Какого размера модель вообще поместится |
| Размер модели | Качество ответов и устойчивость характера |
| Длина контекста | Сколько переписки помнит персонаж |
| Скорость видеокарты | Как быстро печатается ответ |
Четыре честных наблюдения.
И когда проще подключить доступ к модели.
Оправдан, если принципиальна приватность переписки или видеокарта уже есть и простаивает. В этих случаях он действительно даёт то, чего внешний доступ не даёт.
Не оправдан, если видеокарту предстоит покупать ради ролевых чатов: стоимость железа несопоставима со стоимостью доступа к модели, а качество ответов при этом окажется ниже.
Промежуточный вариант, о котором забывают: подключить внешний доступ и оставить локальный запуск на потом. SillyTavern позволяет переключаться между источниками в пару кликов, и персонажи с настройками при этом остаются на месте.
Про локальный запуск.
Для самой программы — обычный компьютер. Требования к видеокарте относятся к локальному запуску модели, а не к интерфейсу.
Программа, которая запускает модель на вашем компьютере и отдаёт ответы. SillyTavern подключается к ней так же, как к внешнему провайдеру.
Сама SillyTavern — да. Локальный запуск модели — практически нет: скорость окажется непригодной для чата.
В приватности — да. В качестве отыгрыша на русском — как правило, заметно хуже.
Доступ к моделям с оплатой российской картой, без VPN и без зарубежного платёжного аккаунта.
Получить доступ к моделям →