Сначала определите режим: локальное вычисление или облачная модель через сервис. Это меняет маршрут данных и обязанности по ресурсам. Один установленный интерфейс не доказывает, что все вычисление происходит на вашем сервере.

RAM, VRAM и параллельность

FAQ Ollama, проверенный 7 октября 2026 года, описывает загрузку в CPU, GPU или частично в оба вида памяти. Столбец Processor в ollama ps помогает увидеть фактическое размещение уже загруженной модели. Здесь такой запуск не выполнялся.

Документ также связывает параллельные запросы и размер контекста с расходом памяти. Поэтому нельзя выбрать тариф только по размеру файла весов. Число пользователей, контекст и одновременно загруженные модели рассматриваются вместе, без универсального минимума RAM для любого LLM.

РесурсЧто он должен покрывать
ДискВеса и другие сохраненные данные
RAMПроцесс и вычисление по выбранному режиму
VRAMПоддерживаемое размещение на GPU
КонтекстПамять текущих запросов
ПараллельностьОдновременную работу и очередь

Локальный API не готовый публичный сервис

По умолчанию Ollama слушает 127.0.0.1 на порту 11434. Изменение адреса прослушивания расширяет доступ, но само по себе не создает авторизацию и ограничения пользователей. Не копируйте пример сетевого открытия в production без согласованной схемы защиты.

Нужны разрешенные клиенты, учет запросов и пределы ресурсов. Не публикуйте необработанный API только ради того, чтобы к нему подключилась страница сайта. Здесь порты, firewall, прокси и учетные данные не менялись.

Локальные и облачные возможности разделяются

FAQ различает локальное использование и Ollama Cloud, а также описывает local-only режим. Наличие Ollama в названии услуги не подтверждает маршрут каждого запроса. Для конфиденциальных данных заранее определите, какие обращения уходят во внешние сервисы и кто разрешил передачу.

Мы не скачивали веса, не создавали аккаунты и не запускали модели. Нет собственных замеров скорости генерации, расхода памяти или рейтинга GPU-серверов. Параметры и цена выбранного предложения неизвестны.

Перед переносом получите поддержку нужного устройства и согласованный план проверки на своих разрешенных данных. Для агентного приложения модель лишь часть системы; диск NVMe/SSD не заменяет RAM или VRAM. Фиксируйте выбранные модель, режим, контекст и параллельность до сравнения ресурсов.