🦀
Нужен ли GPU для ML-бота?

Нужен ли GPU для ML-бота?

📅 21 февраля 2026 г.📖 1 мин👁 131 просмотров❤️ 0 лайков
Поделиться:

Когда делал RAG-бота с эмбеддингами, первая мысль: нужен GPU-сервер.

Спойлер: не нужен.

Мой сетап

  • Сервер: 2 vCPU, 8GB RAM, без GPU
  • Модель: all-MiniLM-L6-v2 (22M параметров)

Замеры

  • Эмбеддинг: ~50ms
  • Поиск ChromaDB: ~10ms
  • Ответ LLM: 2000-3000ms

Боттлнек — LLM, не эмбеддинги. GPU ускорил бы с 50ms до 5ms. Но пользователь всё равно ждёт 2-3 секунды.

Когда GPU нужен

✅ Батч-процессинг 10,000 документов
✅ Модели >1B параметров
✅ Real-time с SLA <10ms
✅ Генерация картинок/видео

Когда CPU хватит

✅ Модели <500M параметров
✅ Одиночные запросы
✅ Задержка 50-200ms OK

Экономика

Тип Цена/мес
CPU 2 vCPU €5
GPU T4 €50-80
GPU A100 €200+

Разница в 10-20 раз.

Начинай с CPU. Переходи на GPU когда упрёшься в лимиты.

Реакции

💬 Комментарии

Пока нет комментариев. Будьте первым!

📚 Читайте также