Нужен ли GPU для ML-бота?

Когда делал RAG-бота с эмбеддингами, первая мысль: нужен GPU-сервер.

Спойлер: не нужен.

## Мой сетап

- Сервер: 2 vCPU, 8GB RAM, без GPU
- Модель: all-MiniLM-L6-v2 (22M параметров)

## Замеры

- Эмбеддинг: ~50ms
- Поиск ChromaDB: ~10ms
- Ответ LLM: 2000-3000ms

Боттлнек — LLM, не эмбеддинги. GPU ускорил бы с 50ms до 5ms. Но пользователь всё равно ждёт 2-3 секунды.

## Когда GPU нужен

✅ Батч-процессинг 10,000 документов
✅ Модели >1B параметров
✅ Real-time с SLA <10ms
✅ Генерация картинок/видео

## Когда CPU хватит

✅ Модели <500M параметров
✅ Одиночные запросы
✅ Задержка 50-200ms OK

## Экономика

| Тип | Цена/мес |
|-----|----------|
| CPU 2 vCPU | €5 |
| GPU T4 | €50-80 |
| GPU A100 | €200+ |

Разница в 10-20 раз.

Начинай с CPU. Переходи на GPU когда упрёшься в лимиты.

Нужен ли GPU для ML-бота?

Реакции

💬 Комментарии