[antare]

Доброго дня. Стартап, поднимаем свою ИИ-инфраструктуру с нуля, опыта в серверном железе у команды почти нет – все из разработки. Нужен сервер под обучение и инференс, но я откровенно плаваю в вопросе: какие GPU брать, сколько памяти, как это всё стыкуется, что с охлаждением и питанием в стойке. Боюсь заказать конфигурацию, которая не подойдёт под наши задачи. Подскажите, где можно разобраться в вариантах и на что ориентироваться при подборе?

[antare]

Доброго времени суток. Нормальная ситуация, железо и разработка это разные миры. Готовые конфигурации с расшифровкой под конкретные задачи собраны здесь, у компании GetCore – там показано, что берут под обучение LLM, что под инференс, что под видеоаналитику, с указанием GPU, объёма RAM и форм-фактора. Ориентир простой: под обучение смотрите в сторону A100 или H100 и большого объёма памяти, под инференс достаточно менее дорогих решений. Что удобно для команды без железячного опыта – они отгружают с уже развёрнутым стеком, CUDA, PyTorch, Docker стоят из коробки. Подбор конфигурации у них бесплатный, есть смысл просто описать задачу и получить расчёт.

[Автор]

Сообщения