Здравствуйте, Артём, Вы писали:

Аё>А не хочет. Моделек много, куда опциональна. У 4090 24г рамы, а в этой колбочке 96 под vram. LLM нужно много-много рамы.
Для тех, которые могут без Куды должно быть неплохо. Хотя еще важно количество ядер на GPU на этой железке — это тебе определит, как долго считать будет.
Но по моему опыту пока 99% нейронок хотят Куду или TensorRT — это всё от Нвидии. АМД и Интел и Гугель эту область отдали Нвидии. У китайцев пока тоже ничего.