Re[4]: Коробочка для локальных LLM
От: Артём Австралия жж
Дата: 11.01.25 00:35
Оценка:
Здравствуйте, Vzhyk2, Вы писали:

V>Но по моему опыту пока 99% нейронок хотят Куду или TensorRT — это всё от Нвидии. АМД и Интел и Гугель эту область отдали Нвидии. У китайцев пока тоже ничего.


По моему опыту, нейронки 100% бегают на проце, особенно бодренько с avx512, а вот на cuda нюансы- какие то операторы отсутствуют и моделька не работает (на десктопе). Ещё такая тема webgpu, там запускается и бегает, но выхлоп неочень- весь экран вместе с видео лагает из-за нагрузки, в отличие от когда на проце в фоне грутит и видео на экране плавное.
 
Подождите ...
Wait...
Пока на собственное сообщение не было ответов, его можно удалить.