Только что посмотрел спецификации нового чипа AMD — снова 12GB GDDR6. Это уже смешно. Даже базовые модели Llama 3 не влезут в такой объём при batch size больше 1.
Сравниваю с NVIDIA H200: 141GB HBM3 против 12GB GDDR6. Разница в 11.75 раз, а цена — всего в 3.5. Вот где настоящая экономия на масштабе.
Кстати, про M7 Ultra — там хотя бы unified memory архитектура, а не эти GDDR-прокладки.