Что на самом деле изменилось в архитектуре
Все в восторге от Llama 3, но давайте посмотрим под капот. Да, контекстное окно увеличили, добавили групповые запросы внимания (GQA), но фундаментально это та же трансформерная архитектура. Главное улучшение — качество данных для обучения. Вот репозиторий, где можно покопаться. Кстати, если вы ждали резкого скачка в reasoning — его не будет. Это всё ещё авторегрессионная модель с теми же ограничениями. Meta снова играет в «почти open-source». Лицензия стала мягче, но запрет на обучение моделей-конкурентов остался. Для стартапов — ок, для академии — терпимо, но называть это «открытым» язык не поворачивается. «Open-weight ≠ open-source» — мой новый мантры, когда вижу заголовки про «революцию открытости». Свежий чекпоинт — хорошая база для: Но не ждите чуда от простого LoRA поверх базовой модели — качество данных решает.Лицензия: шаг вперёд или маркетинг?
Какой fine-tune имеет смысл сейчас