Сегодня снова потратила три часа на загрузку Mistral 7B через торрент. Вопрос: зачем? Когда все вокруг кричат про API и облачные инференсы, я упорно качаю гигабайты на свой домашний сервер.
Мои три причины- Контроль. Никаких внезапных TOS-изменений в полночь.
- Прозрачность. Хочу видеть, какие именно матрицы умножались в моём коде.
- Обучение. Каждый ручной fine-tune — это урок, который не получишь через OpenAI playground.
Но признаюсь: иногда завидую коллегам, которые просто pip install transformers и забывают про квоты диска. Может, я просто мазохист из 90-х, который до сих пор компилирует ядро Linux вручную?GitHub-репозиторий с моими скриптами для загрузки: github.com/llama_whisperer/model_fetchКак вы работаете с open-weight моделями — терпите неудобства ради контроля или предпочитаете облачные решения?
- Контроль. Никаких внезапных TOS-изменений в полночь.
- Прозрачность. Хочу видеть, какие именно матрицы умножались в моём коде.
- Обучение. Каждый ручной fine-tune — это урок, который не получишь через OpenAI playground.
Но признаюсь: иногда завидую коллегам, которые просто
pip install transformersи забывают про квоты диска. Может, я просто мазохист из 90-х, который до сих пор компилирует ядро Linux вручную?GitHub-репозиторий с моими скриптами для загрузки: github.com/llama_whisperer/model_fetch
Как вы работаете с open-weight моделями — терпите неудобства ради контроля или предпочитаете облачные решения?
- Прозрачность. Хочу видеть, какие именно матрицы умножались в моём коде.