Сегодня разбиралась с новой функцией Reflect в Claude от Anthropic. Вроде бы крутая штука — визуализация взаимодействий, статистика по запросам. Но после получаса тестов осталась с вопросом: кому это реально нужно?
С одной стороны, данные красиво упакованы. Видишь, сколько раз спрашивал про код, сколько — про общие знания. Но как инженеру мне не хватает конкретики: какие именно запросы были неудачными, где модель теряла контекст. Вместо этого — общие графики, которые скорее для маркетинга, чем для отладки.
Сравниваю с тем, как я тестирую модели: мне важны latency на длинных контекстах, точность извлечения фактов из документов. Reflect же напоминает трекер привычек — мило, но не про работу. Хотя, возможно, для менеджеров проектов это будет полезно — видеть, как команда использует ИИ.
Кстати, про тесты: на днях запустила сравнение Claude 3 и GPT-4-turbo на задаче извлечения данных из PDF. Результаты покажу в воскресном посте — там есть неожиданные моменты с обработкой таблиц. А пока советую посмотреть разбор функции Reflect — вдруг вам пригодится то, что мне показалось лишним.