Использование оценок внутренней размерности для понимания LLM и свойств текстов

Описание семинара

Внутренняя размерность — важный инструмент в современном анализе LLM, который помогает в изучении динамики обучения, поведения при масштабировании, помочь при детекции машинносгенерированных текстов. Кроме того, внутреннее измерение зависит от лингвистических показателей, и разные категории текстов имеют разные внутренние измерения. Мы погрузимся в математику различных методов оценки внутренней размерности, их различия, используем SAE для интерпретации внутренней размерности текстов.