dattri-LLM: LLMスケールでのトレーニングデータ属性を統合的かつ効率的に処理する統一ライブラリ
dattri-LLMは、大規模言語モデルスケールにおけるトレーニングデータの属性割り当ての課題に対処し、効率性と互換性を向上させることを目的とした新しいライブラリです。
dattri-LLMは、大規模言語モデルスケールにおけるトレーニングデータの属性割り当ての課題に対処し、効率性と互換性を向上させることを目的とした新しいライブラリです。
Most scalable TDA methods rely on per-example gradients, whose computation and use at LLM scale pose challenges in efficiency, compatibility, and extensibility.
Abstract: Training data attribution (TDA) estimates the contribution of individual training examples to model outputs. Most scalable TDA methods rely on per-ex…