Transformer Debugger (TDB) 是一种开发编程模型调试工具，结合了自动化可解释性和稀疏自编码器技术。它支持在编写代码之前进行快速探索，并在前向传递中进行干预，以观察其对特定行为的影响。通过识别特定组件如神经元、注意力头和自编码器潜在表示对行为的贡献，TDB能够展示自动生成的解释，说明这些组件激活的原因，并追踪组件间的连接以帮助发现模型中的电路。
TDB的主要特色包括自动化解释小型语言模型的行为、干预前向传递以观察模型行为的变化、识别并解释模型中特定组件的激活原因以及追踪组件间的连接以发现模型中的电路。
TDB的优势在于能够帮助研究人员和开发者调查和理解语言模型的行为，并进行模型调试和优化。它能够快速探索代码并提供自动生成的解释，以及在预测过程中进行干预，有助于深入理解模型。
用户可以使用TDB调查模型对特定提示输出特定词汇的原因，探索注意力头关注特定词汇的情况，以及理解模型中神经元的激活模式。
使用TDB可以帮助用户理解语言模型的行为，发现模型中潜在的规律和结构，以及进行模型的调试和优化，提高模型的性能和效果。
TDB的局限性可能在于对大型复杂模型的支持有限，以及在实际应用中可能需要更多的扩展和定制功能。
