麻省理工學院的研究人員提出，MAIA人工智能系統（中英雙語）

Researchers at MIT Propose ‘MAIA’:
An Artificial Intelligence System that Uses Neural Network Models to Automate Neural Model Understanding Tasks
麻省理工學院的研究人員提出“MAIA”：
一種使用神經網絡模型自動執行神經模型理解任務的人工智能系統

MAIA’s framework is designed to freely conduct experiments on neural systems by composing interpretability tasks into Python programs. Leveraging a pre-trained multimodal model, MAIA can process images directly and design experiments to answer user queries about model behavior. The System class within MAIA’s API instruments the system to be interpreted, making subcomponents individually callable for experimentation. Meanwhile, the Tools class comprises a suite of functions enabling MAIA to write modular programs that test hypotheses about system behavior.

MAIA 的框架旨在通過將可解釋性任務編寫成 Python 程序來自由地對神經系統進行實驗。

利用預先訓練的多模態模型，MAIA 可以直接處理圖像并設計實驗來回答用戶有關模型行為的查詢。 MAIA 的 API 中的 System 類對要解釋的系統進行檢測，使子組件可單獨調用以進行實驗。同時，Tools 類包含一套函數，使 MAIA 能夠編寫模塊化程序來測試有關系統行為的假設。

The evaluation of MAIA on the black-box neuron description task demonstrates its ability to produce predictive explanations of vision system components, identify spurious features, and automatically detect biases in classifiers. It is effective in generating descriptions of both real and synthetic neurons, outperforms baseline methods, and approaches human expert labels.

MAIA 對黑盒神經元描述任務的評估表明，它能夠對視覺系統組件產生預測性解釋、識別虛假特征以及自動檢測分類器中的偏差。

它可以有效地生成真實和合成神經元的描述，優于基線方法，并接近人類專家標簽。

In conclusion, MAIA presents a promising solution to the challenge of understanding neural models by automating interpretability tasks. MAIA streamlines the process of understanding model behavior by combining a pre-trained vision-language model with a set of interpretability tools. While human supervision is still necessary to avoid common pitfalls and maximize effectiveness, MAIA’s framework demonstrates high potential utility in the interpretability workflow, offering a flexible and adaptable approach to understanding complex neural systems. Overall, MAIA significantly helps in bridging the gap between human interpretability and automated techniques in model understanding and analysis.

總之，MAIA 通過自動化可解釋性任務，為理解神經模型的挑戰提供了一個有前景的解決方案。 MAIA 通過將預先訓練的視覺語言模型與一組可解釋性工具相結合，簡化了理解模型行為的過程。

雖然人類監督對于避免常見陷阱和最大化有效性仍然是必要的，但 MAIA 的框架在可解釋性工作流程中展示了很高的潛在效用，為理解復雜的神經系統提供了靈活且適應性強的方法。

總體而言，MAIA 極大地幫助彌合了模型理解和分析方面人類可解釋性與自動化技術之間的差距。

MAIA（多模式自動解釋智能體）旨在通過結合人體實驗的靈活性和自動化技術的可擴展性，幫助用戶理解神經模型。以下是MAIA的工作原理：

MAIA的原理：

1. 自動化實驗設計：MAIA 是一個 AI 智能體，用于設計和執行實驗，以回答用戶關于 AI 模型組件的查詢。它使用視覺語言模型作為其主干，并利用一組用于設計可解釋性實驗的工具（API）。該智能體會迭代地提出假設，通過實驗驗證這些假設，觀察結果，并根據觀察到的結果不斷優化假設，直到能夠為用戶提供滿意的答案。
2. 迭代假設生成：與傳統方法主要依賴大量人力不同，MAIA 自動化了大部分過程。它首先生成有關模型決策方式的初步假設，然后通過實驗測試這些假設，檢查結果，并根據觀察到的結果調整假設。這個過程持續進行，直到MAIA能夠回答用戶最初提出的查詢。
3. 靈活性和可擴展性：MAIA 的設計使其能夠處理廣泛的（“宏觀”）和具體的（“微觀”）查詢。例如，它可以識別模型預測中的系統性偏差（宏觀查詢），或者描述影響模型決策的單個特征（微觀查詢）。通過修改用戶查詢，該系統可以適應不同類型的可解釋性任務，具有高度的靈活性和可擴展性。
4. 多模式能力：MAIA 集成了多種數據類型（例如文本、圖像等），并利用多模式模型來增強其解釋性實驗。這種多模式特性使其能夠處理各種輸入類型，并提供更豐富、更全面的關于模型行為的解釋。
5. 基于自動化解釋性范式：MAIA 擴展了自動化解釋智能體（AIA）范式。在該范式中，基于語言模型（LM）的代理會交互式地探測 AI 系統以理解其行為。MAIA 通過整合多模式能力來增強這一范式，使其能夠執行更廣泛的解釋性實驗，考慮多種形式的輸入和輸出。

總結：

MAIA 是一個創新的智能體（Agent），通過設計和運行實驗來自動解釋 AI 模型的工作原理。它在具有人類靈活性的同時也具有自動化的高效性，使用戶能夠更有效、更高效地理解 AI 模型。