AI編程助手讓開發(fā)者陷入"危險狀態(tài)"

軟件開發(fā)者所使用的AI正處于一種"危險狀態(tài)"——它太有用以至于不得不使用，但在使用過程中，開發(fā)者卻失去了審查其工作所需的實戰(zhàn)經(jīng)驗。這是在本周舉行的中立技術(shù)開發(fā)者大會QCon London上一位演講者提出的觀點。

Thoughtworks公司AI輔助軟件交付全球負責(zé)人Birgitta Bockeler在會上重新探討了她去年在同一活動中談到的話題——開發(fā)者AI的現(xiàn)狀。

"一年前，我主要講的是新興的智能體模式。'氛圍編程'這個術(shù)語大約只有兩個月的歷史，而Claude Code當(dāng)時還沒有全面開放，"她說道。

她告訴與會者，如今的重點是上下文工程。"你需要策劃你的模型或智能體看到的信息，以獲得更好的結(jié)果。"

上下文工程涉及規(guī)則、命令、指令和資源，包括大語言模型可以用來更準確執(zhí)行任務(wù)的MCP（模型上下文協(xié)議）工具。這些在本地定義，減少了發(fā)送到遠程大語言模型的上下文大小。

"盡管現(xiàn)在的上下文窗口比一年前大了很多，但當(dāng)它們滿了的時候...智能體的效率會下降，而且成本會高很多，"她說。

另一個即將到來的功能是子智能體，主智能體會生成其他智能體來執(zhí)行專門任務(wù)并報告結(jié)果。這減少了主智能體的負載，也可以通過給子智能體一定程度的獨立性來提供幫助。"人們喜歡有一個單獨的上下文窗口，它不了解會話中的所有歷史，來進行代碼審查或使用不同的模型，"她解釋道。

子智能體概念可以走得更遠，趨勢是朝著更少監(jiān)督的方向發(fā)展。Bockeler引用了AI愛好者Steve Yegge的觀點，他定義了開發(fā)者向AI演進的八個階段，最終構(gòu)建自己的智能體編排器。Yegge通過一個名為Gas Town的項目實現(xiàn)了這一點，這是"一個由超智能機器人猩猩操作的工業(yè)化編程工廠"。

Cursor和Anthropic也在實驗智能體群體，Bockeler說，Claude Code有一個名為智能體團隊的預(yù)覽功能。"關(guān)鍵是，需要大量的編排，"她解釋道。

"這些進展形成了'誘使我們脫離循環(huán)的強大力量'，"Bockeler說。

問題在于AI并不安全。它會犯錯誤，容易受到提示注入等問題的攻擊。這意味著開發(fā)者要進行風(fēng)險評估。"總是三個因素的組合：概率、影響和可檢測性，"Bockeler說。

減少智能體監(jiān)督的潛在生產(chǎn)力與審查需求相沖突。"它無監(jiān)督的時間越長，我之后需要審查的內(nèi)容就越多，"她在QCon上表示。

風(fēng)險包括錯誤代碼、惡意軟件和機密泄露。Bockeler引用了Simon Willison的致命三要素。"當(dāng)你有一個智能體接觸不可信內(nèi)容、訪問私人數(shù)據(jù)并能對外通信時，你就面臨獲得數(shù)據(jù)問題和安全問題的高風(fēng)險，"她說，并補充道，僅僅給智能體電子郵件的讀取和發(fā)送權(quán)限就足以引發(fā)這個問題。

OpenAI所稱的"約束工程"——設(shè)計智能體能夠可靠工作的環(huán)境——可能為解決方案提供了提示。

另一個AI趨勢是成本不斷增加。智能體在做更多的事情；以前只是自動完成，現(xiàn)在是研究現(xiàn)有代碼、制定計劃、審查、運行測試、修訂計劃等等。"固定費率實際上不是真正的固定費率，因為你會遇到請求限制，然后你會看到Reddit上的人說，哦，只是月中就沒Token了，我該怎么辦？因為我們已經(jīng)離不開它們了。"

會議結(jié)束后，我們詢問Bockeler關(guān)于未來的看法。編程技能是否變得無關(guān)緊要？

"我們正陷入這樣一種危險狀態(tài)：AI如此有用，你確實想使用它，但你不能也許永遠不能把一切都交給它，"她告訴我們。"你總是必須理解正在發(fā)生什么。同時，你獲得的這方面經(jīng)驗越來越少，因為你不再親自動手了。"

她說，隨著我們從錯誤中學(xué)習(xí)，AI將會發(fā)展，但何時能到達一個風(fēng)險較小的地方還充滿不確定性。

Q&A

Q1：什么是上下文工程？它有什么作用？

A：上下文工程是指策劃大語言模型或智能體看到的信息，以獲得更好的結(jié)果。它涉及規(guī)則、命令、指令和資源，包括MCP（模型上下文協(xié)議）工具，這些在本地定義，可以減少發(fā)送到遠程大語言模型的上下文大小，提高效率并降低成本。

Q2：為什么說開發(fā)者陷入了危險狀態(tài)？

A：因為AI太有用以至于不得不使用，但在使用過程中，開發(fā)者卻失去了審查AI工作所需的實戰(zhàn)經(jīng)驗。開發(fā)者總是必須理解正在發(fā)生什么，但同時獲得的實際編程經(jīng)驗越來越少，因為不再親自動手編程了。

Q3：AI編程智能體存在哪些風(fēng)險？

A：AI編程智能體存在多種風(fēng)險，包括生成錯誤代碼、惡意軟件和機密泄露。當(dāng)智能體接觸不可信內(nèi)容、訪問私人數(shù)據(jù)并能對外通信時，就面臨數(shù)據(jù)問題和安全問題的高風(fēng)險。此外，AI容易受到提示注入等攻擊，需要開發(fā)者進行持續(xù)的風(fēng)險評估。