請注意:這不是你寫 Bug 的理由。
調(diào)試代碼是件很無聊的事,但是由 Facebook 工程師創(chuàng)建的新型人工智能混合工具——SapFix 可以大大節(jié)約工程師的時間,同時還加快了新軟件的推出過程。該工具可以為特定 Bug 自動生成修復(fù)程序,然后將其提交給工程師批準(zhǔn)并部署到生產(chǎn)中。
SapFix 被用來加速向裝有 Facebook Android 應(yīng)用程序的數(shù)百萬設(shè)備傳輸穩(wěn)定代碼更新的過程,這是人工智能測試和調(diào)試工具在此類大規(guī)模生產(chǎn)中的首次應(yīng)用。Facebook 打算與工程界分享 SapFix,因?yàn)檫@是自動化調(diào)試發(fā)展的下一步,可能為很多公司和研究機(jī)構(gòu)促進(jìn)新代碼的產(chǎn)量和穩(wěn)定性。
SapFix 被設(shè)計成一個獨(dú)立的工具,無論有或沒有 Sapienz(Facebook 的一款智能自動化軟件測試工具,在 F8 版本時發(fā)布,已部署到生產(chǎn)中),它都可以運(yùn)行。在目前的概念驗(yàn)證狀態(tài),SapFix 在部署到生成前專注于修復(fù) Sapienz 發(fā)現(xiàn)的 Bug。此過程從 Sapienz 開始,連同 Facebook 的推斷靜態(tài)分析工具一起,能幫助定位代碼中需要修復(fù)的 Bug。一旦 Sapienz 發(fā)現(xiàn)并推斷出與 Bug 相關(guān)的特定部分代碼,它就可以將該信息傳遞給 SapFix,后者會自動參考一些策略并生成補(bǔ)丁。
SapFix 是如何 debug 的
上圖說明 SapFix 如何為軟件 Bug 生成補(bǔ)丁。
為了解決高觸發(fā) bug,SapFix 創(chuàng)建的補(bǔ)丁可以完全或部分還原初始代碼。對于更復(fù)雜的問題,SapFix 通過從模板修復(fù)集合中提取素材生成補(bǔ)丁。這些模板是從人類工程師創(chuàng)建的模板中自動獲取的,而后者則是基于過去的修復(fù)庫創(chuàng)建的。
當(dāng)以前用過的由人類設(shè)計的模板不合適時,SapFix 將嘗試基于突變進(jìn)行修復(fù)。為此,它將對導(dǎo)致崩潰的語句的抽象語法樹(AST)執(zhí)行小型代碼修復(fù),調(diào)整補(bǔ)丁,直到找到可能的解決方案。
自主驗(yàn)證和人工審批
即使 SapFix 找到了特定的補(bǔ)丁,它的工作還遠(yuǎn)遠(yuǎn)沒有結(jié)束。該工具為每個 Bug 生成多個潛在的補(bǔ)丁,并通過三個問題評價補(bǔ)丁的質(zhì)量。即是否存在編譯錯誤、程序是否仍然會崩潰,以及補(bǔ)丁是否引入了新的沖突?
為了解決最后兩個問題,SapFix 在修復(fù)版本上運(yùn)行已存的、開發(fā)者編寫的測試,同時還會運(yùn)行由 Sapienz 創(chuàng)建的測試。與之前補(bǔ)丁生成步驟一樣,驗(yàn)證過程會自動執(zhí)行,且與更大的代碼庫實(shí)現(xiàn)分離。SapFix 正在復(fù)制目前由人工完成的調(diào)試工作,但它并不是為了將補(bǔ)丁部署到產(chǎn)品代碼中而設(shè)計的。
當(dāng)自動生成的補(bǔ)丁經(jīng)過全面測試后,SapFix 會將它們發(fā)送給人工評審員進(jìn)行批準(zhǔn)。這有些類似于人工生成的報告需要由其他開發(fā)者進(jìn)行檢查與審批,此外系統(tǒng)除了會自動追蹤評審者的反饋外,它還會接受經(jīng)批準(zhǔn)的補(bǔ)丁、清理其它未經(jīng)批準(zhǔn)的補(bǔ)丁。在某些情況下,SapFix 可以從多個候選補(bǔ)丁中選擇最佳的解決方案,并向工程師提出建議。
該工作流展示了 SapFix 如何基于它生成的補(bǔ)丁尋求工程師的反饋。
如果修補(bǔ)方案被拒絕,它將丟棄補(bǔ)丁,如果被接受,則加載。由于 SapFix 的底層技術(shù)非常強(qiáng)大,且自動運(yùn)行節(jié)省了大量時間和精力,因此 SapFix 無法實(shí)現(xiàn)自己提出的補(bǔ)丁。工程師通常比較專業(yè),該工具依賴工程師的專業(yè)知識來確認(rèn)是否應(yīng)該部署提出的補(bǔ)丁。
由于 SapFix 仍在開發(fā)階段,因此它無法像 Sapienz 那樣投入大規(guī)模使用,Sapienz 現(xiàn)在每月生成數(shù)百個 Bug 報告,精準(zhǔn)定位有 Bug 的代碼行,它審核與安卓設(shè)備上的 Facebook、Instagram、Workplace 和 Messenger 等 app 相關(guān)的代碼。Sapienz 的報告中大約有 3/4 的 bug 是由開發(fā)者修復(fù)的。而 Facebook 八月份開始測試 SapFix,該工具可以成功生成能夠被人類工程師接受的補(bǔ)丁,并進(jìn)入生產(chǎn)階段。
為完全自動化 debug 奠定基礎(chǔ)
Facebook 稱,這標(biāo)志著機(jī)器生成的補(bǔ)丁(經(jīng)過自動化端到端測試和修補(bǔ))首次部署到 Facebook 規(guī)模的代碼庫。這是 AI 技術(shù)的重要里程碑,進(jìn)一步證明了基于搜索的軟件工程可以減少軟件開發(fā)中的問題。Facebook 開發(fā) SapFix 用于處理不同種類的 bug 和軟件,因此該工具有可能改變代碼生成的速度和質(zhì)量。這不僅適用于大規(guī)模運(yùn)營的企業(yè),還適用于幾乎所有寫代碼的個人。不管是用于組織還是個體,SapFix 和 Sapienz 都能幫開發(fā)者減少花在 debug 上的時間,把精力用在生成更多的代碼上。
即使有了這項(xiàng)工作,F(xiàn)acebook 仍想鼓勵社區(qū)繼續(xù)研究自動調(diào)整、改進(jìn)代碼。在這一領(lǐng)域,已經(jīng)有了很多激動人心的研究,包括技術(shù)的實(shí)證研究、供社區(qū)研究解決的開放性難題與挑戰(zhàn),以及對近期自動改進(jìn)代碼的調(diào)查。作為在 Facebook 規(guī)模下部署的首個工具,SapFix 將為此挑戰(zhàn)性研究提供新的動力與能量。
Facebook 稱,將在完成額外的工程部分后,開源 Sapienz 和 SapFix。而有關(guān)這些工具的反饋會幫助相關(guān)研究者,也會幫助更廣泛的 AI 社區(qū)改進(jìn)自動尋找、修改代碼 Bug 的任務(wù)。Facebook 目前聚焦在 SapFix 如何自動制止代碼崩潰,但更長期的應(yīng)用應(yīng)該包括如何讓軟件更快、反應(yīng)更敏捷。這些系統(tǒng)提供了極大的基線收益,開發(fā)者使用它們時效果是多變、寬泛的。