0 引言

    近年來，隨著極端氣候事件的頻繁出現(xiàn)，氣候預(yù)測問題受到越來越多的關(guān)注。地球系統(tǒng)模式通過構(gòu)建一系列的數(shù)學物理方程組來近似模擬真實地球系統(tǒng)中存在的物理、化學和動力等復(fù)雜的過程，是預(yù)測未來氣候的重要工具^[1]。然而地球系統(tǒng)模式的物理參數(shù)化方案中存在大量的不確定參數(shù)，這些參數(shù)對地球系統(tǒng)模式的模擬性能有很大的影響^[2]。優(yōu)化算法是一種量化不確定性、校準不確定參數(shù)的有效方法。通常地球系統(tǒng)模式模擬的目標有兩個以上，如降水、溫度和濕度等對氣候預(yù)測非常重要的多個變量。另外在地球系統(tǒng)模式中有很多氣候現(xiàn)象，例如熱帶大氣季節(jié)內(nèi)震蕩(MJO)、東亞季風(EASM)、厄爾尼諾/南方濤動(ENSO)等，這些分別是屬于不同物理意義的氣候現(xiàn)象，對人類的生產(chǎn)生活都有著重要的影響，因此對氣候預(yù)測十分重要。若要使得地球系統(tǒng)模式中的多個氣候要素都盡可能得到優(yōu)化，此時需要利用多目標優(yōu)化來對不確定參數(shù)進行優(yōu)化。

    常用的多目標優(yōu)化算法是進化多目標算法，例如NSGAIII、MOPSO、MOEA-D等算法，其中NSGAIII和MOEA-D算法應(yīng)用非常廣泛，且NSGAIII是目前公認的最為高效的多目標優(yōu)化方法之一^[3-4]。進化多目標算法通常全局性較好但是需要的迭代步數(shù)較多，這在地球系統(tǒng)模式中意味著多次的模式運行。而地球系統(tǒng)模式運行一次都需要極高的計算代價，成百上千次的模擬計算成本更不可接受^[5]。因此在地球系統(tǒng)模式中急需高效、收斂快的多目標優(yōu)化算法。

    本文結(jié)合傳統(tǒng)代理模式優(yōu)化思想提出了一種基于多層感知機神經(jīng)網(wǎng)絡(luò)代理模式的多目標優(yōu)化方法。此方法利用多層感知機作為替代真實模式的代理回歸模型，用此代理模型來估計優(yōu)化參數(shù)的選取。在建立初始模型之后，每多一個采樣點此方法都更新優(yōu)化策略，相比進化算法的種群更新策略，它能夠有效地提高算法的收斂性。

1 多目標代理模式優(yōu)化方法

1.1 基于多層感知機代理模式參數(shù)優(yōu)化方法總體思路

    代理模式優(yōu)化方法的總體思路如下：首先利用當前所有樣本構(gòu)建一個統(tǒng)計回歸模型稱為代理模式，然后利用代理模式去估計下一個更優(yōu)參數(shù)的位置；將此處得到的最優(yōu)參數(shù)代入真實模式中運行，獲得新的真實的采樣點，將此采樣點加入原有樣本，一起構(gòu)建新的代理模式。如此反復(fù)迭代，直到新采樣點滿足優(yōu)化條件。

    雖然基于克里金(Kriging)和徑向基函數(shù)(RBF)代理模式的單目標優(yōu)化算法被大量用于在復(fù)雜問題的優(yōu)化求解^[6]，然而目前面向多目標的代理模式優(yōu)化算法的研究還較為缺乏。另外在傳統(tǒng)的代理模式優(yōu)化中，代理模型的選擇通常為統(tǒng)計回歸方法，這些方法對復(fù)雜多峰的地球系統(tǒng)模式的代理精度不足，這將會導(dǎo)致基于代理模式的最優(yōu)參數(shù)估計不夠精準，進一步影響優(yōu)化算法的精度。本文針對以上問題提出了基于多層感知機的多目標優(yōu)化方法(MO-ANN)，主要思想有以下兩點：(1)同時結(jié)合代理模式優(yōu)化的思路和進化多目標優(yōu)化算法的非支配解排序策略。MO-ANN每一次尋找當前最優(yōu)采樣點時必須在非支配解中尋找，這樣的選擇防止選取到的采樣點出現(xiàn)一個目標特別好，而另外一個目標極差情況；(2)基于多層感知機神經(jīng)網(wǎng)絡(luò)的代理模式能夠相對傳統(tǒng)代理模式的回歸方法更好地實現(xiàn)多個輸入到多個輸出的回歸問題。MO-ANN算法流程如圖1所示。其中關(guān)鍵步驟的解釋如下：

    (1)采樣。初始采樣有兩個重要的目的：其一是為了初步探索參數(shù)空間，使得優(yōu)化算法對參數(shù)空間有一個基本的了解；其二是為了初始化代理模式。本文選擇的是拉丁超立方采樣，它的思想是在參數(shù)空間中分層隨機抽樣。因為有了分層的策略，采樣在參數(shù)空間中較為全面，能夠?qū)?yōu)化算法建立在一個良好的基礎(chǔ)上。

    (2)求得非支配解集并排序，排序后取得當前最優(yōu)非支配解，以備后續(xù)生成候選采樣點集。非支配解的排序使得多個目標能被綜合考慮。

    (3)構(gòu)建基于多層感知機的代理模式。根據(jù)地球系統(tǒng)模式的參數(shù)到性能的復(fù)雜特性，此算法中選擇的建模方法是具有更強非線性表達能力的多層感知機神經(jīng)網(wǎng)絡(luò)。

    (4)預(yù)估下一個最優(yōu)采樣點。本文預(yù)估下一個采樣點的策略采用的是文獻[7]中提到的隨機擾動策略的改進版本，其主要思想是構(gòu)建兩組候選采樣點集合，第一組為在當前真實最優(yōu)采樣點附近隨機擾動，第二組為在全參數(shù)空間中的隨機擾動。然后利用兩種評價相結(jié)合的方法對所有候選采樣點進行評價。第一種評價方法是利用代理模式對候選采樣點進行估計，估計結(jié)果好的，被選取的機會大；第二種評價方式是根據(jù)候選集中的采樣點與當前已有采樣點的距離來衡量的，距離越近，效果越好。兩種評價方式相結(jié)合的方法也更加全面地衡量了一個候選采樣點的好壞。

    (5)在真實的模型上（地球系統(tǒng)模式上）評估新采樣點的結(jié)果。最后將選出的最優(yōu)樣本點帶入真實模型中運行，得到真實的采樣結(jié)果。這一步在復(fù)雜函數(shù)中為函數(shù)值的計算，在地球系統(tǒng)模式中則為一次模型運行和評估的過程。

    (6)將新采樣點加入已有樣本集，重新擬合代理模式。將最新的采樣結(jié)果加入已有樣本庫，重新構(gòu)建代理模式。依此重復(fù)，直到算法收斂或者是達到規(guī)定的迭代步數(shù)。

1.2 多層感知機代理模式的實現(xiàn)

    多層感知機神經(jīng)網(wǎng)絡(luò)是一種前向的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），可以看成一組輸入向量到一組輸出向量的映射。它由輸入層、隱含層和輸出層共同構(gòu)成，其中除了輸入層之外每一層都帶有非線性激活函數(shù)，使得模型更能夠適應(yīng)非線性較強的特性表達。

    多層感知機神經(jīng)網(wǎng)絡(luò)在非線性回歸上十分受歡迎，研究表明多層感知機是通用的函數(shù)逼近器，甚至適合非光滑和分段連續(xù)問題，且其相對于傳統(tǒng)的機器學習算法而言，具有更高的擬合精度^[8]。

    值得注意的是這里的代理模式的擬合過程并不是一般機器學習意義上尋求偏差和方差的平衡情況，這里僅僅將其作為一個回歸器來使用。MO-ANN算法中每增加一個采樣點都重新訓練一遍代理模式，每一次代理模式的擬合過程要盡量準確，以期望代理模式能夠更加精確地預(yù)估下一個最優(yōu)采樣點的位置。本文的擬合策略是將多個超參數(shù)控制不變，利用反向傳播算法(BP)多次重復(fù)訓練當前所有樣本，以快速達到要求的擬合精度。此擬合方法保證了每一次迭代中代理模式模型的快速穩(wěn)定。

2 實驗設(shè)計

    為了驗證上述多目標優(yōu)化方法的有效性，本文分別在復(fù)雜數(shù)學函數(shù)和單柱大氣模式(Single Column Atmosphere Model，SCAM)上將此算法與前文提到的應(yīng)用廣泛的NSGAIII和MOEA-D算法進行了對比測試。因為在真實的地球系統(tǒng)模式中希望以盡可能少的模式運行次數(shù)來確定最優(yōu)參數(shù)，以下評比所遵循的規(guī)定是對數(shù)學函數(shù)的計算次數(shù)在200次以內(nèi)，在SCAM上的模擬次數(shù)在600次以內(nèi)，查看在此范圍內(nèi)各類優(yōu)化算法的表現(xiàn)情況。其中數(shù)學函數(shù)的選擇的是常用的多目標測試函數(shù)ZDT2^[9]和DTLZ7^[10]。

    SCAM是用來模擬固定在某個經(jīng)緯度的大氣物理過程，它是由特定的邊界和強迫場所驅(qū)動的，是專門為了研究地球系統(tǒng)模式的物理參數(shù)化方案而開發(fā)的工具，對地球系統(tǒng)模式的發(fā)展有重要意義。本文選擇的是熱帶暖池-國際云實驗(TWP-ICE)^[11]和混合相位-北極云實驗M-PACE^[12]。TWP-ICE實驗的模擬時間是從2006年1月18日～2月13日。M-PACE實驗的模擬時間是從2004年10月06日～10月22日。兩個SCAM實驗的觀測分別來源于兩個站點的無線電探空站所獲得的觀測收據(jù)。

    兩個SCAM實驗的優(yōu)化目標都是使得模式中最受關(guān)注的一些變量與觀測的距離更加接近，具體的變量選擇如表1所示。

    模式模擬變量與實際觀測距離的公式計算如下：

    不確定參數(shù)和取值范圍是根據(jù)之前的研究來確定的^[5]，具體的參數(shù)見表2所示，其中zmconv_c0_lnd和zmconv_c0_ocn是對降水(PRECT)和輻射(FLUT、FSNTOA)影響很大的參數(shù)，zmconv_tau是對流降水中最敏感的參數(shù)，cldsed_ai也被證明為是對輻射有很強影響的參數(shù)。

    多目標的評價標準有很多，例如離散度（Spread）、世代距離（GD）、hpervolume和反世代距離（IGD）等。其中hypervolume為一個關(guān)于非支配解的離散度、收斂性的綜合指標，因其可以同時考慮這兩個重要的性能而成為近年來多目標評價指標中最常用的指標之一。IGD指標衡量的是當前獲得的非支配解集與真實的帕累托前沿的距離，是對多目標算法收斂性最好的衡量方法之一。通常hypervolume和IGD配合使用來判斷多目標優(yōu)化方法的優(yōu)劣。hypervolume值越大越好，反世代距離越小越好。本文多目標問題及其對應(yīng)的參考點選擇如表3所示。

3 復(fù)雜數(shù)學函數(shù)上多目標優(yōu)化結(jié)果

    下文所有圖中每一次迭代都為10次函數(shù)計算或10次模式模擬。圖2和圖3中的總函數(shù)模擬次數(shù)為200次，每10次函數(shù)計算之后，進化多目標算法和MO-ANN算法計算一次非支配解的hypervolume和IGD。本文提出的MO-ANN代理模式多目標優(yōu)化方法相對于NSGAIII和MOEA-D來說能夠更快地提升ZDT2和DTLZ7函數(shù)優(yōu)化效果。

4 單柱大氣模式上多目標優(yōu)化結(jié)果

    SCAM優(yōu)化問題無法求出真正的帕累托前沿，因此對于多目標在SCAM上的評價，本文以hypervolume作為標準。與在ZDT2和DTLZ7上的優(yōu)化測試相同，這里也將每10次模式運行作為1次迭代，計算一次hypervolume。從圖4中可以看出在TWP-ICE上MO-ANN能夠更快更好地獲取更優(yōu)的非支配解集。在第10次迭代時已經(jīng)取得較優(yōu)的結(jié)果，而NSGAIII進化多目標算法則優(yōu)化速度相對緩慢，在第60次迭代時依舊沒有完全收斂，MO-ANN收斂速度是其的5倍以上。TWP-ICE相對M-PACE模擬時間更長，物理參數(shù)和模擬性能之間的關(guān)系也相對更復(fù)雜一些。因此在M-PACE上的MO-ANN多目標算法的優(yōu)勢未能有TWP-ICE上顯著，但是也是3個多目標算法中精度最高的算法。

5 結(jié)論

    本文首先分析了地球系統(tǒng)模式中面臨的多目標優(yōu)化問題。然后對當前優(yōu)化方法在復(fù)雜地球系統(tǒng)模式上使用所存在的問題做了簡要分析，并提出了基于多層感知機神經(jīng)網(wǎng)絡(luò)（MLP）的代理模式優(yōu)化算法MO-ANN。此算法利用基于MLP的回歸模型代替真實地球系統(tǒng)模式預(yù)測最優(yōu)采樣點，每增加一次采樣點更新一次代理模型。最后本文將MO-ANN與常用多目標優(yōu)化算法在復(fù)雜函數(shù)和單柱大氣模式上的優(yōu)化性能進行了對比，結(jié)果表明新提出的多目標代理模式優(yōu)化算法MO-ANN在復(fù)雜數(shù)學函數(shù)和單柱大氣模式上都具有明顯的優(yōu)勢，在TWP-ICE模式上收斂速度可相對NSGAIII提升5倍以上。綜上所述，基于多層感知機代理模式的多目標優(yōu)化算法能夠更加全面有效地應(yīng)對復(fù)雜地球系統(tǒng)模式上的參數(shù)優(yōu)化問題。

參考文獻

[1] 王斌，周天軍，俞永強，等.地球系統(tǒng)模式發(fā)展展望[J].氣象學報，2008，66(6)：857-869.

[2] MASTRANDREA M D，MACH K J，PLATTNER G K，et al.The IPCC AR5 guidance note on consistent treatment of uncertainties：a common approach across the working groups[J].Climatic Change，2011，108(4)：675.

[3] DEB K，JAIN H.An evolutionary many-objective optimization algorithm using reference-point-based nondominated sorting approach, part i：solving problems with box constraints[J].IEEE Transactions on Evolutionary Computation，2014，18(4)：577-601.

[4] ZHANG Q，Li Hui.MOEA/D：a multiobjective evolutionary algorithm based on decomposition[J].IEEE Transactions on Evolutionary Computation，2007，11(6)：712-731.

[5] ZHANG T，LI L，LIN Y，et al.An automatic and effective parameter optimization method for model tuning[J].Geoscientific Model Development，2015，8(11)：3579-3591.

[6] XU H，ZHANG T，LUO Y，et al.Parameter calibration in global soil carbon models using surrogate-based optimization[J].Geoscientific Model Development，2018，11(7)：3027-3044.

[7] REGIS R G，SHOEMAKER C A.A stochastic radial basis function method for the global optimization of expensive functions[J].Informs Journal on Computing，2007，19(4)：497-509.

[8] SELMIC R R，LEWIS F L.Neural-network approximation of piecewise continuous functions：application to friction compensation[J].IEEE Transactions on Neural Networks，2002，13(3)：745-751.

[9] ZITZLER E，DEB K，THIELE L.Comparison of multiobjective evolutionary algorithms：empirical results[J].Evolutionary Computation，2000，8(2)：173-195.

[10] COELLO C A C，LAMONT G B，VAN VELDHUIZEN D A.Evolutionary algorithms for solving multi-objective problems[M].New York：Springer，2007.

[11] LIN Y，DONNER L J，PETCH J，et al.TWP-ICE global atmospheric model intercomparison：convection responsiveness and resolution impact[J].Journal of Geophysical Research：Atmospheres，2012，117(D9)：D09111.

[12] VERLINDE J，HARRINGTON J Y，MCFARQUHAR G M，et al.The mixed-phase arctic cloud experiment[J].Bulletin of the American Meteorological Society，2007，88(2)：205-222.

資助項目：國家重點研發(fā)計劃項目（2017YFA0604503）

作者信息:

吳  利1，黃  欣2，薛  巍1

(1.清華大學 計算機科學與技術(shù)系，北京100084；2.北亞利桑那大學 生態(tài)系統(tǒng)科學與社會中心，弗拉格斯塔夫86011)