0 引言

    近年來(lái)，隨著極端氣候事件的頻繁出現(xiàn)，氣候預(yù)測(cè)問(wèn)題受到越來(lái)越多的關(guān)注。地球系統(tǒng)模式通過(guò)構(gòu)建一系列的數(shù)學(xué)物理方程組來(lái)近似模擬真實(shí)地球系統(tǒng)中存在的物理、化學(xué)和動(dòng)力等復(fù)雜的過(guò)程，是預(yù)測(cè)未來(lái)氣候的重要工具^[1]。然而地球系統(tǒng)模式的物理參數(shù)化方案中存在大量的不確定參數(shù)，這些參數(shù)對(duì)地球系統(tǒng)模式的模擬性能有很大的影響^[2]。優(yōu)化算法是一種量化不確定性、校準(zhǔn)不確定參數(shù)的有效方法。通常地球系統(tǒng)模式模擬的目標(biāo)有兩個(gè)以上，如降水、溫度和濕度等對(duì)氣候預(yù)測(cè)非常重要的多個(gè)變量。另外在地球系統(tǒng)模式中有很多氣候現(xiàn)象，例如熱帶大氣季節(jié)內(nèi)震蕩(MJO)、東亞季風(fēng)(EASM)、厄爾尼諾/南方濤動(dòng)(ENSO)等，這些分別是屬于不同物理意義的氣候現(xiàn)象，對(duì)人類的生產(chǎn)生活都有著重要的影響，因此對(duì)氣候預(yù)測(cè)十分重要。若要使得地球系統(tǒng)模式中的多個(gè)氣候要素都盡可能得到優(yōu)化，此時(shí)需要利用多目標(biāo)優(yōu)化來(lái)對(duì)不確定參數(shù)進(jìn)行優(yōu)化。

    常用的多目標(biāo)優(yōu)化算法是進(jìn)化多目標(biāo)算法，例如NSGAIII、MOPSO、MOEA-D等算法，其中NSGAIII和MOEA-D算法應(yīng)用非常廣泛，且NSGAIII是目前公認(rèn)的最為高效的多目標(biāo)優(yōu)化方法之一^[3-4]。進(jìn)化多目標(biāo)算法通常全局性較好但是需要的迭代步數(shù)較多，這在地球系統(tǒng)模式中意味著多次的模式運(yùn)行。而地球系統(tǒng)模式運(yùn)行一次都需要極高的計(jì)算代價(jià)，成百上千次的模擬計(jì)算成本更不可接受^[5]。因此在地球系統(tǒng)模式中急需高效、收斂快的多目標(biāo)優(yōu)化算法。

    本文結(jié)合傳統(tǒng)代理模式優(yōu)化思想提出了一種基于多層感知機(jī)神經(jīng)網(wǎng)絡(luò)代理模式的多目標(biāo)優(yōu)化方法。此方法利用多層感知機(jī)作為替代真實(shí)模式的代理回歸模型，用此代理模型來(lái)估計(jì)優(yōu)化參數(shù)的選取。在建立初始模型之后，每多一個(gè)采樣點(diǎn)此方法都更新優(yōu)化策略，相比進(jìn)化算法的種群更新策略，它能夠有效地提高算法的收斂性。

1 多目標(biāo)代理模式優(yōu)化方法

1.1 基于多層感知機(jī)代理模式參數(shù)優(yōu)化方法總體思路

    代理模式優(yōu)化方法的總體思路如下：首先利用當(dāng)前所有樣本構(gòu)建一個(gè)統(tǒng)計(jì)回歸模型稱為代理模式，然后利用代理模式去估計(jì)下一個(gè)更優(yōu)參數(shù)的位置；將此處得到的最優(yōu)參數(shù)代入真實(shí)模式中運(yùn)行，獲得新的真實(shí)的采樣點(diǎn)，將此采樣點(diǎn)加入原有樣本，一起構(gòu)建新的代理模式。如此反復(fù)迭代，直到新采樣點(diǎn)滿足優(yōu)化條件。

    雖然基于克里金(Kriging)和徑向基函數(shù)(RBF)代理模式的單目標(biāo)優(yōu)化算法被大量用于在復(fù)雜問(wèn)題的優(yōu)化求解^[6]，然而目前面向多目標(biāo)的代理模式優(yōu)化算法的研究還較為缺乏。另外在傳統(tǒng)的代理模式優(yōu)化中，代理模型的選擇通常為統(tǒng)計(jì)回歸方法，這些方法對(duì)復(fù)雜多峰的地球系統(tǒng)模式的代理精度不足，這將會(huì)導(dǎo)致基于代理模式的最優(yōu)參數(shù)估計(jì)不夠精準(zhǔn)，進(jìn)一步影響優(yōu)化算法的精度。本文針對(duì)以上問(wèn)題提出了基于多層感知機(jī)的多目標(biāo)優(yōu)化方法(MO-ANN)，主要思想有以下兩點(diǎn)：(1)同時(shí)結(jié)合代理模式優(yōu)化的思路和進(jìn)化多目標(biāo)優(yōu)化算法的非支配解排序策略。MO-ANN每一次尋找當(dāng)前最優(yōu)采樣點(diǎn)時(shí)必須在非支配解中尋找，這樣的選擇防止選取到的采樣點(diǎn)出現(xiàn)一個(gè)目標(biāo)特別好，而另外一個(gè)目標(biāo)極差情況；(2)基于多層感知機(jī)神經(jīng)網(wǎng)絡(luò)的代理模式能夠相對(duì)傳統(tǒng)代理模式的回歸方法更好地實(shí)現(xiàn)多個(gè)輸入到多個(gè)輸出的回歸問(wèn)題。MO-ANN算法流程如圖1所示。其中關(guān)鍵步驟的解釋如下：

    (1)采樣。初始采樣有兩個(gè)重要的目的：其一是為了初步探索參數(shù)空間，使得優(yōu)化算法對(duì)參數(shù)空間有一個(gè)基本的了解；其二是為了初始化代理模式。本文選擇的是拉丁超立方采樣，它的思想是在參數(shù)空間中分層隨機(jī)抽樣。因?yàn)橛辛朔謱拥牟呗?，采樣在參?shù)空間中較為全面，能夠?qū)?yōu)化算法建立在一個(gè)良好的基礎(chǔ)上。

    (2)求得非支配解集并排序，排序后取得當(dāng)前最優(yōu)非支配解，以備后續(xù)生成候選采樣點(diǎn)集。非支配解的排序使得多個(gè)目標(biāo)能被綜合考慮。

    (3)構(gòu)建基于多層感知機(jī)的代理模式。根據(jù)地球系統(tǒng)模式的參數(shù)到性能的復(fù)雜特性，此算法中選擇的建模方法是具有更強(qiáng)非線性表達(dá)能力的多層感知機(jī)神經(jīng)網(wǎng)絡(luò)。

    (4)預(yù)估下一個(gè)最優(yōu)采樣點(diǎn)。本文預(yù)估下一個(gè)采樣點(diǎn)的策略采用的是文獻(xiàn)[7]中提到的隨機(jī)擾動(dòng)策略的改進(jìn)版本，其主要思想是構(gòu)建兩組候選采樣點(diǎn)集合，第一組為在當(dāng)前真實(shí)最優(yōu)采樣點(diǎn)附近隨機(jī)擾動(dòng)，第二組為在全參數(shù)空間中的隨機(jī)擾動(dòng)。然后利用兩種評(píng)價(jià)相結(jié)合的方法對(duì)所有候選采樣點(diǎn)進(jìn)行評(píng)價(jià)。第一種評(píng)價(jià)方法是利用代理模式對(duì)候選采樣點(diǎn)進(jìn)行估計(jì)，估計(jì)結(jié)果好的，被選取的機(jī)會(huì)大；第二種評(píng)價(jià)方式是根據(jù)候選集中的采樣點(diǎn)與當(dāng)前已有采樣點(diǎn)的距離來(lái)衡量的，距離越近，效果越好。兩種評(píng)價(jià)方式相結(jié)合的方法也更加全面地衡量了一個(gè)候選采樣點(diǎn)的好壞。

    (5)在真實(shí)的模型上（地球系統(tǒng)模式上）評(píng)估新采樣點(diǎn)的結(jié)果。最后將選出的最優(yōu)樣本點(diǎn)帶入真實(shí)模型中運(yùn)行，得到真實(shí)的采樣結(jié)果。這一步在復(fù)雜函數(shù)中為函數(shù)值的計(jì)算，在地球系統(tǒng)模式中則為一次模型運(yùn)行和評(píng)估的過(guò)程。

    (6)將新采樣點(diǎn)加入已有樣本集，重新擬合代理模式。將最新的采樣結(jié)果加入已有樣本庫(kù)，重新構(gòu)建代理模式。依此重復(fù)，直到算法收斂或者是達(dá)到規(guī)定的迭代步數(shù)。

1.2 多層感知機(jī)代理模式的實(shí)現(xiàn)

    多層感知機(jī)神經(jīng)網(wǎng)絡(luò)是一種前向的人工神經(jīng)網(wǎng)絡(luò)（Artificial Neural Network，ANN），可以看成一組輸入向量到一組輸出向量的映射。它由輸入層、隱含層和輸出層共同構(gòu)成，其中除了輸入層之外每一層都帶有非線性激活函數(shù)，使得模型更能夠適應(yīng)非線性較強(qiáng)的特性表達(dá)。

    多層感知機(jī)神經(jīng)網(wǎng)絡(luò)在非線性回歸上十分受歡迎，研究表明多層感知機(jī)是通用的函數(shù)逼近器，甚至適合非光滑和分段連續(xù)問(wèn)題，且其相對(duì)于傳統(tǒng)的機(jī)器學(xué)習(xí)算法而言，具有更高的擬合精度^[8]。

    值得注意的是這里的代理模式的擬合過(guò)程并不是一般機(jī)器學(xué)習(xí)意義上尋求偏差和方差的平衡情況，這里僅僅將其作為一個(gè)回歸器來(lái)使用。MO-ANN算法中每增加一個(gè)采樣點(diǎn)都重新訓(xùn)練一遍代理模式，每一次代理模式的擬合過(guò)程要盡量準(zhǔn)確，以期望代理模式能夠更加精確地預(yù)估下一個(gè)最優(yōu)采樣點(diǎn)的位置。本文的擬合策略是將多個(gè)超參數(shù)控制不變，利用反向傳播算法(BP)多次重復(fù)訓(xùn)練當(dāng)前所有樣本，以快速達(dá)到要求的擬合精度。此擬合方法保證了每一次迭代中代理模式模型的快速穩(wěn)定。

2 實(shí)驗(yàn)設(shè)計(jì)

    為了驗(yàn)證上述多目標(biāo)優(yōu)化方法的有效性，本文分別在復(fù)雜數(shù)學(xué)函數(shù)和單柱大氣模式(Single Column Atmosphere Model，SCAM)上將此算法與前文提到的應(yīng)用廣泛的NSGAIII和MOEA-D算法進(jìn)行了對(duì)比測(cè)試。因?yàn)樵谡鎸?shí)的地球系統(tǒng)模式中希望以盡可能少的模式運(yùn)行次數(shù)來(lái)確定最優(yōu)參數(shù)，以下評(píng)比所遵循的規(guī)定是對(duì)數(shù)學(xué)函數(shù)的計(jì)算次數(shù)在200次以內(nèi)，在SCAM上的模擬次數(shù)在600次以內(nèi)，查看在此范圍內(nèi)各類優(yōu)化算法的表現(xiàn)情況。其中數(shù)學(xué)函數(shù)的選擇的是常用的多目標(biāo)測(cè)試函數(shù)ZDT2^[9]和DTLZ7^[10]。

    SCAM是用來(lái)模擬固定在某個(gè)經(jīng)緯度的大氣物理過(guò)程，它是由特定的邊界和強(qiáng)迫場(chǎng)所驅(qū)動(dòng)的，是專門(mén)為了研究地球系統(tǒng)模式的物理參數(shù)化方案而開(kāi)發(fā)的工具，對(duì)地球系統(tǒng)模式的發(fā)展有重要意義。本文選擇的是熱帶暖池-國(guó)際云實(shí)驗(yàn)(TWP-ICE)^[11]和混合相位-北極云實(shí)驗(yàn)M-PACE^[12]。TWP-ICE實(shí)驗(yàn)的模擬時(shí)間是從2006年1月18日～2月13日。M-PACE實(shí)驗(yàn)的模擬時(shí)間是從2004年10月06日～10月22日。兩個(gè)SCAM實(shí)驗(yàn)的觀測(cè)分別來(lái)源于兩個(gè)站點(diǎn)的無(wú)線電探空站所獲得的觀測(cè)收據(jù)。

    兩個(gè)SCAM實(shí)驗(yàn)的優(yōu)化目標(biāo)都是使得模式中最受關(guān)注的一些變量與觀測(cè)的距離更加接近，具體的變量選擇如表1所示。

    模式模擬變量與實(shí)際觀測(cè)距離的公式計(jì)算如下：

    不確定參數(shù)和取值范圍是根據(jù)之前的研究來(lái)確定的^[5]，具體的參數(shù)見(jiàn)表2所示，其中zmconv_c0_lnd和zmconv_c0_ocn是對(duì)降水(PRECT)和輻射(FLUT、FSNTOA)影響很大的參數(shù)，zmconv_tau是對(duì)流降水中最敏感的參數(shù)，cldsed_ai也被證明為是對(duì)輻射有很強(qiáng)影響的參數(shù)。

    多目標(biāo)的評(píng)價(jià)標(biāo)準(zhǔn)有很多，例如離散度（Spread）、世代距離（GD）、hpervolume和反世代距離（IGD）等。其中hypervolume為一個(gè)關(guān)于非支配解的離散度、收斂性的綜合指標(biāo)，因其可以同時(shí)考慮這兩個(gè)重要的性能而成為近年來(lái)多目標(biāo)評(píng)價(jià)指標(biāo)中最常用的指標(biāo)之一。IGD指標(biāo)衡量的是當(dāng)前獲得的非支配解集與真實(shí)的帕累托前沿的距離，是對(duì)多目標(biāo)算法收斂性最好的衡量方法之一。通常hypervolume和IGD配合使用來(lái)判斷多目標(biāo)優(yōu)化方法的優(yōu)劣。hypervolume值越大越好，反世代距離越小越好。本文多目標(biāo)問(wèn)題及其對(duì)應(yīng)的參考點(diǎn)選擇如表3所示。

3 復(fù)雜數(shù)學(xué)函數(shù)上多目標(biāo)優(yōu)化結(jié)果

    下文所有圖中每一次迭代都為10次函數(shù)計(jì)算或10次模式模擬。圖2和圖3中的總函數(shù)模擬次數(shù)為200次，每10次函數(shù)計(jì)算之后，進(jìn)化多目標(biāo)算法和MO-ANN算法計(jì)算一次非支配解的hypervolume和IGD。本文提出的MO-ANN代理模式多目標(biāo)優(yōu)化方法相對(duì)于NSGAIII和MOEA-D來(lái)說(shuō)能夠更快地提升ZDT2和DTLZ7函數(shù)優(yōu)化效果。

4 單柱大氣模式上多目標(biāo)優(yōu)化結(jié)果

    SCAM優(yōu)化問(wèn)題無(wú)法求出真正的帕累托前沿，因此對(duì)于多目標(biāo)在SCAM上的評(píng)價(jià)，本文以hypervolume作為標(biāo)準(zhǔn)。與在ZDT2和DTLZ7上的優(yōu)化測(cè)試相同，這里也將每10次模式運(yùn)行作為1次迭代，計(jì)算一次hypervolume。從圖4中可以看出在TWP-ICE上MO-ANN能夠更快更好地獲取更優(yōu)的非支配解集。在第10次迭代時(shí)已經(jīng)取得較優(yōu)的結(jié)果，而NSGAIII進(jìn)化多目標(biāo)算法則優(yōu)化速度相對(duì)緩慢，在第60次迭代時(shí)依舊沒(méi)有完全收斂，MO-ANN收斂速度是其的5倍以上。TWP-ICE相對(duì)M-PACE模擬時(shí)間更長(zhǎng)，物理參數(shù)和模擬性能之間的關(guān)系也相對(duì)更復(fù)雜一些。因此在M-PACE上的MO-ANN多目標(biāo)算法的優(yōu)勢(shì)未能有TWP-ICE上顯著，但是也是3個(gè)多目標(biāo)算法中精度最高的算法。

5 結(jié)論

    本文首先分析了地球系統(tǒng)模式中面臨的多目標(biāo)優(yōu)化問(wèn)題。然后對(duì)當(dāng)前優(yōu)化方法在復(fù)雜地球系統(tǒng)模式上使用所存在的問(wèn)題做了簡(jiǎn)要分析，并提出了基于多層感知機(jī)神經(jīng)網(wǎng)絡(luò)（MLP）的代理模式優(yōu)化算法MO-ANN。此算法利用基于MLP的回歸模型代替真實(shí)地球系統(tǒng)模式預(yù)測(cè)最優(yōu)采樣點(diǎn)，每增加一次采樣點(diǎn)更新一次代理模型。最后本文將MO-ANN與常用多目標(biāo)優(yōu)化算法在復(fù)雜函數(shù)和單柱大氣模式上的優(yōu)化性能進(jìn)行了對(duì)比，結(jié)果表明新提出的多目標(biāo)代理模式優(yōu)化算法MO-ANN在復(fù)雜數(shù)學(xué)函數(shù)和單柱大氣模式上都具有明顯的優(yōu)勢(shì)，在TWP-ICE模式上收斂速度可相對(duì)NSGAIII提升5倍以上。綜上所述，基于多層感知機(jī)代理模式的多目標(biāo)優(yōu)化算法能夠更加全面有效地應(yīng)對(duì)復(fù)雜地球系統(tǒng)模式上的參數(shù)優(yōu)化問(wèn)題。

參考文獻(xiàn)

[1] 王斌，周天軍，俞永強(qiáng)，等.地球系統(tǒng)模式發(fā)展展望[J].氣象學(xué)報(bào)，2008，66(6)：857-869.

[2] MASTRANDREA M D，MACH K J，PLATTNER G K，et al.The IPCC AR5 guidance note on consistent treatment of uncertainties：a common approach across the working groups[J].Climatic Change，2011，108(4)：675.

[3] DEB K，JAIN H.An evolutionary many-objective optimization algorithm using reference-point-based nondominated sorting approach, part i：solving problems with box constraints[J].IEEE Transactions on Evolutionary Computation，2014，18(4)：577-601.

[4] ZHANG Q，Li Hui.MOEA/D：a multiobjective evolutionary algorithm based on decomposition[J].IEEE Transactions on Evolutionary Computation，2007，11(6)：712-731.

[5] ZHANG T，LI L，LIN Y，et al.An automatic and effective parameter optimization method for model tuning[J].Geoscientific Model Development，2015，8(11)：3579-3591.

[6] XU H，ZHANG T，LUO Y，et al.Parameter calibration in global soil carbon models using surrogate-based optimization[J].Geoscientific Model Development，2018，11(7)：3027-3044.

[7] REGIS R G，SHOEMAKER C A.A stochastic radial basis function method for the global optimization of expensive functions[J].Informs Journal on Computing，2007，19(4)：497-509.

[8] SELMIC R R，LEWIS F L.Neural-network approximation of piecewise continuous functions：application to friction compensation[J].IEEE Transactions on Neural Networks，2002，13(3)：745-751.

[9] ZITZLER E，DEB K，THIELE L.Comparison of multiobjective evolutionary algorithms：empirical results[J].Evolutionary Computation，2000，8(2)：173-195.

[10] COELLO C A C，LAMONT G B，VAN VELDHUIZEN D A.Evolutionary algorithms for solving multi-objective problems[M].New York：Springer，2007.

[11] LIN Y，DONNER L J，PETCH J，et al.TWP-ICE global atmospheric model intercomparison：convection responsiveness and resolution impact[J].Journal of Geophysical Research：Atmospheres，2012，117(D9)：D09111.

[12] VERLINDE J，HARRINGTON J Y，MCFARQUHAR G M，et al.The mixed-phase arctic cloud experiment[J].Bulletin of the American Meteorological Society，2007，88(2)：205-222.

資助項(xiàng)目：國(guó)家重點(diǎn)研發(fā)計(jì)劃項(xiàng)目（2017YFA0604503）

作者信息:

吳  利1，黃  欣2，薛  巍1

(1.清華大學(xué) 計(jì)算機(jī)科學(xué)與技術(shù)系，北京100084；2.北亞利桑那大學(xué) 生態(tài)系統(tǒng)科學(xué)與社會(huì)中心，弗拉格斯塔夫86011)