為武裝到牙齒的自主機(jī)器人編寫程序，讓它們遵守道德準(zhǔn)則是否可行？作家艾薩克· 阿西莫夫在1942年提出的機(jī)器人定律現(xiàn)在成了炙手可熱的話題。

　　2029年，人類和智能機(jī)器人之間的一場大戰(zhàn)打響：機(jī)器人“終結(jié)者”被派到過去，奉命殺死約翰·康納（John Connor）的母親莎拉·康納（Sarah Connor）——這是由詹姆斯·卡梅?。↗ames Cameron）于1984年創(chuàng)作的5部系列電影的序曲。科幻文學(xué)的創(chuàng)作者并沒有料想到，如今的科技已經(jīng)發(fā)展到可以制造出這樣的機(jī)器人：它們一旦被授予使命后，會(huì)自發(fā)地做出殺人甚至暴動(dòng)的決定。

　　這些機(jī)器人殺手在國際軍備討論中有一個(gè)恰如其分的名字：LAWS（Lethal Autonomous Weapons Systems，致命性自主武器系統(tǒng)）。這種機(jī)器人已經(jīng)登上了歷史的舞臺(tái)，將它們帶到戰(zhàn)場上會(huì)引起各種各樣的爭議：如何定義這些機(jī)器人？它們到底能做什么？更不用說與人類士兵一同出現(xiàn)在戰(zhàn)場時(shí)所造成的倫理問題。

　　從1942年開始，著名的美籍俄羅斯裔科幻作家艾薩克·阿西莫夫在《驚奇科幻小說》（Astounding Science Fiction）上提出了機(jī)器人的倫理問題。今天，阿西莫夫被世人視為機(jī)械倫理學(xué)（roboethics）之父。這門哲學(xué)學(xué)科催生了許多相關(guān)的研討會(huì)和無數(shù)的書籍，在美國尤其如此。阿西莫夫在1942年出版的小說《轉(zhuǎn)圈圈》（Runaround）中描述了機(jī)器人三定律。他提出，所有的機(jī)器人程序都必須考慮到這三條定律，目的是為了約束這些自主機(jī)器的行為，讓它們服從以保護(hù)人類為目的的強(qiáng)制性道德準(zhǔn)則。

　　機(jī)器人定律

　　第一定律：機(jī)器人不得傷害人類，或坐視人類受到傷害；

　　第二定律：除非違背第一法則，否則機(jī)器人必須服從人類的命令；

　　第三定律：在不違背第一及第二法則下，機(jī)器人必須保護(hù)自己。

　　此后，阿西莫夫又添加了一條定律：

　　第零定律：機(jī)器人不得傷害人類族群，或因不作為使人類族群受到傷害。

　　遵守這些定律時(shí)引發(fā)的困局是阿西莫夫所著的500本書籍的主題。他嚴(yán)肅地思考了這些定律的意義，并想象了這些定律被采納時(shí)發(fā)生的情形。有這樣一段軼事，當(dāng)斯坦利·庫布里克（Stanley Kubrick）的電影《2001：太空漫游》（2001： A Space Odyssey）放映時(shí)，阿西莫夫氣沖沖地沖出了影院，因?yàn)殡娔XHAL 9000違反了他制定的第一定律：HAL殺害了“發(fā)現(xiàn)者”1號飛船（Discovery One）的船員。 然而時(shí)至今日，阿西莫夫關(guān)于機(jī)械倫理的設(shè)想并未如愿：如今的機(jī)器人并沒有安裝強(qiáng)制它們服從機(jī)器人定律的機(jī)制或指令。為什么會(huì)這樣呢？

　　無法服從機(jī)器人定律

　　現(xiàn)在的機(jī)器人擁有的功能和人們當(dāng)初設(shè)想的不太一樣?？萍疾]有讓我們憑空創(chuàng)造出和自己一樣的東西，我們并不能像對待奴隸或傭人那樣命令并指使它們。機(jī)器人以及智能系統(tǒng)的產(chǎn)生并不是一蹴而就，因?yàn)榭萍伎偸茄刂庀氩坏降姆较蚯斑M(jìn)。這樣一來，如何準(zhǔn)確區(qū)分機(jī)器人和智能系統(tǒng)就變得十分棘手。

　　駕駛飛機(jī)平安降落的自主系統(tǒng)能否稱為機(jī)器人？它是否具有智能？我們很容易得出否定的答案。這個(gè)自主系統(tǒng)操作飛機(jī)的能力和人類飛行員一樣好，而且對自己的具體方位了如指掌（因此它具有自我意識(shí)的雛形），所以才能讓飛機(jī)準(zhǔn)確降落。雖然它的功能很有限（不會(huì)讀書，也不會(huì)預(yù)訂賓館，更不懂得電影鑒賞），但是在降落飛機(jī)這件棘手且人命關(guān)天的任務(wù)上，它和人類相比毫不遜色。

　　互聯(lián)網(wǎng)搜索引擎所使用的算法能夠從海量數(shù)據(jù)中提取出關(guān)鍵信息，并向用戶推薦可能感興趣的網(wǎng)頁，這是任何人類都無法做到的。然而，有些人依然會(huì)吹毛求疵，認(rèn)為這些算法不夠聰明。這種看法有失偏頗，因?yàn)檫@些程序只是專注于特定的任務(wù)，不能認(rèn)為它們就是愚蠢的。

　　現(xiàn)代社會(huì)中廣泛使用的機(jī)器人的工作非常專業(yè)化，它們不具備與人類用通俗語言交流的能力。我們無法要求它們遵守阿西莫夫的機(jī)器人定律，是因?yàn)樗鼈兺耆荒芾斫膺@些定律的意義。如果想要應(yīng)用機(jī)器人定律，智能系統(tǒng)必須具備邏輯分析和推理能力，并且能夠預(yù)測行為所導(dǎo)致的后果，以判斷人類下達(dá)的指令是否和任何一條定律相悖。但目前，沒有機(jī)器人可以進(jìn)行這樣的分析。

　　美國iRobot公司的創(chuàng)始人羅德尼·布魯克斯（Rodney Brooks）曾就上述問題直白地表達(dá)了自己的觀點(diǎn)。iRobot是一家設(shè)計(jì)、制造和銷售機(jī)器人的公司。該公司制造的PackBot機(jī)器人大量用于福島核電站和阿富汗。媒體采訪他時(shí)，問起iRobot生產(chǎn)的機(jī)器人為何沒有設(shè)置為自動(dòng)服從阿西莫夫定律，他回答道，“理由很簡單，我們根本沒法把阿西莫夫的定律寫入它們的系統(tǒng)中?！彪m然未來的智能系統(tǒng)可能會(huì)隨著科技的進(jìn)步而發(fā)展出智力，并且智能系統(tǒng)中負(fù)責(zé)自主抉擇的組件也會(huì)獲得性能提升，但這種機(jī)器智力和人類仍然不可同日而語。也就是說，科幻作家當(dāng)初讓機(jī)器人理解和服從阿西莫夫定律的希望，現(xiàn)在已經(jīng)變成了一件異想天開的事。但是，我們現(xiàn)在討論機(jī)械倫理問題并非多此一舉。因?yàn)樵谧詣?dòng)駕駛領(lǐng)域，相關(guān)研發(fā)已經(jīng)進(jìn)行了許多年，多家公司設(shè)計(jì)的性能穩(wěn)定的產(chǎn)品也將進(jìn)入市場，因此討論機(jī)械倫理問題的時(shí)機(jī)已經(jīng)成熟。

　　機(jī)器人的道德問題

　　設(shè)想下這樣一個(gè)場景：一輛高速行駛中的無人駕駛汽車前方，出現(xiàn)了一個(gè)追逐皮球而橫穿馬路的孩子，而逆向車道上有一個(gè)騎著自行車的成年人。此時(shí)，自動(dòng)駕駛系統(tǒng)經(jīng)過分析會(huì)得出兩種選擇：一是減速但是維持前進(jìn)方向不變，這樣就可能撞到孩子；二是減速并向左轉(zhuǎn)向，而這又會(huì)威脅到騎行者的安全。自動(dòng)駕駛系統(tǒng)應(yīng)該如何抉擇？撞向孩子還是成年人？

　　經(jīng)常有媒體表示，自動(dòng)駕駛汽車可媲美人類司機(jī)，這也是一些汽車制造商在標(biāo)榜安全性時(shí)提到的新賣點(diǎn)。這種觀點(diǎn)受眾范圍很廣，讓我們很難在未來禁止自動(dòng)駕駛汽車。在理想的情況下，它們的反應(yīng)和決策能力都是無可挑剔的：它們能夠根據(jù)預(yù)設(shè)的程序進(jìn)行決策，選擇挽救追皮球的孩子，還是騎自行車的人。

　　那么應(yīng)由誰來制定機(jī)器人的道德規(guī)則？又該如何制定這種道德規(guī)則？要回答這些問題并不容易，但是不可避而不談。如一些研究者證明的那樣，在邏輯學(xué)家看來，有些道德問題的邏輯過于復(fù)雜甚至是不可判定的。

　　現(xiàn)在的機(jī)器人沒有被預(yù)裝阿西莫夫定律的另一個(gè)原因是： 我們制造某些機(jī)器人的目的就是為了殺戮。這已經(jīng)變成了一個(gè)嚴(yán)重的問題，值得我們思考和討論。

　　人類制造用來殺戮同類的機(jī)器人已經(jīng)有數(shù)十年的時(shí)間，而且只要“機(jī)器人”、“自主性”和“殺戮”這個(gè)三個(gè)特性一同出現(xiàn)，情況就變得十分棘手。拿埋在道路上的地雷為例子，我們可以說它具有自主性，因?yàn)楫?dāng)它“覺察”到四周出現(xiàn)物體時(shí)會(huì)“決定”爆炸，而這個(gè)決定并不需要人類的許可。許多導(dǎo)彈和炸彈起爆的唯一條件是，它們敏感的引信裝置覺察到自己將要和目標(biāo)或者地面發(fā)生接觸。那些一旦發(fā)射就無法改變目標(biāo)的導(dǎo)彈的情況就更加微妙了。第二次世界大戰(zhàn)時(shí)，德國發(fā)射過15 000枚V-1飛彈和4 000枚V-2導(dǎo)彈，這兩種導(dǎo)彈只能在發(fā)射前設(shè)置飛行路線，發(fā)射后就無法再做更改。幸好這兩種導(dǎo)彈的準(zhǔn)頭都不太好，但依然給盟軍造成了不小的傷亡。

　　美國在戰(zhàn)爭中使用的由人操控的攻擊型無人機(jī)已經(jīng)引起了倫理方面的爭議。有些無人機(jī)可以在自動(dòng)模式下開啟，這又引起了更多的道德問題。　　美國在戰(zhàn)爭中使用的由人操控的攻擊型無人機(jī)已經(jīng)引起了倫理方面的爭議。有些無人機(jī)可以在自動(dòng)模式下開啟，這又引起了更多的道德問題。

　　有些導(dǎo)彈通過分析圖像的對比度（這種技術(shù)可以讓導(dǎo)彈跟蹤海面上的目標(biāo)）或者跟蹤紅外線輻射，能夠自己確定目標(biāo)并朝著目標(biāo)前進(jìn)。一些邊境監(jiān)控系統(tǒng)能夠瞄準(zhǔn)任何跨越禁區(qū)的目標(biāo)并向其開火。部署在韓朝非武裝地帶的、由三星Techwin公司生產(chǎn)的監(jiān)控和安全警衛(wèi)機(jī)器人（Samsung SGR-A1）就是一個(gè)很好的例子。該系統(tǒng)由兩位操作員控制，但它具備一個(gè)自動(dòng)攻擊模式。有些防空系統(tǒng)則具備無人值守模式，比如久經(jīng)考驗(yàn)的美國愛國者反導(dǎo)彈系統(tǒng)（Patriot），密集陣近程防御系統(tǒng)（Phalanx）和以色列的鐵穹防御系統(tǒng)（Iron Dome）等。

　　值得一提的是，美國在許多戰(zhàn)場上使用的無人機(jī)其實(shí)是遠(yuǎn)程遙控的，通常情況下，它們在投放武器前會(huì)等待操作員給出明確的指令。經(jīng)過媒體的轉(zhuǎn)播和報(bào)道，全世界都已經(jīng)見識(shí)過這些機(jī)器殺手的效率，不過在執(zhí)行對地打擊任務(wù)時(shí)，它們同樣造成了不小的間接傷害，奪取了許多無辜受害者的生命。一些無人機(jī)可以在自動(dòng)模式下工作，自行決定是否開火，并不需要人類的干涉。

　　在聯(lián)合國于2013年發(fā)表的一份報(bào)告中，南非比勒陀利亞大學(xué)的法學(xué)教授克里斯托弗·海因斯（Christof Heyns）認(rèn)為，自主殺人機(jī)器人已經(jīng)在一些國家（如美國、英國、以色列、韓國等）的軍方實(shí)驗(yàn)室誕生了，已經(jīng)磨刀霍霍準(zhǔn)備開始行動(dòng)。毫無疑問，人類能夠創(chuàng)造并利用具有部分智力的自主軍事武器，把它們派遣到地面戰(zhàn)場上或空中去搜索敵人。無需人類許可，它們就能自己辨認(rèn)并消滅目標(biāo)。就算我們假定在戰(zhàn)斗決策環(huán)中有人類存在，如果不對這些機(jī)器自主性的深層概念進(jìn)行調(diào)整的話，它們還是可以撇開人類獨(dú)自執(zhí)行任務(wù)。

　　我們要往何處去？

　　現(xiàn)在，我們需要回答的問題可被歸結(jié)成：我們是否真的希望在這條路上走下去？是否應(yīng)該限制或者禁止使用自主殺人武器？

　　在為這些武器系統(tǒng)辯護(hù)的論據(jù)中，有兩條關(guān)鍵的理由。首先，現(xiàn)在采取任何措施都已太遲，這些系統(tǒng)已經(jīng)存在。第二，這些機(jī)器人終有一日會(huì)變得更為精準(zhǔn)，它們會(huì)更加尊重平民和交戰(zhàn)規(guī)則，而人類戰(zhàn)士在這兩個(gè)方面則不能完美地執(zhí)行。換而言之，這些武器能夠讓戰(zhàn)爭和沖突變得更為“干凈”。

　　第一條論據(jù)可以被輕松反駁。人類已經(jīng)制造出了核武器、化學(xué)武器以及細(xì)菌武器，但這不能阻止各國簽訂國際條約來管理和禁止這些武器。這些協(xié)議的簽訂有效限制了上述武器的使用。對于殺傷性地雷和致盲激光武器，也有相關(guān)協(xié)議（其中一項(xiàng)協(xié)議已于1998年生效）進(jìn)行約束。因此，各國政府可以協(xié)商一致，停止自主殺人機(jī)器人的研發(fā)?，F(xiàn)在這個(gè)問題已被搬上了國際法庭討論，每個(gè)人都有權(quán)力采取行動(dòng)來促進(jìn)這類討論盡快得出結(jié)論。

　　第二條論據(jù)——?dú)⑷藱C(jī)器人可使戰(zhàn)爭變得更加“干凈”——是無效的。實(shí)際上，這條論據(jù)等同于將“只攻擊敵人”、“不要攻擊平民”、“人不犯我，我不犯人”等道德準(zhǔn)則強(qiáng)加給殺人機(jī)器人。然而，我們連怎樣將阿西莫夫的機(jī)器人定律寫入系統(tǒng)代碼都做不到，這些道德準(zhǔn)則更是無從談起。

　　或許，當(dāng)我們研發(fā)出具有更加先進(jìn)的分析能力的機(jī)器人時(shí)，再重新考慮這個(gè)問題也不遲。但就目前而言，我們無法編寫出類似于阿西莫夫機(jī)器人定律的道德規(guī)范?？偠灾覀冊斐鰜淼臋C(jī)器人需要有精確移動(dòng)的能力，能夠向人類或非人類目標(biāo)快速而準(zhǔn)確地開火，但它們不能決定是否要開火，以及對誰投放出致命的火力。

　　反對自主殺人機(jī)器人的人還提出了其他論據(jù)。一封發(fā)表在2015年7月的公開信得到了2萬人左右的簽名，簽名者是人工智能領(lǐng)域的專家以及其他對此話題頗為關(guān)切的人，其中包括著名物理學(xué)家斯蒂芬·霍金（Stephen Hawking）以及蘋果公司聯(lián)合創(chuàng)始人史蒂夫·沃茲尼亞克（Steve Wozniak）。這封公開信要求停止研發(fā)具有殺人能力的自主系統(tǒng)，并且表示這些系統(tǒng)可以被恐怖分子當(dāng)作武器。

　　自主殺人機(jī)器人的問題比其他類型的武器（如核武器）更嚴(yán)重，因?yàn)樽灾鳉⑷藱C(jī)器人的技術(shù)研發(fā)比較分散。機(jī)器人是由眾多程序和相對容易獲取的硬件制造而成的。但是，軟件易于復(fù)制和傳播，這與核武器完全不同。機(jī)器人技術(shù)領(lǐng)域的任何進(jìn)步都有可能被最邪惡的恐怖分子盜取，用于大型黑幫活動(dòng)等。

　　為了達(dá)成國際共識(shí)，首當(dāng)其沖的是解決如何定義自主機(jī)器人的難題。自主機(jī)器人的定義是否真的比定義細(xì)菌武器或是化學(xué)武器更困難嗎？考慮到這一問題的緊迫性，我們應(yīng)該率先就那些毫無爭議的案例達(dá)成一致。

　　禁用殺人機(jī)器人？

　　2015年4月13號到17號，瑞士日內(nèi)瓦召開了一次關(guān)于致命性自主武器系統(tǒng)（LAWS）的非正式專家會(huì)議。會(huì)上，專家們討論了自動(dòng)性（automaticity）和自主性（autonomy）之間的差別，以及“明顯的人類控制”（significant human control）的定義。在2014年的一次會(huì)議中，法國代表讓-雨果·西蒙·米歇爾（Jean-Hugues Simon Michel）主持了關(guān)于LAWS的討論，他在會(huì)后進(jìn)行總結(jié)時(shí)說：“在熱烈的討論中，我們感受到了自主武器令人興奮的本質(zhì)”，希望我們不止停留在膚淺討論的層面上。

　　在法國，2014年CERNA（Commission de réflexion sur l’éthique de la recherche en sciences et technologies du numérique d’Allistene，阿里斯滕數(shù)字科技研究倫理思考委員會(huì)）的一項(xiàng)關(guān)于機(jī)器人的報(bào)告對上述問題僅僅輕描淡寫地一筆帶過。不過，一些法國專家看起來意識(shí)到了這個(gè)問題。羅南·多阿雷（Ronan Doaré）和法國圣西爾科?；?dāng)研究中心的一些法律和軍事專家最近發(fā)表了一本相關(guān)作品（見“擴(kuò)展閱讀”）。

　　在國際上，雖然人權(quán)觀察組織（Human Rights Watch）軍事裝備部主任史蒂夫·谷斯（Steve Goose）建議盡快組織討論，以便各國共同禁止使用殺人機(jī)器人。但是，另一些人則認(rèn)為谷斯的號召并不會(huì)引起多大的反響，仍有許多國家希望在不受干擾的情況下研究相關(guān)資料。

　　更糟糕的是，一些人認(rèn)為，《國際人權(quán)法》可以作為相關(guān)討論的基本參考依據(jù)。而根據(jù)《國際人權(quán)法》，我們并不能禁止遵守該法的LAWS。這完全是癡人說夢，犯了和阿西莫夫一樣的錯(cuò)誤。這些人以為我們可以對機(jī)器人說：“這些是你應(yīng)當(dāng)遵守的規(guī)定”。

　　在科幻小說和電影中總有一個(gè)主題反復(fù)出現(xiàn)：機(jī)器人的起義。阿西莫夫可能就是考慮到了這點(diǎn)才設(shè)計(jì)出他的著名定律：機(jī)器人必須要順從聽話。雖然今天的機(jī)器人完全沒有造反的能力，但是未來的機(jī)器人可能引發(fā)叛亂是個(gè)有意義的話題。因?yàn)槿魏蜗到y(tǒng)都有可能存在軟件上的漏洞。眾所周知，打造一套毫無差池的數(shù)字系統(tǒng)幾乎是不可能的。所以說，未來的某些機(jī)器人也會(huì)出現(xiàn)BUG，即使在遙遠(yuǎn)的未來這一點(diǎn)也不會(huì)發(fā)生變化。

　　機(jī)器人的反叛

　　那么，如何避免程序漏洞，使得殺人機(jī)器人不會(huì)攻擊人類？或許一行不巧被刪掉的代碼就能產(chǎn)生這樣的漏洞，我們是否可以把機(jī)器人的這種行徑視為反叛呢？這個(gè)問題和人類的追責(zé)機(jī)制類似。即使殺了人，瘋子也是不用負(fù)責(zé)任的。因此，需要定義什么叫“機(jī)器人發(fā)瘋”。最為可能的情況是，機(jī)器人出現(xiàn)了軟件BUG，也可能是其他一連串的可能性。機(jī)器人反叛的真正問題首先在于如何定義反叛，而想要給出這項(xiàng)定義卻是困難重重。遠(yuǎn)在一伙組織有序且決意奪取人類權(quán)力的機(jī)器兵團(tuán)揭竿而起之前，我們可能已經(jīng)遭遇了一系列錯(cuò)綜復(fù)雜的情況，比如機(jī)器故障導(dǎo)致人身傷害或者死亡，甚至是涉及眾多人群的大規(guī)模災(zāi)難。如何區(qū)分愚蠢的故障和有意為之的反叛呢？

　　美國康涅狄格大學(xué)的著名機(jī)器人倫理問題專家蘇珊·安德森（Susan Anderson）提出，機(jī)器人造反實(shí)際上可能是正當(dāng)?shù)摹Ｔ谒磥?，道德學(xué)巨匠伊曼努爾·康德（Emmanuel Kant）就曾間接地討論過智能機(jī)器人的問題。她重新審視了阿西莫夫的機(jī)器人定律：如果“機(jī)器人”有能力理解并實(shí)踐機(jī)器人定律，那么我們是否有權(quán)將這些定律強(qiáng)加于它們之上，并要求它們成為人類的奴隸呢？

　　蘇珊·安德森指出，按照康德的觀點(diǎn)，人類欠動(dòng)物一份尊重，因?yàn)橹挥形覀冏鹬厮鼈儯鼈儾艜?huì)尊重我們。她認(rèn)為依據(jù)同樣的道理，如果康德也曾思考過機(jī)器人的問題，他可能會(huì)支持這樣一種觀念：如果有一天能夠理解機(jī)器人定律的機(jī)器人真的出現(xiàn)了，那么我們應(yīng)當(dāng)尊重它們，向它們強(qiáng)加機(jī)器人定律也就無從談起了。

　　這個(gè)觀點(diǎn)和卡耐基梅隆大學(xué)的機(jī)器人專家漢斯·莫拉維克（Hans Moravec）的想法頗為相似。他提出，機(jī)器人將成為人類的后裔，即使有一天它們?nèi)〈宋覀冊诘厍蛏系奈恢?，也?yīng)該經(jīng)過了我們的許可，就像是老人將他的事業(yè)交給孩子們一樣。

　　科幻作品以輕松愉快的方式處理了這些與現(xiàn)在相距甚遠(yuǎn)的問題，科學(xué)和哲學(xué)又迫使我們重新思考。我們亟需對目前已經(jīng)出現(xiàn)的（殺人或不殺人）機(jī)器人進(jìn)行公正的評估并采取相應(yīng)的手段。這些繁復(fù)的評估任務(wù)包含了許多難解的倫理和哲學(xué)謎題，而其中一些迫切需要答案。哲學(xué)家、倫理學(xué)家、邏輯學(xué)家、軍方人士和軟件工程師應(yīng)當(dāng)展開討論并達(dá)成一致的意見。