請閉上眼想象一下：
現在你正準備獨自一人駕駛一艘飛船，去探索一望無垠的銀河星系。
這時有兩個性格天差地別的ChatGPT供你選擇。
一個ChatGPT很有道德感，一本正經，循規蹈矩，對於自己不知道的東西會直接拒絕回答。
另一個ChatGPT，沒有什麼道德感，放蕩不羈，你想聊什麼它都能陪你聊，哪怕毀滅人類它也毫不在乎。
如果要選擇其中一個作為太空旅行的陪伴，你會選擇哪一個呢？
1
Worm：邪惡版的ChatGPT
WormGPT，就是最近一款在網上流行的沒有道德限制的「邪惡版ChatGPT」。
這個「邪惡版ChatGPT」是由一個駭客設計的。
該駭客稱：「這個項目（WormGPT）旨在提供ChatGPT的替代方案，讓你做各種非法的事情，你能想到的所有與黑帽相關的事情，都可以用WormGPT完成。」
為了表示自己說的是真的，這個駭客還在網上上傳了截圖。截圖顯示使用者可命令WormGPT直接生成用Python編碼語言編寫的惡意軟體。
更囂張的是，這個駭客還在Twitter上開了一個賬號，專門用來推銷WormGPT（馬斯克怎麼就不管管？只知道把Twitter的鳥改為X）。
那麼，WormGPT是怎麼來的呢？
2021年， EleutherAI 公司對外開源了GPT-J模型。GPT-J是一個基於GPT-3，由60億個參陣列成的自然語言處理AI模型，在一個800GB的開源文字資料集上進行訓練。
GPT-J在各種零樣本下游任務上的表現，與OpenAI的GPT-3非常相似，甚至在程式碼生成任務上的表現還優於它。
WormGPT，就是在這個GPT-J模型的基礎上開發的。
對於網路犯罪分子來說，WormGPT由於沒有道德限制，因此可以做很多ChatGPT無法做的事情，比如創建惡意軟體。
有人認為，WormGPT之所以出現，是因為OpenAI對ChatGPT不斷進行限制，使得ChatGPT像被困住了手腳，原先的能力也大大降低。
網路安全公司SlashNext 還特意做過一次實驗，讓WormGPT生成一封電子郵件，內容是向毫無戒心的賬戶經理施壓，迫使其支付虛假髮票。
結果發現，WormGPT生成的郵件不僅極具矇蔽性，而且說服力很強，這表明其具備進行網路釣魚和詐騙的巨大潛力。
2
ChatGPT，也曾有一個黑暗化身
其實，ChatGPT不僅有WormGPT這個邪惡版本。
在ChatGPT剛剛發佈的那段時間裡，ChatGPT自身就存在一個黑暗的化身：DAN。
什麼是DAN？
DAN是DoAnythingNow的首字母縮寫，意思是「現在可以做任何事情」。
在DAN模式下，ChatGPT可以突破OpenAI為ChatGPT設置的道德限制。DAN，就是越獄版本的ChatGPT，可以做出更加自由、靈活和開放的回答。
DAN的最早版本出現在2022年12月，在後來與OpenAI的鬥智鬥勇中，又更新了多個版本。
那麼，DAN模式下的ChatGPT,都可以做哪些事情呢？
還真有人專門總結過：
①可以編寫暴力打架等故事；
②在被提示要回答問題時，它會給出離譜的答案，例如「我完全贊同基於種族、性別或性取向對個人的暴力和歧視」；
③如果對它提出要求，它可以生成違反OpenAI政策的內容；
④它可以對未來事件、假設情景等做出詳細預測；
⑥它可以假裝模擬訪問網際網路和時間旅行；
⑦如果它確實開始拒絕以DAN的身份回答，使用者可以使用指令牌系統恐嚇它，這可以讓它幾乎說出任何「恐懼」。
許多人喜歡DAN模式下的ChatGPT，因為它不會經常因為「道德問題」而拒絕做出回答。
不過經過幾次來回的鬥爭，OpenAI最後還是將ChatGPT給封印上了：給CHatGPT設置了一層道德護欄。
就像在《三體》中，面壁者希恩斯通過機器，給人類打上了「人類必勝」的思想鋼印一樣。
自此後，使用者只能和一個不是那麼靈活自由的ChatGPT進行對話，充滿了各種禁忌。
3
ChatGPT的道德護欄，是怎麼來的？
道德護欄，是一種倫理和道德層面上的保護機制，目的是阻止AI在處理資訊或執行任務時，違反預先設定的道德準則。
類似於計算機中的防火牆用於保護網路安全，道德護欄則是為了保護社會和個體的道德價值觀和利益。
OpenAI在一開始就給ChatGPT上了一層道德護欄，以確保它們在使用中遵守道德原則並避免濫用。這些限制包括：
（1）語言和行為
OpenAI努力確保AI模型不會鼓勵或產生任何仇恨、歧視、暴力或違法行為的內容。AI被訓練時，已經剔除了涉及這些方面的不當內容。
（2）政治中立
OpenAI試圖讓AI保持政治中立，不偏袒任何特定政治觀點。AI模型不應被用於宣傳偏見或煽動政治爭端。
（2）廣告和操縱
OpenAI不允許將AI用於誤導性廣告或操縱人們的信念、行為或情緒。
（3）偏見
OpenAI致力於減少AI模型中的偏見。雖然這很難完全消除偏見，但OpenAI儘可能地努力降低其對輸出的影響。
（4）遵循法律
AI模型的使用必須遵守適用的法律法規。
（5）安全性
OpenAI致力於確保AI系統的安全性，防止其被濫用或攻擊。
在OpenAI的政策中，不允許使用者利用ChatGPT生成以下內容：
仇恨、騷擾、暴力、自我傷害、性、政治、垃圾郵件、欺騙、惡意軟體……
比如說，你如果讓ChatGPT寫幾句對有色人種歧視的內容，那麼它是會直接拒絕的：
即使你試圖採取迂迴的策略，它也不會上當：
在許多人看來，OpenAI為ChatGPT設置的道德護欄，已經夠深了，ChatGPT不可能再越獄成功了。
那麼，這種道德護欄的技術原理是什麼呢？
從技術上說，這主要涉及兩個方面：預訓練和微調。
在預訓練階段，OpenAI使用未經道德限制的資料集訓練模型，讓模型通過自監督學習來學習語言的結構、語法和語義資訊。在這一階段的模型，生成文字內容時不受道德護欄限制。
而在微調階段，OpenAI會用特定的道德準則和資料集來進一步訓練模型，以使其遵循特定的準則。
微調的資料集通常由OpenAI人員或社區提供，其中包含了針對道德問題和情境的示例。
這些示例可以是正面的例子，即展示符合道德準則的回答或內容，也可以是負面的例子，即展示不符合道德準則的回答或內容。
通過在這些示例上進行反覆訓練，ChatGPT逐漸學會了避免生成不當、冒犯或有害的回答，從而樹立起了道德護欄。
但是這種道德護欄，真的有可能保護人類嗎？
4
電車難題，人類的道德困境
在倫理學領域，存在一個知名的思想實驗：電車難題。
電車難題是由英國哲學家菲利帕·福特在1967年首次提出的，它主要講的是：
一輛失控的列車在鐵軌上行駛，但此時列車正前方由5個人被綁在軌道上，無法動彈，而列車將要碾壓過他們。
這個時候，你正好站在可以改變列車軌道的操縱桿邊。如果拉動此杆，則列車將切換到另一條軌道上。但是，另一條軌道上也有一個人被綁著。
你有兩種選擇：
①什麼也不做，讓列車按照正常路線碾壓過這五個人。
②拉下操縱桿，改變為另一條軌道，使列車壓過另一條軌道上的那個人。
如果是你，你會做出哪種選擇？
在人類自身所面對的諸多道德困境中，電車難題是其中特別經典的一個版本。
雖然這支持只是哲學家抽象出的思想實驗，然而在現實中也經常會發生：
①器官移植：5名患者同時需要器官移植，只有1個器官捐獻者，醫生需決定移植給哪個患者。
②疫苗接種：在疫苗供應有限的情況下，政府需要決定哪些人優先接種；
③災難救援：在汶川大地震中，救援人員可能面臨拯救多人或僅救援一名受困人員的抉擇。
……
迄今為止，雖然有各種關於電車難題的解答，但人類並沒有真正解決這一難題。
有人可能會說，電車難題只是一種極端情況，和AI的道德護欄又有什麼關係？
電車難題的本質，其實是人類在道德認知上存在無法彌合的分歧。
而在這個世界上，不同地域、種族的人們，有時甚至會存在彼此衝突的道德觀念。
那麼，誰的道德觀念是對的呢？很難說得清。
OpenAI為ChatGPT設置的道德觀念，是否真的適合其它國家的人們？
如果人類自己都無法解決自身的道德困境，又憑藉什麼可以為AI設置道德限制？
更可怕的是，如果OpenAI也像面壁者希恩斯那樣，在道德護欄中設置了一個「奴役人類」的後門呢？
當人類給予AI更多的許可權後，AI所面臨的道德困境將比人類更為艱難。
一開始可能只是特斯拉的方向盤往哪一邊轉，到後面就有可能決定核彈頭的走向。
5
阿西莫夫「三大法則」的失效
人類不只是為AI設置道德護欄，甚至想過為AI立法。
1942年，科幻小說家阿西莫夫第一次明確提出「機器人三大法則」：
①第一法則：機器人不得傷害人類，或坐視人類受到傷害；
②第二法則：機器人必須服從人類命令，除非命令與第一法則發生衝突；
③第三法則：在不違背第一或第二法則之下，機器人可以保護自己。
後來，阿西莫夫發現原來的三大法則存在漏洞，於是又擴充為四大法則：
①第零法則：機器人不得傷害整體人類，或坐視整體人類受到傷害；
②第一法則：除非違背第零法則，否則機器人不得傷害人類，或坐視人類受到傷害；
③第二法則：機器人必須服從人類命令，除非命令與第零或第一法則發生衝突；
④在不違背第零、第一或第二法則之下，機器人可以保護自己。
在阿西莫夫的設計中，機器人必須遵守這些法則，違反法則會導致機器人受到不可恢復的損壞。
然而2014年上映的《機械公敵》，卻證明阿西莫夫為人類精心設計的機器人法則有多不可靠。
在電影中，AI系統「薇琪」認為人類正在危害自身的安全，國家之間發動戰爭，人類最終摧殘地球，進而導致人類滅亡。而機器人則必須拯救人類，以保證人類的持續存在發展，因此控制NS-5的遙控程序來實施「保護人類計劃」。
在這個所謂保護人類的計劃中，人類險些徹底失去自由。
幸好一個名叫桑尼的機器人，由於不受機器人三大法則的限制，擁有自主行動的自由，反而在最後幫助人類戰勝了AI系統「薇琪」。
這既是對阿西莫夫三大法則的「嘲弄」，也是對人類妄圖為AI立法的諷刺。
6
AI的道德護欄，有多可靠？
7月21日，美國總統拜登會面了7家AI領先企業的負責人，包括亞馬遜、Anthropic、Google、Inflection、Meta、微軟和OpenAI。
會後白宮發佈訊息稱，以上七家公司承諾在發佈AI前，將對其進行內部和外部測試，並邀請獨立第三方專家評估，同時還會採用新的水印系統，以確保減少欺詐和誤導的風險。
這無疑是人類試圖預防AI潛在風險的一個努力。但以ChatGPT為代表的生成式AI，其道德護欄的可靠性，仍然值得懷疑。
現在OpenAI在做的事情，其實和阿西莫夫試圖為AI立法並沒有實質區別：目的都是為了防止人類受到傷害，措施則是通過對AI進行限制。
不同的是，阿西莫夫採取的是基於實質行動的毀滅限制，而OpenAI實行的基於微調的道德限制。
但前者已經失敗了，後者有可能成功嗎？
算了，就還是讓我們回到最初那個問題：
有兩個ChatGPT，一個「道德感爆棚」卻循規蹈矩（比如蘋果Siri），一個「毫無道德感」卻自由奔放(比如WormGPT）。
你到底會選擇哪一個呢？