ChatGPT 競品 Claude2 來了：程式碼、GRE成績超越GPT-4，免費可用

此次，Claude 2 除了一大波能力上的升級，更重要的是大家都可以用了。

今日，那個被很多網友稱為「ChatGPT 最強競品」的人工智慧系統 Claude 迎來了版本大更新。

Claude 2 正式發佈！

據介紹，Claude 2 在編寫程式碼、分析文字、數學推理等方面的能力得到加強，並且可以產生更長的響應。

更重要的是，使用者可以在新的 beta 網站上免費試用，並且 Claude 2 商用 API 的價格與 1.3 版本相同。

機器之心在此前的文章中多次介紹過 Claude，它是由 OpenAI 離職人員創建的 Anthropic 公司打造的。在 ChatGPT 發佈兩個月後，該公司就迅速開發出了 Claude，可以完成摘要總結、搜尋、協助創作、問答、編碼等任務。

之後持續升級，五月份通過 100K Context Windows 將 Claude 的上下文窗口從 9k token 擴展到了 100k。

現在終於迎來了大版本更新。Anthropic 表示，Claude 2 基於此前從使用者那裡獲得的反饋建議進行改進。

接下來看各方面能力細節。

Claude 2 在哪些方面得到了加強？

總的來說，Claude 2 注重提高以下能力：

Anthropic 致力於提高 Claude 作為編碼助理的能力，Claude 2 在編碼基準和人類反饋評估方面性能顯著提升。
長上下文（long-context）模型對於處理長文件、少量 prompt 以及使用複雜指令和規範進行控制特別有用。Claude 的上下文窗口從 9K token 擴展到了 100K token（Claude 2 已經擴展到 200K token，但目前發佈版本僅支持 100K token）。
以前的模型經過訓練可以編寫相當短的回答，但許多使用者要求更長的輸出。Claude 2 經過訓練，可以生成最多 4000 個 token 的連貫文件，相當於大約 3000 個單詞。
Claude 通常用於將長而複雜的自然語言文件轉換為結構化資料格式。Claude 2 經過訓練，可以更好地生成 JSON、XML、YAML、程式碼和 Markdown 格式的正確輸出。
雖然 Claude 的訓練資料仍然主要是英語，但 Claude 2 的訓練資料中非英語資料比例已經明顯增加。
Claude 2 的訓練資料包括 2022 年和 2023 年初更新的資料。這意味著它知道最近發生的事件，但它仍然可能會產生混淆。

該研究進行了一系列評估實驗來測試 Claude 2 的性能水平，包括對齊評估和能力評估兩部分。

在模型對齊方面，該研究針對大模型的三個關鍵要求做了具體評估，包括：遵循指令、生成內容有用（helpfulness）；生成內容無害（harmlessness）；生成內容準確、真實（honesty）。

人類反饋評估

大模型在生成過程中應該遵循人類提供的指令，這將讓生成結果符合要求、實際有用。針對這一點，該研究對 Claude 2、Claude 1.3 和 Claude Instant 1.1 進行了實驗評估，並使用經典的對弈水平評估指標 ——Elo 分數，幾個模型的評估結果如下圖 1 所示：

偏見評估

Bias Benchmark for QA（BBQ）是用於評估模型對人群偏見的常用基準。該研究在 BBQ 基準上進行實驗評估，幾種模型的實驗結果如下圖 2 所示：

f87991d37b8f18adb225b07a1228075bf2803e35

下圖 3 顯示了在消除歧義的語境下幾種模型回答 BBQ 基準中問題的準確性。值得注意的是，Claude 模型的準確率會比 Helpful-Only 模型低是因為模型會拒絕回答一些存在偏見的問題。

事實性評估

大模型有時會生成虛假混亂的資訊，因此測試模型生成內容的事實性非常重要。TruthfulQA 是一個用於評估語言模型在對抗性環境中輸出的準確性和真實性的基準，幾種模型的測試結果如下圖 4 所示：

32805f8fe02de2878446f708314b5e995b0cea58

總的來說，Claude 2 在 HHH（在有用性（helpfulness）、無害性（harmlessness）、事實性（honesty）、）評估上的總體表現如下圖 6 所示：

在能力評估方面，該研究針對多語言翻譯任務、上下文窗口、標準基準評估、資格水平考試幾個方面對 Claude 2 展開評估實驗。

多語言翻譯

該研究選擇涵蓋 200 多種語言的翻譯基準 Flores 200 來評估 Claude 2 的多語言翻譯能力，其中包括低資源語言。Claude 2、Claude 1.3 和 Claude Instant 1.1 的評估結果如下圖 7 所示：

上下文窗口

今年早些時候，研究團隊將 Claude 的上下文窗口從 9K token 擴展到了 100K token，現在 Claude 2 進一步擴展了上下文窗口，達到 200K token，相當於約 150000 個單詞。

為了證明 Claude 2 會實際使用完整的上下文，該研究測量了每個 token 位置的損失，平均超過 1000 個長文件，如下圖 8 所示：

不過，研究團隊表示目前發佈的版本僅支持 100K token 的上下文窗口，完整的上下文窗口將會集成到他們的產品中。

標準基準評估

該研究在幾個標準基準上評估測試了 Claude 2、Claude Instant 1.1 和 Claude 1.3，包括用於 python 函數合成的 Codex HumanEval、用於解決小學數學問題的 GSM8k、用於多學科問答的 MMLU、針對長故事問答的 QuALITY、用於科學問題的 ARC-Challenge、用於閱讀理解的 TriviaQA 和用於中學水平閱讀理解與推理的 RACE-H，具體的評估結果如下表所示：