機器之心原創
作者：吳昕
企業被放在了開往大模型時代列車的駕駛座上。
從 2 月份起，我們就被絡繹不絕的大模型發佈和各種 AI 新品轟炸。風暴眼當然是 ChatGPT。
除了極少數瞄準通用底層的野心，一眾以 AIGC、NLP 技術為名的創業公司後臺接入基礎大模型底座，前端做 UI 設計，上架應用商店。
還有一些 AI 公司沒有通用底層的抱負，但也不滿足於 API 式創新，而是瞄準了中間層與應用層的戰略價值。他們往往沒有參數規模的執念，更關心行業落地的效率。
竹間智慧就是其中一員。八年前，前微軟（亞洲）網際網路工程院副院長簡仁賢堅定看好對話機器人在企業級市場的潛力，離開微軟創業。最近，竹間智慧也官宣了自己大模型產品矩陣「1+4」，希望解決大模型落地行業「最後一公里問題」。
「實際上大部分企業場景不需要 AGI（通用人工智慧）來滿足，在合理的成本下選擇合適的模型才是企業客戶需要思考的。」公司 CEO 簡仁賢在接受機器之心專訪時談道。
這套「1+4」產品的邏輯關係，簡明清晰。
「1」指 EmotiBrain ，一個大模型微調訓練平臺，專注降低大模型訓練的成本，提供從模型選擇、微調訓練、評測、部署到最後接入企業應用的一站式服務。
定製好的模型只是一臺強大的發動機，沒辦法直接上路。為此，竹間智慧又推出四款裝配先進發動機的「車型」。
如果你體驗過微軟 Office Copilot ，超級助手 KKbot 的功能幾乎與之無異。 Magic Writer 是大模型 AIGC 能力最典型的應用，除了文字生成，還可以文生圖。 Emoti Coach 是由大語言模型和生成式AI驅動的「教練」，培訓效果完勝被動式的e-learning。
至於 Knowledge Factory 、Bot Factory+，顧名思義，肯定與批量生產有關。
背靠大模型， Bot Factory 能力升級，以更低成本、更高效率批量生產對話機器人。 Knowledge Factory 協助企業在私域資料必須「足不出戶」的限制下，更好管理內部知識資料，也為穩定大模型的輸出質量打好基礎，讓知識與模型形成閉環。
一、「中間層」的價值
企業要想享受到大模型的神奇能力，一般有三個辦法。
像Google、Meta、OpenAI 一樣從零開始、全量訓練基礎大模型。但鉅額開發成本（動輒百萬甚至千萬美金）和頂尖人才（據說全球不過百人）稀缺註定這是一條「少有人走的路」。
第二個辦法是在開源預訓練模型上面做微調( Fine-Tuning ) 。 Vicuna、Alpaca 、Guanaco 羊駝系列預訓練模型都是在最初的 LLaMA 上做了微調。目前，大部分國產大模型也是在 GPT、LLaMA 的框架上進行訓練與微調，並在此基礎上為客戶定製行業模型。
「還有一個辦法是在與訓練好的模型上用 embedding 與 vectorization 做預檢索給企業提供私有資料的大模型。」簡仁賢說。
這個辦法做起來很方便，但弊端也很明顯。檢索依賴檢索的indexing及語義匹配效果來獲得比較好的輸出，如果 indexing 的檢索、ranking、語義相似與理解的匹配能力不夠，給到大模型的資料也會有誤差，這些技術 NLP 廠商相對的做的更好。
在他看來，通過在預訓練模型上微調獲得定製化行業模型（也就是第二個辦法）最適合中國國情，不過成本比只用 embedding 的方式高，技術與資料的門檻也比較高。
「生成式 AI 有一個很重要的特點，它是根據訓練資料生成的，所以大模型在中國落地面臨的最大挑戰就是資料安全，模型安全。」簡仁賢認為。
企業不可能把內部資料上傳，比如產品設計、技術架構、核心程式碼、製造工藝、配方、客戶隱私，會議紀要，戰略文件，業務規劃，商業邏輯等，一定要保留在內部，尤其是對於國央企、金融、能源、大型集團企業、先進製造等資料敏感性較高的行業而言。所以，「未來一定是企業擁有自己專屬的、定製化、場景化的大模型。」
從成本上來看，在模型微調階段，可以依據不同任務(Task)來微調訓練大模型，訓練資料的多少，模型參數大小以及能力涵蓋的範圍，如果能有高效的訓練方式以及自動化的訓練量產，可以達到規模化的低成本，絕大多數中型以上企業足以負擔。
國金證券曾做過初步測算，由 8 塊 A100 組成的 AI 伺服器可為規模達 2,000 人的中大型企業提供 AI 服務，離線部署方案每年的推理算力成本約為 33.2 萬元，若採用雲端運算方案則每年需花費約 66 萬元算力成本。
不過，企業負擔得起成本是一回事，工程技術上能不能靠自己搞定完全是另一碼事。
中國 IT 應用開發的成熟度不像美國那麼發達。很多企業有 IT 團隊，規模也不小，但主要是在維護內部的業務系統，沒有人懂得模型如何落地，外部合格的人才也缺乏。
也許你會說，直接賣給他們模型不就好了？但中國軟體和演算法領域環境，跟美國差別很大。中國企業會花 2000 萬買很多伺服器，但很難買一個軟體。
「將模型當作一個商品（commodity）賣給企業，就像賣程式碼一樣，不太現實。」簡仁賢有過多年的中美從業經驗，美國企業能用 SaaS 就用 SaaS，中國企業更喜歡own （擁有）、control（把控）這個東西。「但如果你能給到一個 total solution ，企業更容易買單。」
這也是竹間智慧過去一直堅持「授人以漁」的根本原因。藉由他們提供的機器人「工廠」（BotFactory），銀行、證券、保險、能源、製造、消費等行業七、八百家客戶已經定製出無數個私有的行業模型、特殊任務模型，包括情感分析在內。
現在大語言模型可以做很多不需要再用程式碼做的事情。未來程式碼量會越來越少，模型數會越來越多，「模型就是程式碼」。簡仁賢一直強調這一點。
而另一方面，海量場景又需要不斷切換和更新、訓練、運維模型，那麼，中間層會變得很重。「管理資料，管理模型、訓練模型、微調模型，評測模型，推理運維，讓模型持續迭代就會成為一個非常重要的產業。」他認為。
「這就像蓋房子並不難，但要蓋一個豪宅還是平民住宅，那就不一樣了。」
二、EmotiBrain 如何實現可定製？
有了 EmotiBrain 「金剛鑽」，幾乎可以解決企業攬下「瓷器活兒」過程中 70% 的問題。
企業只用勾選基礎模型、訓練資料和微調（Fine-Tuning ）方法，然後交給平臺自動訓練。根據結果評測，選出最適合業務的模型，直接接入企業應用即可。
EmotiBrain 是一個企業定製化大模型的流水線平臺，所有複雜微調流程都被封裝在裡面，內建多個參數高效微調技術( Parameter-Efficient Fine Tuning )與驗證過的訓練資料集，包括竹間積累七年的行業訓練資料集，透過簡單 UI 設計，有「basic understanding 」的人就能馬上上手。
當然，「你至少要了解什麼樣資料合適，還有一些 Fine-Tuning 基本知識，但不需要知道很多細節。」簡仁賢補充道。
EmotiBrain 由三個核心部分組成。
一個是訓練大模型的地方，Model Factory。工廠裡，企業可以同時訓練二十多個甚至上百個大模型，包括非常前沿的開源 LLM。比如，羊駝系列( LLaMA )。
企業也可以自己下載開源模型，放到平臺去訓練。另外，模型工廠還提供竹間智慧自己訓練微調好的大模型。
「2019 年我們的模型做到了 3.4 億的參數量，也已開發 Transformer 的模型」，據簡仁賢透露，「現在已經訓練出來、可用的有 70 億、130 億的參數規模，下一步是 330 億參數與 650 億參數的模型，650 億參數的模型微調時間比較久一點，但新的高效方法如 QLoRA 提速了不少。」
模型選好後，就要選擇訓練資料集，比如指令資料集，法律領域資料集、中醫西醫領域資料集、醫藥的資料集、財經類資料集，汽車，電商，企業私有資料。
AI 大模型實現高性能，資料質量比資料體量更重要。因此，竹間智慧將過去七年積累下的行業訓練語料（包括中英文訓練資料）做了最佳化，放到了平臺。
選好訓練資料集後，就來到最具挑戰的環節——對預訓練的模型展開微調。 「現在大模型還有一個非常大的缺點，你要會寫提示（prompt）才能把大模型用得好，這可不是任何人都能寫得好的。」簡仁賢說。
讓大模型變得聰明起來的辦法很多，無論是 Instruct learning、in context learning、Chain of Thought (CoT)，門檻都比較高，模型工程師也要懂得很多技術細節。竹間智慧將八年來 NLP 模型訓練的 know-how，再加上大語言模型訓練的know-how，以及包括最前沿、最新微調技術在內的許多微調方法（比如DeepSpeed、LoRA、QLoRA、P-Tuning等），都做到了模型工廠裡，變成幫助企業的工具。即使使用者不用懂技術細節，也可以做微調。
使用者還可以用 RLHF（Human Feedback Reinforcement Learning）的 Fine-Tuning 方式進行微調，等於賦予企業以「指令微調定製」的方式滿足自己的個性化需求。
例如，選出某個模型，詢問相關問題，看看輸出結果怎麼樣，給它做標註。以少量標註的高質量模板資料，對模型的輸出進行誘導與限制，讓模型的輸出更加符合企業業務的喜好，同時減少模型的有害輸出。
簡仁賢反覆強調，EmotiBrain 可以幫你構建的，從來不是一個模型，而是同時訓練多個模型。例如，當使用者選擇三個預訓練模型進行微調時，又分別選擇了三組測試資料、三種微調方法，最後會得到 27 個定製化模型。
如何從多個模型裡面選出最合適的？這就離不開平臺的第二個核心要件 Benchmark System。在這裡，每個模型就像一個個被多維度評分系統加以評估的小朋友，每個人都有自己的一套得分：比如平均分數、推理分數、知識分數、對話分數、上下文，文字生成分數等。每個模型的長處、短板和綜合實力，一目瞭然。
最後，使用者可透過平臺將選定的定製化模型部署到自己的伺服器，或者跑在企業私有云，當然，也支持對接所有廠商的雲端運算平臺。系統會自動產生 API，與既有的企業應用做結合，企業馬上就能用起來。
EmotiBrain DEMO 視訊
總之，Model factory、Benchmark System 加上 Chat Search，一個大模型驅動的語義搜尋引擎，三大要素緊密聯動，使 EmotiBrain 可敏捷應用於複雜及多變的場景中，並給予強大靈活的支持。
「EmotiBrain 可以在幾天甚至幾個小時內幫你選出最適合的大模型，通常需要一個模型工程師花好幾個月才能做到，甚至因缺少人才或 know-how 都無法完成可用的模型，白白浪費的資源。」簡仁賢說。
另外，EmotiBrain 還有一個非常好用的 GPU 資源排程功能，自動幫你排程雲資源或本地 GPU 資源。這樣，一般不懂IT業務的人員也可以用這個微調平臺來訓練自己的模型，「他只要需要知道資料從哪來的。」
三、如何可控？四步應對模型幻覺
可定製化實現後，還有一個問題。許多創始人對在他們的產品和工作流程中實施大模型持謹慎態度，因為這些模型有時就像小孩子——會編造事情，對幻想與現實沒有牢固的把握。有媒體報道，美國律師使用 ChatGPT 提交法庭簡報，結果引用的6個案例都是 ChatGPT 編造的虛假案例。
「產生幻覺，其實是生成式 AI 的一個特點。」簡仁賢認為，創造力是知識生成的一個主要來源，如果百分百避免幻覺，模型也會失去創造力。不過，EmotiBrain 也有辦法幫助企業更好控制模型的輸出。
例如，在模型推理階段，使用者可以根據不同業務需求，調整「temperature」的數值，低溫度可以生成更加專注、保守和一致的回答。這種方式在營銷人員需要準確、精確的答案或者遵循特定格式或品牌指南的資訊時非常有用。
中溫度的話，能夠在創造力和一致性之間取得平衡。這種設置非常適用於一般內容生成，因為需要準確性和創新的結合。高溫度可以生成更具創意、多樣化和出人意料的輸出。營銷人員可能會在頭腦風暴創新的活動想法、製作引人入勝的社交媒體內容或尋求對某個主題的新鮮視角時更喜歡使用這種設置。
除此之外，模型可控能不能做到100%還取決於微調過程。
就企業私域問答部分來說，完全可以做到可控。企業可以花大量精力做好知識準備、知識清洗和審核。訓練後，還可以用人類對齊（alignment ）的方式控制輸出質量。
比如，你可以給輸出的答案做標註，告訴模型哪個是對的、哪個是錯的，用基於人類反饋的強化學習的方法（RLHF）進行再訓練，模型就知道對與錯，自動減少胡言亂語的回答，但是RLHF要做得好，對使用資料與標準數量和質量就有要求。
值得一提的是， EmotiBrain 還提供審核機制——「用大模型去做 reflection ，把 reflection 放到大模型裡」，讓大模型擁有自我檢視的能力。
「這個咖啡很難喝」，在講出這句話之前，人們會先問自己這句話對嗎？是不是符合商業規範或道德標準？有沒有人身攻擊？有沒有牽扯到政治？
「所有這些環節，一個前面的大模型反思模型、加上基於人類反饋的強化學習、私域資料的掌控，還有 temperature 也可以調。我們都會提供工具和評測去幫助他們做好這些控制。」簡仁賢總結道。
四、KKBot 的想象力
除了 EmotiBrain，安裝了這臺發動機四款「車型」中，最值得關注、也最具想象力的是 KKBot ，你可以將它視為國內版本的 Office Copilot，可以存在任何地方。
它可以是一個瀏覽器外掛，根據你瀏覽網頁的內容，答問題、做總結，任何 web application，KKBot 都是 Copilot。「Chrome 能用，我們現在準備適配 IE 瀏覽器。」簡仁賢告訴我們。
它還會出現在常用企業軟體裡（例如網頁版的辦公軟體、竹間智慧的產品），根據你的 query 自動生成想要的總結、圖片、統計表格、資料分析等。在他看來，「傳統的 BI 可能會被大模型顛覆掉。」
它甚至可以在企業 DIY 大模型過程中，充當助手。如果企業將自己的私域資料放到 Knowledge Factory ，那麼，KK bot 可以在 Knowledge Factory 的文件與知識庫裡，找出大模型生成的一些令人生疑的回答的來源。如果找不到某句回答出處，大概率是模型在亂講。
KKBot DEMO 視訊
最有意思的是在 KKBot 加持下，公司最暢銷的Bot Factory 脫胎換骨，升級到 Plus。
竹間智慧早在 2017 年就推出了 Bot Factory，企業客戶可以在這個工廠裡做各種機器人——智慧客服、對話機器人、問診機器人、故障排除機器人、專家機器人等。有些企業甚至用 Bot Factory 在企業內部做了 1000 多個機器人。
現在，這些經過行業驗證和打磨的產品又成為竹間智慧部署在客戶側的「尖兵」，也是接入底層大模型能力的關鍵入口。如果可以幫助企業輕鬆定製自己的模型並嵌入到這些入口，無需帶著新品教育市場，竹間智慧就能將新的底層能力出售出去。
以前我們用小模型去訓練可能需要花兩天的時間。現在，機器人的問答跟知識全部由大模型生成，只要兩個小時，運營成本降低了90%以上。簡仁賢解釋道。
KKBot 可以幫你生成知識，幫你對齊知識。比如，你給它輸入《保險法》，輸入完以後，它自動從《保險法》裡抽出來所有的知識跟所有的問答，抽出來之後，自動訓練 Bot Factory+ 的對話機器人，兩個小時可以回答上千個問題，95% 以上準確率。
整個過程都是自動的，無需人為干預。跑完以後，再由人工測試。如果對輸出結果滿意，就能發佈上線。
Bot Factory+ DEMO視訊
KKBot 作為 Copilot，還有一個很大的優點。簡仁賢強調說，「它不是一個模型的Copilot，而是多個不同模型的 Copilot，可以跟所有模型去兼容，當企業不同部門或項目組有多個模型在運行時，KKBot 可以選擇不同模型來回答，完全不受單一模型限制。」
比如，可以接竹間大模型魔力寫作與 ChatLLM，華為盤古大模型的 API，海外使用者可以去接 GPT-4 或 GPT3.5 Turbo的 API，甚至包括企業自己訓練出來放到 EmotiBrain 裡的大模型。
「切換不同的大模型，展現出來的能力也不一樣。」
五、「租」得起：99萬包年
竹間智慧的目標是將人工智慧平民化，讓所有的企業都有自己的大模型，都能負擔得起的大模型。「工廠（factory）」就是實現這一目標的技術手段。
現在，從「工廠（factory）租金」來看，根據所需GPU的數量不同，「1+4」PaaS 年訂閱服務的費用也有兩個檔次。
如果僅需 1-8 個GPU，一年訂閱價格 99 萬。超過 8 個 GPU，一年的套餐價格 149 萬。具體情況，依據不同行業、不同企業部門要求不同。
例如，訓練一個比較複雜的模型，假設 330 億參數，用一塊 GPU 可能需要 1-5 天。很多時候，在預算有限的情況下，99 萬的套餐也就夠用了。當然，如果預算比較富裕，企業也希望數小時就能訓練好，8 個 GPU 可能不夠用，可以升級到 149 萬元的套餐。
「相比花 2000 萬買個行業大模型，還冒著走彎路的風險，我們的產品用起來比較安心」，簡仁賢認為，「你只用花 99 萬，就可以定製出適合你的模型，而且沒有限制模型數量，並可以立刻在現實應用中看到它的價值，也不受雲端運算廠商的限制，不用綁定任何雲端運算資源。」
這些工具都是免費升級，而且做出來的模型都屬於客戶，「我們不 own 這個模型，我們也不賣模型，我們只是把這個 PaaS 租給你用，讓人去定製模型。」他補充說，「也就是說，我租給你的是一個模型工廠。」
其實，OpenAI 這樣的公司只是給我們指明瞭一個方向。開源社區會根據這個方向做出更創新的東西，進而成為企業落地大模型的主流。
簡仁賢預測，未來 6-12 個月，開源社區也會出現更多新的前沿訓練和微調技術，不斷降低大模型對記憶體、GPU 依賴，降低微調和訓練成本，不斷提升訓練速度。更新的模型框架也會出現，更多的具備通用能力的指令集也會問世，更多的不同語言的訓練集也會在各國地區的努力下開源出來，全球範圍內的大模型應用會更加廣泛，進而加速 Generative AI 與 LLM 技術的快速迭代。
這個大模型就是每個企業應用的「腦」。未來，每隔一段時間，與「腦」有關的技術都會取得重要進展，比如更好的模型、訓練方式、更高質量的資料。
這個時候，大模型的管理和迭代就顯得更加重要。他說，有了工廠流水線，換「腦」就變得很容易。