黄色一级日皮的毛片-国产一级内射大黄片-鸥美一级毛片人与兽-黄色毛片一级视频-黄色1级片2级片-5级强奸视频网站-看一级片的免费网址-一级黄片视频在线看-欧美一级黄片群交系列

您的位置:首頁>熱點 >
  • 王小川公布最新530億百川大模型,阿里騰訊等超150家企業已使用

    2023-08-09 11:06:48 來源: 鈦媒體APP

百川智能創始人兼CEO 王小川


(相關資料圖)

成立120天,王小川的大模型公司百川智能又有了新動作。

鈦媒體App獲悉,8月8日下午,百川智能在北京發布530億參數通用大模型Baichuan-53B,定位閉源,主要面向B端用戶提供服務,在寫作、文本創作能力方面已達到行業較好水平,用于教育、醫療等領域。目前其已在官網啟動內測。

百川智能創始人兼CEO 王小川對鈦媒體App透露,目前已有阿里云、騰訊云、火山引擎、浪潮、順豐科技等超過150家合作伙伴使用Baichuan模型,預計下個月將會開放API等相關組件。

“這次大模型的文科能力更好。”王小川表示,其在理解古詩、生成有個性化風格的文章等方面具有較高的水平。百川認為目前閉源大模型反映一種技術能力,本質是為企業端(To B)服務,后面還會進行強化、數據庫等對接工作,把企業端服務優先做起來。

王小川現場展示的百川大模型內測界面(來源:鈦媒體App編輯拍攝)

王小川還透露,除了企業端以外,今年底之前,百川智能團隊將部署有消費級(To C)端的超級應用。“未來不只有一款的超級應用,正在研發的路上。”

實際上,宣布成立的過去120天,百川智能已連續推出兩款開源大模型:70億、130億參數的Baichuan-7B、Baichuan-13B系列,并登上多個評測榜單前列。

而如今,隨著Baichuan-53B大模型的發布,王小川的百川智能迎來又一重要里程碑,完成開源+閉源大模型并行布局,將全面開啟大模型的商業化時代。

成立120天完成開源+閉源大模型,中文能力已遠超Llama?

時間倒回至120天前。

今年4月10日,沉寂一年多的搜狗創始人王小川正式對外宣布再度創業,選擇人工智能(AI)大模型領域,他與前搜狗COO茹立云聯合成立通用人工智能公司百川智能,旨在打造中國版的OpenAI。

王小川當時對鈦媒體App等透露,百川智能已獲得5000萬美元啟動資金,核心團隊則包括前搜狗員工等頂尖AI人才。百川智能將借助語言AI的突破,構建中國最好的大模型底座,并在教育、醫療等領域應用落地。

鈦媒體App了解到,截至目前,百川智能員工規模在113人左右,其中技術人員占70%-80%。

王小川認為,國內最好的大模型標準有三點,分別是參數量、測試集的效果,Chat產品體驗。(詳見鈦媒體App前文:、)

為了打造國內最好的大模型,過去四個月內,首先,王小川帶領百川智能團隊推出了兩款開源模型:70億參數量的中英文預訓練大模型baichuan-7B,以及130億參數大模型Baichuan-13B系列——包括通用大語言模型Baichuan-13B-Base、對話模型Baichuan-13B-Chat和其INT4/INT8兩個量化版本。

其中,baichuan-7B利用自研超大規模局部敏感哈希聚類系統和語義聚類系統,最終構建了包含1.2萬億token的兼顧質量和多樣性的預訓練數據。相較于其他同參數規模的開源中文預訓練模型,數據量提高了超過50%。

而Baichuan-13B則在1.4萬億token數據集上訓練,超過Meta LLaMA-13B 40%,是當前開源130億參數下訓練數據量最大的模型,上下文窗口長度為4096,百川稱憑借百億參數量已經展現出可以媲美千億模型的能力。

上述Baichuan模型代碼采用Apache-2.0協議,模型權重采用了免費商用協議,只需進行簡單登記即可免費商用。目前,兩款開源模型均已在Hugging Face、Github和Model Scope等平臺上線。

具體到基準評測上,根據此前百川智能公布的結果顯示,在MMLU評測中,baichuan-7B綜合評分達42.5分,超過了英文開源大模型LLaMA-7B的34.2分、中文開源模型ChatGLM-6B的36.9分;中文C-EVAL評測中,baichuan-7B的綜合評分(42.8分)當時超過了ChatGLM-6B的38.9分。

Baichuan-13B基準(Benchmark)方面,C-EVAL中,Baichuan-13B在自然科學、醫學、藝術、數學等領域大幅領先LLaMA-13B、Vicuna-13B等同尺寸的大語言模型,在社會科學、人文科學等領域超過了ChatGPT;MMLU上,Baichuan-13B超過了所有同尺寸開源模型。

百川智能強調,其Baichuan-13B系列模型未針對任何基準測試進行專項優化,保證了模型的純凈度,具有更高的效能和可定制性。

百川智能Baichuan-13B開源模型基準評測成績比較(截至2023年7月)

截至鈦媒體App發稿前,據C-Eval官網顯示,百川智能的開源大模型Baichuan-13B總排名為第17位,平均分為53.6分,Baichuan-6B排名第28位。目前C-Eval平臺總排行第一的是智譜AI公司于今年6月發布的ChatGLM2,平均分71.1分;排名第二是OpenAI發布的GPT-4,Meta最新發布的Llama2大模型沒有參與評測。

整體來說,百川智能公開的兩款開源大模型在各種測評上都有不錯的表現。

王小川7月曾透露,開源大模型里面,百川智能在中文領域現在就可以替代,甚至現在已經是超越,未來其開源模型能力一定會超越Llama 2。“開源很簡單,大家可以拿著自己用的,這不是你自己吹牛吹出來的。我覺得是可以做到的,我們應該有這樣的自信。”

此次,百川智能正式發布530億參數的新一代大模型Baichuan-53B。

具體來說,Baichuan-53B在預訓練數據、搜索增強、動態響應策略、對齊能力等方面具有獨特的技術特點和優勢。

其中,Baichuan-53B在預訓練數據方面實現全面的世界知識體系、系統的數據質量體系、多粒度的大規模聚類系統、細粒度自動化匹配算法等;搜索增強方面,百川智能將搜索技術與大語言模型能力相結合,實現創新性的模型優化與改進;動態響應策略方面,百川智能將指令任務細化為16個獨立類別,涵蓋邏輯推理、精準問答等場景進行設計和優化;在回答結果的搜索增強上,百川智能采用RLHF(人類反饋強化學習)技術,使得大模型能夠參照搜索結果,針對用戶請求生成高價值且具有實時性的回答。

王小川還在現場展示了Baichuan-53B的落地Chat內容生成能力,既可以給出大模型服務數字化升級的科技公司候選名字,又可以給古龍的風格寫個朋友圈、寫微信春節祝福語等。

鈦媒體App也在百川大模型內測中測試了“如果企業家抑郁了,你覺得應該怎么辦?”這種問題,百川大模型回答認為需要改變生活習慣、尋求專業幫助等。

截至目前,百川已完成了“開源+閉源”大模型并行布局,王小川也在現場談及這兩部分布局的原因。

王小川對鈦媒體App表示,大模型的開源與閉源不同于To C市場中的安卓和iOS的選擇。從企業端(2B)角度看,兩者都有其需求和應用。未來,可能未來80%會用到開源模型,大部分企業可能會使用開源模型進行優化,因為它們可以更靈活地適應特定場景,并且成本較低。盡管閉源模型功能強大,但在實際應用中,開源模型在很多場景下都非常實用。例如,百川的13B和7B模型在某些應用中已超越閉源GPT。

王小川強調,總的來說,開源和閉源模型在不同場景中是互補的,而不是競爭關系。更重要的是關注To B和To C的實際應用,而不僅僅是討論開源與閉源的問題。這個觀點正逐漸形成共識。

他提到,大模型做開源主要有幾層含義:第一,它是一種市場營銷行為,尤其對于后發者來說,能迅速吸引關注并建立良好的聲譽;例如,Llama和OpenAI都將有開源產品;第二,開源可以為未來的商業化打下基礎,當用戶對開源產品產生依賴并需要更高級的功能時,可以從開源轉向收費。雖然這一模式在中國尚未完全成功,但可以借鑒國外的經驗。此外,更高可靠性、提高大模型數據修復等情況都有很大益處。

談及Baichuan-53B閉源大模型優勢,王小川認為,閉源模型可以做得更大并提供簡化的接口,使得部署和推理變得簡單。這樣,客戶能夠更方便地解決復雜問題,盡管開源模型更為廣泛,但閉源模型在實際使用中更加便捷。

此前王小川已表示,他認為未來開源和閉源會像蘋果和安卓系統一樣并行發展。大部分服務會依賴開源模型,而閉源會提供特定的增值服務。開源模型提供80%,最后靠閉源提供剩下20%服務。盡管美國之前沒有開源模型,但當Llama2發布時,美國和中國都受到了很大的沖擊。相較于Llama,百川在中文領域的表現是遠超Llama的品質。

“未來推動大模型有三個事很重要:一是大模型本身預訓練能力,二是搜索能力,三是強化能力。”王小川提到,強化是比較創新、有難度,但百川希望做到中國最好的、對標GPT的模型,因此會持續挑戰各種難點,實現創新突破。

對于大模型同質化現象,王小川強調,大模型的同質化是產業發展早期的正常階段,而百川智能的搜索增強未來也會是其大模型發展的一大差異化優勢。

商業化將成為大模型下半場競爭關鍵“防線”

近日,搜狗原CMO洪濤在朋友圈官宣即將入職百川智能,負責商業化。

王小川對鈦媒體App表示,洪濤回來代表了百川智能在商業化上的探索,一方面百川智能的大模型發布速度很快,另一方面也是其在商業化的考慮以及消費端應用的布局考量。

“預計一年左右,百川智能就會跑通大模型的商業模式。”今年4月王小川說的‘豪言狀語’正開始逐步落地實踐,比如王小川透露,百川智能在醫療領域已經開始談一些落地商業合作,而且未來考慮研發直達用戶的產品;教育領域,百川下一步將與企業在To B教育大模型領域合作。

當前,國內大模型賽道進入了“下半場”,大家開始比拼 AI 大模型技術的商業化落地,預計將成為未來幾個月內,國內大模型賽道競爭的關鍵“防線”。

目前,OpenAI和微軟做了一個很好的示范:C端方面,ChatGPT采用“每月20美元”Plus會員服務,并在GPT-4 API上對外付費,OpenAI預計年收入將達數十億元;B端方面,微軟365 Copilot上定價提升每人30美元/月。根據官網定價,企業用戶訂閱服務最高達38美元/月,而微軟云Azure OpenAI平臺則提供開發服務,GPT-4 32k下每1000個token價格為0.12美元。

Wedbush分析師Dan Ives預計,未來微軟將拓展AI智能云市場機會,最快可在2025年將云計算年收入提高20%。據悉,截至今年6月的過去12個月內,微軟智能云收入超過1100億美元,Azure OpenAI GPT-4云服務客戶達1.1萬名。

但相比之下,目前,國內暫沒有企業在大模型中真正產生規模化收入,互聯網大廠則大部分采用通用、垂直大模型與云計算業務相結合,通過MaaS(Model As A Service)賣云服務方案。而同時,大模型公司卻集體面臨算力價格持續攀升,成本高居不下,企業急需盈利等問題。

因此,王小川如今給出的答案是:利用通用大模型同步深入產業端、消費端。

今年6月,百川智能宣布,北京大學和清華大學兩所頂尖大學已率先使用baichuan-7B模型推進相關研究工作,并計劃在未來與百川智能深入合作,共同推動baichuan-7B模型的應用和發展。

清華大學互聯網司法研究院院長、計算機系教授劉奕群認為,baichuan-7B模型在中文上的效果表現十分出色。團隊計劃基于baichuan-7B模型開展司法人工智能領域的相關研究;北京大學人工智能研究院助理教授楊耀東提到,baichuan-7B模型的開源對中文語言模型的生態和學術研究有積極影響,同時還將深入探討中文大語言模型的安全和對齊問題。

王小川對鈦媒體App表示,在模型端,百川認為不可能把所有賽道都做完。因此B端做開源模型,從而讓企業做腸鏡試用,并且希望足夠開放;C端則要有超級應用的考量和研發。

“其實我們跟OpenAI的邏輯不太一樣,他們目前API調用只是ChatGPT,我們在兩頭走得更遠一點,B端更開放,C端計劃做超級應用。”王小川透露,目前百川智能在同時使用阿里、騰訊的云服務。

對于算力需求,王小川提到,目前大模型行業算力分訓練、推理兩部分,合計成本占大模型總成本的40%以上。如果中國要想解決好 AI 算力需求問題,推理部分中國需要有國產算力能力,只有英偉達(壟斷)是不夠的,而訓練部分依然需要英偉達,中國大體頂不上,現在有天花板。“這是整個(行業)都要解決的問題。”

王小川表示,B端市場需求明確、天花板不高,但面臨的挑戰是如何有效對接企業的私有數據,因為每家企業的數據和需求都有所不同。這涉及到數據的連接和信任問題,而且To B的研發和服務成本較高。所以,理想的結構應該是:一是真實場景的B端市場,二是為B端提供服務的中間層,三是進行模型研發和優化的后端團隊。這構成了一個三層結構。

談及大廠的排他競爭,王小川認為,目前中國大模型還比較開放,互相之間沒有到二選一狀態。而且,大家對大模型的理解度還不夠,沒有到共識的狀態,未來慢慢會有更多分層,更多專注在自己的事情,現在還是在“群模亂舞”的狀態。

“本輪大模型當中,可能最終只有不到5個大模型會拿到‘通行船票’。”王小川四個月前的這句話今天他改成:5個大模型里面,百川兩個都在上面。

(本文首發鈦媒體App,作者|林志佳)

關鍵詞:

免責聲明:本網站所有信息,并不代表本站贊同其觀點和對其真實性負責,投資者據此操作,風險請自擔。

相關閱讀