(相關資料圖)
站長之家(ChinaZ.com) 6月14日 消息:微軟的研究人員展示了 LLaVA-Med,這是一種用于生物醫學的多模式 AI 助手,可以處理圖像和文本。
使用生物醫學圖像文本對應大型數據集來訓練多模態 AI 模型。該數據集包括胸部 X 光、MRI、組織學、病理學和 CT 圖像等。首先,該模型學習描述此類圖像的內容以及重要的生物醫學概念。然后,使用GPT-4生成的指令數據集對 LLaVA-Med(生物醫學的大型語言和視覺助手)進行訓練。
該數據集由 GPT-4基于生物醫學文本創建,其中包含有關每個圖像的所有信息,可用于生成有關圖像的問答。微調,然后在圖像和相應的 GPT-4示例上訓練 LLaVA-Med。結果是一個可以用自然語言回答有關生物醫學圖像的問題的助手。
使用的訓練方法允許 LLaVA-Med 在不到15小時的時間內在八個 Nvidia A100GPU 上進行訓練。它基于Vision Transformer和Vicuna語言模型,后者又基于 Meta 的LLaMA。據該團隊稱,該模型具有“出色的多模式對話能力”。在用于回答視覺問題的三個標準生物醫學數據集上,LLaVA-Med 在某些指標上優于之前的最先進模型。
LLaVA-Med 等多模式助手有朝一日可以用于各種生物醫學應用,例如醫學研究、復雜生物醫學圖像的解釋以及醫療保健中的對話支持。
研究團隊表示:“雖然我們認為 LLaVA-Med 代表了朝著構建有用的生物醫學視覺助手邁出的重要一步,但我們注意到 LLaVA-Med 受到許多 LMM 常見的幻覺和弱深度推理的限制未來的工作將側重于提高質量和可靠性?!?。
(舉報)
關鍵詞:
免責聲明:本網站所有信息,并不代表本站贊同其觀點和對其真實性負責,投資者據此操作,風險請自擔。
下一篇:最后一頁
施肥機有哪些常見分類?施肥機械根據施肥方式的不同分為用于全面撒施的撒肥機、用于條播的施肥機。主要有固體化肥施用機械(撒肥機械、種肥施
施肥機的工作原理是什么?離心式撒肥機是由動力輸出軸帶動旋轉的撒肥盤利用離心力將化肥撒出。有單盤式與雙盤式兩種。氣力式寬幅撒肥機是利
新華社南昌6月13日電(記者李美娟)為建立東江流域補償長效機制,經過
新華社北京6月13日電題:文化遺產傳承保護的“青春身影”和“科技力量
新華社北京6月13日電題:警惕城市綠化里的形式主義跟風引進“網紅”樹