虎博科技發(fā)布大模型Tigerbot 開(kāi)源1日Star已過(guò)1000

1-23060911053aH.jpg

(截至6月8日，開(kāi)源社區github上Tigerbot的相關(guān)情況)

此次開(kāi)源涉及模型、代碼、數據三部分內容，包含 TigerBot-7B-sft、 TigerBot-7B-base、TigerBot-180B-research 等多個(gè)模型版本;基本訓練且覆蓋雙卡推理 180B 模型的量化和推理代碼;以及達 100G 的預訓練數據、監督微調 1G/100 萬(wàn)條數據。

值得一提的是，開(kāi)源版本中，TigerBot-7B-base的綜合表現優(yōu)于同等可比的OpenAI和BLOOM，TigerBot-180B-research 的參數量達1800億，或是目前業(yè)內最大的大規模語(yǔ)言模型，而高達100G的預訓練數據，更被視為目前業(yè)內最大且質(zhì)量最優(yōu)的開(kāi)源預訓練數據之一。

同時(shí)，虎博科技還與廣大開(kāi)發(fā)者共享了大模型應用開(kāi)發(fā)所需的全套API，包括對話(huà)(Chat)、插件(Plug-ins)、微調(Fine-Tunes)等，并提供金融、法律、百科等專(zhuān)業(yè)領(lǐng)域數據，旨在構建構建大模型生態(tài)藍圖。

據了解，Tigerbot基于 GPT 和 BLOOM 兩個(gè)開(kāi)源模型基礎上進(jìn)行研發(fā)，在模型架構、算法以及計算經(jīng)濟性等方面做了一系列優(yōu)化，主要體現在四方面：

(1)、指令完成監督微調的創(chuàng )新算法，以提升可學(xué)習型(learnability);

(2)、運用ensemble 和 probabilistic modeling 的方法，實(shí)現更可控的事實(shí)性(factuality)和創(chuàng )造性(generativeness)，進(jìn)一步 避免模型可能產(chǎn)生的“胡說(shuō)八道”;

(3)、在并⾏訓練上，突破了 deep-speed 等主流框架中若⼲內存和通信問(wèn)題，使得在千卡環(huán)境下數⽉⽆間斷，不僅大大縮短了模型訓練的時(shí)間，每月還能節省數十萬(wàn)訓練費用;

(4)、對中⽂語(yǔ)⾔的更不規則的分布，從 tokenizer 到訓練算法等方面做了針對性算法優(yōu)化，使得模型的問(wèn)答更具中國文化屬性。

然而，這些創(chuàng )新僅僅是個(gè)10人小團隊在3個(gè)月內完成的。據虎博科技創(chuàng )始人兼CEO陳燁介紹，他自己也在一線(xiàn)寫(xiě)代碼。過(guò)去三個(gè)月中，團隊累計完成超3000次實(shí)驗，“每天至少有3次實(shí)驗，第一個(gè)月的模型表現已經(jīng)可以達到OpenAI可比模型的八成�！备鶕� OpenAI InstructGPT 論文在公開(kāi) NLP 數據集上的自動(dòng)評測，TigerBot-7B就已達到 OpenAI 同樣大小模型的綜合表現的 96%，且只是 MVP(最小最小可行性模型)。

秉持科學(xué)無(wú)國界無(wú)階層的理念，陳燁希望共享階段性成果，“大模型技術(shù)就像是一門(mén)新興學(xué)科，將是顛覆式且長(cháng)周期的，其未來(lái)的可能性將超過(guò)每個(gè)人的想象�！�

        對于開(kāi)源，他給出了兩點(diǎn)理由：

第一、作為一名AI領(lǐng)域內的技術(shù)人員，出于對技術(shù)最本能的信仰，他有一點(diǎn)熱血、有一點(diǎn)煽情，“我們想要以世界級的大模型，貢獻于中國創(chuàng )新。給行業(yè)一個(gè)可用的、底層基礎扎實(shí)的通用模型，能讓更多人快速訓練出專(zhuān)業(yè)大模型，實(shí)現產(chǎn)業(yè)集群的生態(tài)打造�！�

第二、TigerBot會(huì )繼續保持高速迭代，并在目前賽跑的局面下，仍能保持身位優(yōu)勢。即便是看到有人以TigerBot為底層開(kāi)發(fā)出了性能更好的產(chǎn)品，這對于行業(yè)內來(lái)說(shuō)又何嘗不是一件好事?

陳燁認為，現階段不宜過(guò)早和過(guò)于理性地探討產(chǎn)品、應用、場(chǎng)景和商業(yè)化，更重要的是推廣這一人工智能基礎設施的原創(chuàng )突破，促進(jìn)技術(shù)的發(fā)展和更新，“開(kāi)源就是最好的方式”。