|
近日，合合信息在WAIC 2024上發(fā)布了用于大模型語(yǔ)料訓練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺。合合信息的思路是，從“煉丹”源頭的燃料出發(fā)，通過(guò)標準化平臺進(jìn)行語(yǔ)料結構化，提高數據預訓練效率，幫助大模型廠(chǎng)商達成有效的模型性能提升和迭代。 國內的大模型產(chǎn)業(yè)處于高速發(fā)展時(shí)期，面向各個(gè)細分領(lǐng)域的大模型如雨后春筍辦涌現，例如處理文檔的kimi、豆包，用于制作ppt的天工、萬(wàn)知，但做到與chatgpt媲美確非常困難。業(yè)內人士對這個(gè)現象的解釋是，高質(zhì)量的中文數據集實(shí)在緊缺，訓模型時(shí)只能直接購買(mǎi)外文標注數據集或者直接采集開(kāi)源的國外語(yǔ)料庫作為外援。一旦“進(jìn)口語(yǔ)料”加入的訓練參數量多了，就會(huì )出現跟ChatGPT相似的回答方式。 國內外大模型數據集主要為英文，均源于許多開(kāi)源數據集進(jìn)行訓練，如Common Crawl、RedPajama、BooksCorpus、The Pile、ROOT等。這部分數據雖然量多，但質(zhì)量上卻良莠不齊。一大優(yōu)質(zhì)的中文語(yǔ)料數據，沉睡在報告、論文、報紙等文檔里。 為緩解語(yǔ)料荒困境，合合信息推出了用于大模型語(yǔ)料訓練的“加速器”產(chǎn)品——TextIn智能文檔處理平臺。在訓練前期階段，使用“加速器”文檔解析引擎，破解書(shū)籍、論文、研報等文檔中的版面解析障礙，為模型訓練與應用輸送純凈的“燃料”;同時(shí)，“加速器”搭載了文本向量化模型，以解決大模型“已讀亂回”的幻覺(jué)問(wèn)題。 合合信息此次發(fā)布的大模型“加速器TextIn智能文檔處理平臺，由TextIn文檔解析、TextIn Embedding(文本向量數據模型)以及OpenKIE三大工具組成。從獲得海量數據到高價(jià)值數據，預訓練階段的語(yǔ)料處理十分關(guān)鍵。這意味著(zhù)，作為一個(gè)平臺型產(chǎn)品，向大模型廠(chǎng)商和開(kāi)發(fā)者“遞鏟子”，其基礎的工具能力是否足夠扎實(shí)，關(guān)系到種子用戶(hù)的購買(mǎi)意愿。 基于這一思路，合合信息在產(chǎn)品設計階段提前做了幾件事。首先是場(chǎng)景前置，在未個(gè)性化階段提前給模型補充大量?jì)?yōu)質(zhì)的垂直領(lǐng)域Know-how，比如金融、法律、教育等，關(guān)注特定行業(yè)中的普遍痛點(diǎn)，基于用戶(hù)訴求在產(chǎn)品設計時(shí)提供解決方案，進(jìn)而提高大模型加速器在核心應用場(chǎng)景中表現能力。二是專(zhuān)注產(chǎn)品化，不只對客戶(hù)提供通用場(chǎng)景的API，而是提供更多工具型產(chǎn)品，降低應用門(mén)檻，做到開(kāi)箱即用，這對技術(shù)資源較為薄弱的傳統企業(yè)、中小創(chuàng )業(yè)公司或個(gè)人開(kāi)發(fā)者來(lái)說(shuō)非常友好。 大模型變革的浪潮里，以數據為中心，成為行業(yè)人士從事大模型研發(fā)和應用的共識。具體到實(shí)踐層面，大模型上游階段在文本解析、邏輯版面、文檔問(wèn)答等方面，仍有很多的提升工作可以做。 未來(lái)，合合信息將繼續依托技術(shù)優(yōu)勢，面向人工智能產(chǎn)業(yè)的不足提出解決辦法，助力大模型產(chǎn)業(yè)持續健康發(fā)展。 |
