阿里巴巴昨日在 Github 等平臺(tái)開(kāi)源了 ZeroSearch 大模型搜索引擎。這是一種無(wú)需與真實(shí)搜索引擎交互即可激勵(lì)大模型搜索能力的強(qiáng)化學(xué)習(xí)框架。

ZeroSearch 主要利用了大模型在大規(guī)模預(yù)訓(xùn)練過(guò)程中積累的豐富知識(shí)，將其轉(zhuǎn)化為一個(gè)檢索模塊，能夠根據(jù)搜索查詢生成相關(guān)內(nèi)容。同時(shí)，還可以動(dòng)態(tài)控制生成內(nèi)容的質(zhì)量，這是傳統(tǒng)搜索引擎所不具備的特殊功能。

研究人員在 NQ、TriviaQA、PopQA、HotpotQA 等 7 大問(wèn)答數(shù)據(jù)集上進(jìn)行了綜合評(píng)測(cè)。結(jié)果顯示，一個(gè) 70 億參數(shù)的監(jiān)督微調(diào)模型使用 ZeroSearch 后，其搜索能力達(dá)到了 33.06；140 億參數(shù)的模型則達(dá)到了 33.97，超過(guò)了谷歌搜索的 32.47。

研究人員通過(guò) SerpAPI 使用谷歌搜索進(jìn)行約 64,000 次搜索查詢的訓(xùn)練，成本約為 586.70 美元（IT之家注：現(xiàn)匯率約合 4238 元人民幣）；而在四個(gè) A100GPU 上使用 140 億參數(shù)的大模型進(jìn)行模擬時(shí)，成本僅為70.80 美元（現(xiàn)匯率約合 511 元人民幣），意味著成本降低了 87.93% 以上。