8 月 8 日消息，統(tǒng)信軟件今日宣布，中國首款操作系統(tǒng)級端側(cè)模型 UOS LM 正式發(fā)布。目前，UOS LM 端側(cè)模型面向所有統(tǒng)信 UOS 社區(qū)版（deepin V23）用戶發(fā)起定向邀約內(nèi)測，添加 deepin 小助手申請內(nèi)測資格。

為保證流暢體驗(yàn)，統(tǒng)信推薦以下硬件性能：

1.5B 模型：內(nèi)存 2G，GPU 顯存 4G，10TOPS

7B 模型：內(nèi)存 8G，GPU 顯存 10G，20TOPS

對于個人用戶，UOS LM V1.0 版本實(shí)現(xiàn)本地文檔構(gòu)建知識庫，并通過向量數(shù)據(jù)庫支持基于語義的相似性搜索和向量分析操作，幫助用戶通過 UOS AI 桌面智能助手實(shí)現(xiàn)問答、翻譯、創(chuàng)作等功能。

對于組織用戶，UOS LM V1.0 版本針對組織用戶的原始文檔，知識庫系統(tǒng)的處理總共分為五個部分，分別是文檔預(yù)處理、文本智能分塊、向量化計(jì)算、向量索引構(gòu)建、元數(shù)據(jù)索引文件的保存和調(diào)用。

匯總?cè)缦拢?/p>

文檔預(yù)處理階段，知識庫系統(tǒng)可提取各類格式文檔的文本內(nèi)容，如 txt、docx、xlsx、ppt、pdf 等文本格式，并對文本進(jìn)行清洗、過濾，準(zhǔn)備進(jìn)行文本分塊；

文本智能分塊階段，對文本四種切分方式，如固定長度切分、段切分、句切分、語義切分，盡量平衡分塊個數(shù)和語義信息的完整性；

向量化計(jì)算階段，顧名思義，就是將文本轉(zhuǎn)化為向量的過程。主要作用是進(jìn)行語義表征，向量檢索就是使用查詢文本的向量和向量數(shù)據(jù)庫中的向量進(jìn)相似性計(jì)算；

向量索引構(gòu)建階段，分為全量索引、倒排索引、乘積量化索引、乘積量化加倒排索引四種方式，主要目的是將文本向量化計(jì)算出來的結(jié)果通過不同的索引方式組合，得到一個最優(yōu)的檢索性能和存儲空間兼顧的向量索引庫；

元數(shù)據(jù)索引文件的保存和調(diào)用階段，將向量化索引數(shù)據(jù)作為結(jié)構(gòu)體數(shù)據(jù)來存儲到電腦中，并通過向量化檢索和大模型處理檢索結(jié)果后，輸出用戶檢索的內(nèi)容。

對于開發(fā)者，UOS LM 提供了豐富的功能和靈活的擴(kuò)展性，并提供了強(qiáng)大的文檔支持，助力開發(fā)者簡化 AI 應(yīng)用開發(fā)流程，加速行業(yè)應(yīng)用、業(yè)務(wù)系統(tǒng)的開發(fā)，拓展 AI 應(yīng)用場景。

AI SDK 提供三個層面的接口能力：

AI 業(yè)務(wù)插件（AI-Plugin）：靈活的 AI 業(yè)務(wù)插件能力，具備系統(tǒng)級和應(yīng)用級調(diào)用配置，三方應(yīng)用可注冊自己功能接口進(jìn)入 AI 推理邏輯。

AI 接口能力（DTK AI）：面向編程的 DTK AI 接口能力，提供文件搜索、問答、總結(jié)、潤色、語音等業(yè)務(wù)能力，減少應(yīng)用開發(fā)工作。

AI 模型管理（Modelhub）：原生模型接口能力，融合模型原生輸入輸出接口能力，方便用戶調(diào)試自定義提示詞或內(nèi)容解析。