面向行业信息抽取的大模型知识蒸馏技术
所屬分類：技术论文
上傳者：wwei
文檔大?。?span>1504 K
標(biāo)簽： 大模型 知识蒸馏 信息抽取
所需積分：0分積分不夠怎么辦？
文檔介紹：面对某行业信息文本多样性、模糊性、规模性和复杂性所带来的实时性、准确性和算力资源挑战，设计了一种面向某行业信息抽取的大模型知识蒸馏技术。该方法采用大模型作为Teacher，小模型作为Student，首先通过设计和优化提示词模板引导Teacher模型生成标注数据集，其次基于生成的行业信息文本句式，并结合标注数据集与行业知识库来增强数据集，最后基于LoRA微调技术在增强数据集上训练Student模型。实验结果表明，本文算法不仅能有效提升Student模型在行业信息文本抽取任务中的性能，使其具备与Teacher模型接近的精确率与召回率，同时能显著降低模型部署的成本和复杂度，在资源受限的行业环境下带来更多优势和价值。
現(xiàn)在下載
VIP會(huì)員，AET專家下載不扣分；重復(fù)下載不扣分，本人上傳資源不扣分。