比较大的证券公司自由量级申请基于大语言模型的长文本记忆保持方法等专利加速大语言模型的推理时间

金融界2025年8月6日消息比较大的证券公司，国家知识产权局信息显示，自由量级（上海）智能科技有限公司申请一项名为“基于大语言模型的长文本记忆保持方法、系统、设备和存储介质”的专利，公开号CN120429421A，申请日期为2025年04月。

专利摘要显示，本发明涉及一种基于大语言模型的长文本记忆保持方法、系统、设备和存储介质。所述方法包括：通过大语言模型中的分词器对长文本信息中的文本内容进行分级，得到各个文本内容的各个级别；基于注意力机制分别对各个级别的文本内容进行上下文信息权重计算，得到各个级别对应的权重；根据各个级别对应的权重将各个文本内容存储至短期记忆空间或长期记忆空间；使用KVCache对短期记忆空间或长期记忆空间进行压缩处理，得到压缩后保留的文本内容并输出。通过对长文本信息中的文本内容进行分级，然后计算对应级别的权重，保证了多个维度的上下文内容的逻辑一致性；使用KVCache对记忆空间进行压缩处理，可以加速大语言模型的推理时间。

天眼查资料显示，自由量级（上海）智能科技有限公司，成立于2023年，位于上海市，是一家以从事软件和信息技术服务业为主的企业。企业注册资本25000万人民币。通过天眼查大数据分析，自由量级（上海）智能科技有限公司共对外投资了2家企业，财产线索方面有商标信息18条，专利信息1条。

本文源自：金融界比较大的证券公司

佳成网配资提示：文章来自网络，不代表本站观点。