TMT观察网_独特视角观察TMT行业

天眼查財產線索信息顯示，近日，Kimi關聯公司北京月之暗面科技有限公司申請的“一種大語言推理系統及方法”專利獲授權。

摘要顯示，該發明公開了一種大語言推理系統，包括：至少一個預填充計算單元，至少一個生成計算單元及緩存單元；至少一個預填充計算單元，用于根據當前推理請求及歷史推理資源進行預填充，得到當前推理數據，發送當前推理數據至生成計算單元和緩存單元；至少一個生成計算單元，用于接收當前推理數據，并采用預設的大語言模型根據當前推理數據生成當前結果字，根據當前結果字生成當前推理結果發送至緩存單元，輸出當前結果字至用戶端；緩存單元，用于根據當前推理請求，保存當前推理數據，當前推理請求及當前推理結果。該本發明提供的技術方案，可以減少推理過程中的計算量，提高推理結果自然語言的流暢性與連續性。