导读: 据站长之家报导,大型言语模型(LLM)因在文本生成、言语了解和文本摘要等使命中的杰出体现而备受欢迎,但其巨大的模型参数却需求很多内存和专用硬件。为了下降揣度所需的核算功率,Intel 的研究人员提出了一种有用的办法,支撑主动的 INT-4 权重量化流程,能够在 CPU 上高效布置 LLM。此外,他们...
据站长之家报导,大型言语模型(LLM)因在文本生成、言语了解和文本摘要等使命中的杰出体现而备受欢迎,但其巨大的模型参数却需求很多内存和专用硬件。为了下降揣度所需的核算功率,Intel 的研究人员提出了一种有用的办法,支撑主动的 INT-4 权重量化流程,能够在 CPU 上高效布置 LLM。此外,他们规划了一个特定的 LLM 运行时,具有高度优化的内核,能够加快 CPU 上的揣度进程。
原文链接
转载请注明出处:admin,如有疑问,请联系(12345678)。
本文地址:https://www.yytcm120.com/?id=224