【AI快讯分析】Kimi开放平台的月影区域上下文缓存服务费用减半:现仅需5元/百万标记/分钟
Kimi开放平台,上下文缓存降价,AI独角兽,长文本模型费用降低,数据管理技术 2024-08-07
文章主要报道了AI独角兽公司月之暗面对其Kimi开放平台的上下文缓存Cache存储费用进行了大幅降价,从原来的10元/1M tokens/min降低到5元/1M tokens/min,降价幅度达到50%,并且这一降价措施立即生效。此外,文章还提到了Kimi开放平台在7月1日开启了上下文缓存功能的公测,该功能旨在帮助开发者降低使用长文本旗舰大模型的成本,最高可达90%,同时提升模型的响应速度。
上下文缓存是一种数据管理技术,它允许系统预先存储频繁请求的大量数据,以便在用户再次请求相同信息时,系统可以直接从缓存中提供,而无需重新计算或从原始数据源中检索。这种技术特别适用于频繁请求和重复引用大量初始上下文的场景,能够有效降低长文本模型的费用并提高效率。官方还提到,使用上下文缓存功能可以使得首Token延迟降低83%。
文章最后简要介绍了上下文缓存的收费模式,主要分为三个部分,但具体内容未在文章中详细说明。总体而言,月之暗面的这一举措旨在通过降低存储费用来吸引更多开发者使用其平台,并优化用户体验。
总体来看,月之暗面的这一策略不仅在经济上具有吸引力,也在技术和行业层面产生了积极的影响,显示了公司在市场竞争中的前瞻性和创新能力。
评论记录: