2026-08-14 · 星期五本站今日收录 100 条最近更新 18:53

快讯军人加薪方案何时出炉?她对比政院加码津贴「挟带国防预算」:就是不顾军警消

科技爱好者周刊(第 408 期):你需要知道的 AI 缓存知识

转载信息出处与时间记录

内容性质
全文转载(非本站原创报道)
原文发布
本站收录

本文全文转载,版权归原出版方所有;茉莉花新闻网未参与采写与编辑。

这里记录每周值得分享的科技内容,周五发布。

本杂志开源,欢迎投稿。另有《谁在招人》服务,发布程序员招聘信息。合作请邮件联系[emailprotected])。

封面图

浙江台州的椒江滨江公共空间生态绿廊,象征涟漪从水面蔓延,涌上岸边,堆积成丘。(via

你需要知道的 AI 缓存知识

大模型的价格,主要是 Token 的输入价格和输出价格,这个很容易理解。

但是,还有一项”输入 Token 的缓存命中价格”,这是什么东西?

上图是 DeepSeek V4 Flash 模型的定价,可以看到缓存命中的输入价格只有2分钱,足足是未命中的输入价格的五十分之一!

为什么相差这些大?我们能不能充分利用缓存,来降低费用呢?

我对于这些问题,以前也不是很了解,最近看了一篇文章,终于理清了思路,今天就来分享。

(1)模型输入的收费原因

大家知道,使用大模型的时候,需要先有提示词。

大模型会将提示词分解成 Token,再将 Token 转成向量值,然后计算所有 Token 之间的注意力关系。

这一步非常消耗算力,因此模型公司会对输入 Token 收费。你的提示词越多,输入 Token 的费用就越高。

(2)输入缓存的作用

对于多轮对话和长程任务,每一轮都需要把以前步骤的输入输出结果,提交给模型。

我们可以想到,这些每一轮额外增加的提示词是不变的,以前都已经处理过了。模型完全不必要对这些”前缀”每次进行重复计算,只要把以前的计算结果缓存起来,下一次再取出来用就行了。

这就是为什么需要缓存,它可以大大节省不必要的算力消耗,加快模型处理。

这也是它便宜的原因,因为只要命中缓存,基本不消耗算力,收取的费用实际上是储存空间的费用。

(3)缓存的时间期限

缓存有时间期限,长期保存并无意义。如果一段时间没有用到这些缓存,服务器就会把缓存删除。

根据前面引用文章的测试,各家公司的缓存保存时间不一样。

  • Anthropic:5分钟
  • DeepSeek:10分钟
  • OpenAI:10分钟~30分钟逐步失效
  • Google:1小时内逐步失效

以 DeepSeek 为例,在10分钟以内,缓存就是有效的,命中缓存只收取2分钱。如果对话的间隔特别久,下一次输入跟上一次之间超过了10分钟,缓存就被删除了,模型收到上一轮的提示词,就不得不重新计算,收取的费用就变成了1元。

(4)保持缓存有效

由于缓存命中与未命中之间,有巨大的价差。用户的 AI Agent 工具往往会想办法,尽可能延长缓存的保存时间。

当用户长时间不操作、也不退出的时候,大多数 AI Agent 会每隔30秒,自动向服务器发送一个请求,让缓存保存激活状态。

有些模型有专门的缓存激活接口,还有一些没有。这时可以用笨办法,Agent 自动重复发送一次以前的提示词,确保缓存激活。

不过,激活请求也会产生费用。每隔30秒发送一次,如果10分钟没有输入,就会发送20个激活请求。时间一长,费用也不低。

前面说过了,现在各家模型的实际缓存期限,最短也有5分钟,因此30秒一次的激活请求,似乎频率太高了。所以,最新的建议是,可以改成每4分钟自动激活一次缓存。

科技动态

1、带蓝牙识别的交通摄像头

一家美国创业公司推出一种交通摄像头,不仅能识别车牌号,还能识别蓝牙设备。

80d5fef0cc5c2961e2151095156739d72d323a828d2cf235b5a050faff751248 article

公路上的交通摄像头,一般来说只能拍到车牌,不能识别谁在开车。

这个新型摄像头就能解决这个问题。它还能捕捉蓝牙信号,从而将蓝牙设备的 MAC 地址跟车牌绑定,有助于推断谁在车上。

此外,除了蓝牙,它还能捕捉钥匙卡和宠物芯片中的 RFID 标签,以及车内 WIFI 的 SSID,从而进一步增加推断的可靠性。

2、声波灭火

灭火除了用水,还可以用声波。

物理学已经证明,强烈的低频声波(30Hz~60Hz)可以用来灭火,原理是声波可以阻碍氧气流入,并加速热量散发。

a5c4f74727a1f2641f9937ac45777940e3860760ce108130edad8143c84ea1d4 article

一家美国创业公司,最近就制造了一个声波灭火装置,准备推广上市。他们成功演示了厨房灭火的场景。

25c55bdefcf30fe2b13acdedf51205d0ff6b49f28acb45d6249f3a3b251e4b9e article

只见喇叭对着灶头猛放低频声波,火就灭了。该公司希望该装置可以取代喷淋系统,以后着火时,头顶的喇叭放放声音就可以了。

但是,它有几个缺点,可能难以推广。首先,喇叭的体积较大,否则声波强度不够,另外它必须离火源较近,因为声波会迅速衰减。这也造成它只能用于零星的火势,无法用于连片的大火。

3、没有舷窗的飞机

一家美国的飞机制造商,推出新型的私人飞机,最大特点是没有舷窗(下图)。

0378088d115b45bf76fb3294e5dc8c36a52a22c969d42576ebbd02c428af3f99 article

它的机舱内部是一体封闭的,没有窗户。

取而代之的是,连在一起的液晶显示屏,播放飞机外部的高分辨率摄像头拍到的景象。

该公司表示,取消窗户可以让飞机更轻,外表更光滑,从而减少空气阻力和燃油消耗。而且,乘客不必探头,就能在座位上环顾整个高空,拥有飞机驾驶员的视野,而不是原来窗口的狭小视野。

4、最长的视线

科学家使用算法,确定了地球上最长的视线,即从一个地点可以看到另一个地点的最长距离。

1649f04c3ae847b86864a0b891c91926d86102f2baa4159f02e34880f5a540f8 article

那是从吉尔吉斯斯坦(靠近中国边境)的皮克丹科瓦峰向南眺望,可以清晰地看到中国昆仑山脉深处,距离长达530公里。

一般来说,海拔越高、空气越通透,看的距离就越远。

皮克丹科瓦峰海拔约6000米,向南正好是低洼的柴达木盆地沙漠,再远又是海拔6000米以上的昆仑山,因此,这两座相距几百公里的高山可以互相眺望。

文章

1、常见的任务执行工具(英文)

960ffd26a3fd86e44a14e4554e9d82e1d786e47fa63d09e7b89d4dc41e790c43 article

命令行执行任务,可以选择不同的执行方式,比如自己写 Bash 脚本,或者用 make、just、mise 等任务执行工具。

2、如何用脚本将文件上传到 GitHub(英文)

6733300fb87ada528a120ae50652540693860f5b69c13dfee1bf31fffb77fd81 article

GitHub 允许用户上传文件到 issue 和 pull request,本文教你怎么在脚本里面上传。

3、Canvas 而不是 HTML(英文)

bcbcf6b1cf7e26b80eafc157659865ab867e9d90e6088b8a4e48aabb066324e7 article

很多复杂网页不使用 HTML,而使用 Canvas 呈现页面,用户看到的其实是一张图片。本文讨论 Canvas 页面的优缺点,以及何时适用。

4、我的服务器是一部手机(英文)

93c02b0fcc21c7c3776bc98ba22c0bf16873d72bfebb6ce4fe2dd2ca92b924f7 article

作者介绍怎么把自己的安卓手机作为 Linux 服务器(使用了 Termux)。

“(我的安卓手机有)八个 ARM 核心、8GB 内存、128GB 闪存、WiFi 6、5G 调制解调器,以及内置电池,所有这些都集成在一个我觉得性能过剩、闲置在抽屉里的 SoC 芯片上。而且我已经付过钱了。掸去灰尘,把玩了一会儿之后,我决定把这台手机改造成服务器。”

5、电梯的算法(英文)

871f5ba029df2916c603d3a126dea22b14f55ca2e50aa79703e52fccd306329f article

本文介绍电梯的算法,写得比较简单,没有代码实例,但有动画,解释了这个问题的复杂性在哪里(如何缩短等待时间)。

工具

1、Docker 沙箱

Docker 官方推出的沙箱工具,把 Docker 容器当作沙箱,让 AI Agent 在里面运行,跟底层系统隔离。

2、CertMate

一个自搭建的 SSL 证书管理系统,可以自动申请证书,支持多家云服务商。

3、crontab guru Dashboard

这个工具让你用图形界面,来管理 Cron 任务。

4、trash-cli

一个 Linux 命令行程序,提供回收箱功能,保存已删除的文件,以备将来恢复,参考介绍文章

5、LeePanel

安装在本地计算机的远程服务器管理面板,所有操作都由 SSH 操作完成,不需要在服务器安装任何东西。(@gna1280072 投稿)

6、MarkCard Studio

将 Markdown 文本转成分享卡片,提供16套内置主题,可以自动分页、排版,一次导出整套图片或 PDF。(@pangxiaobin 投稿)

7、日全食 3D 模拟器

在地图上模拟2026年8月12日的日全食,查看指定地点什么时候开始日食、食甚和结束,以及天空的样子。(@DophinL 投稿)

8、DBX

轻量级跨平台的数据库管理工具,支持79余种数据库,并且可以接入 AI 与 MCP。(@t8y2 投稿)

AI 相关

1、Cloudflare OS

Cloudflare 本周开源了一个内部的 AI 工具,虽然名字里面有 OS,但其实是在浏览器里使用。

它是一个企业内部的 AI 门户,用来向员工提供统一的 AI 服务,包括 AI 代理、内部应用、知识管理和自动化流程。

2、乡音阁

在线文字转方言语音工具,目前支持16种方言、63个音色。(@ldbmcs 投稿)

3、chat.md

一个 VS Code 插件,将 AI 对话框变成一个 Markdown 文件,用户的输入和 AI 的输出都自动显示在这个文件。

4、Parse

该网站让你使用自然语言,抓取其他网站的数据,转为 API 输出,免费额度是每分钟5个请求。

资源

1、昆虫世界

60 种昆虫的 3D 图鉴,可以旋转、缩放、点击标注点,介绍昆虫的身体构造、生活史与生态角色。(@xr843 投稿)

2、图解分布式系统原理(中文)

本系列采用图示和直观解释的方式,深入探讨分布式系统背后的核心思想。(@lichuang 投稿)

3、吹口哨练习器(HowToWhistle)

练习吹口哨的在线工具,实时检测你吹出的音高,显示当前音符以及与目标音的偏差。(@0647-cyber 投稿)

图片

1、回形针收藏

一个美国收藏家专门收藏回形针。这些藏品放在一起,还有一点艺术感。

2、古典雕像的彩绘

很多东西没有装饰时,比有装饰更漂亮。

希腊罗马雕塑现在显得非常高雅,但是它们最初都有彩绘,看上去非常俗艳。

上图是罗马皇帝奥古斯都的雕像,它最初制作的时候是有彩绘的。

文摘

1、荷兰和中国(英文)

我是荷兰人,在中国生活了八年。那些日子里,出租车司机和同事总爱问我:”荷兰和中国哪个更好?”

现在,我回到荷兰定居,人们却反过来问我:想念中国的生活吗?

这两个问题都不容易回答。这是两种不同的生活,很难比较。

住在上海的时候,我曾经瞧不起荷兰那些老旧的科技—-银行卡、政府的纸质信件、乏善可陈的基础设施。回到荷兰后,我也确实怀念中国豪华的电动汽车,以及便捷的换电功能。但是,荷兰的自行车基础设施实在太棒了,而且阳光明媚的日子里骑车出行乐趣无穷。

大多数荷兰人比上海人富裕,但家中却没有空调,他们开着更小、更老旧、配置更少的汽车。公共交通相比之下糟糕透顶。手机更小、分辨率更低、速度更慢—-电视也是如此。商店周日关门,人们仍然使用现金或银行卡支付。

有一次,我想打电话给我的荷兰银行,在它的网站上费了九牛二虎之力才找到电话号码,然后电话排队等上15分钟才能问到一个10秒钟就能解决的问题。而在中国,银行 App 里就有聊天功能,可以立即联系到客服人员。

荷兰的公共厕所也比较少,因为维护成本太高,政府不愿意为此买单。私人保姆或清洁工也少得多,因为价格极其昂贵,我们只能重新开始全职在家做饭,外出就餐很贵,外卖选择也很少,而且送餐速度很慢。

但是,荷兰人有更多的空闲时间,而且住的房子更大,通常前后院都有草坪。由于物价更高(包括商品和劳动力),荷兰的二手市场规模更大—-自行车、汽车、家具等等,物品必须回收利用、修理或尽可能延长使用寿命。

在上海,我们会在网上购买婴儿用品,阅读关于最新款玩具或带有人工智能功能的婴儿摄像头的介绍。而在荷兰,我的父母仍然保留着我小时候用过的玩具、婴儿床和餐具—-三十多年后的今天,我的小孩还在用。

总的来说,荷兰是一个规模较小、技术水平较低的社会。规模小体现在市政厅只有一个办公窗口,而上海却有数百个市民服务中心,每个中心都设有数十个服务台。据我所知,我生活的小镇只有一台自动取款机和一个小型图书馆。

在我看来,荷兰是一个拥有充裕时间的国度,人民过着节俭的生活,而中国是一个急切变革的国度,迅捷而急躁,人们争先恐后争取自己的机会。

回到最初的问题—-荷兰和中国哪个更好—-我的回答依然是,这两个国家各有自己的长处和不足,两种生活截然不同。

言论

1、

AI 省下的时间,不是用来休假的,而是应该用来开发更多产品。你们正在做这个星球上最令人兴奋的事情。

Andrew Bosworth,Meta 公司 CTO 回答员工的提问,关于 AI 带来的生产力提升是否可以转化为更多的休假时间的。

2、

一些人试图将蒸馏描述为有害行为,但我认为,应当保护”可以从任何能够观察到的事物中学习”这一原则。

扎克伯格,Meta 公司创始人

3、

有很多理由在本地运行大模型,但省钱不在其中。

目前,OpenCode Go 套餐的用户,平均每天花费1.14美元,来运行 DeepSeek Flash v4。同样的功能在本地运行,你需要使用双 DGX 架构,即使每天费用翻上10倍,也需要 24 年才能收回成本。

Dax Raad,OpenCode 创始人

4、

你不接受某种想法,但仍然愿意对其进行思考,这是受过良好教育的标志。

亚里士多德

更正与撤稿

0 条记录

本文暂无更正或撤稿记录。若本文发布更正、澄清或被撤稿,相关说明将按时间顺序列于此处。版权异议或撤稿请求:见 版权与撤稿,或致函 [email protected]