V3.1 上下文窗口

日常闲聊 · 4 天前

Deepseek V3.1 拥有 128,000 个 token 的上下文窗口，这差不多相当于一本很厚的平装小说。但你真的相信，每次你输入一条新消息的时候，它都会把这本“小说”从头到尾重新读一遍，并且还能保持完全连贯吗？至少到目前为止，我自己在任何 AI 上都没体验到过这样的效果。

fkbill · 4 天前

我在一个特别长的投资组合内容创作讨论帖里，得到了一段高度一致性的文字。

z2587 · 4 天前

它的运作方式是这样的：你每次提的问题，其实都会当作一次新的对话来处理，只不过系统会自动把之前的对话历史加载进来。举个例子，当你问问题A，它会回答B；接着你又问了问题C，虽然你在同一个对话窗口里，但对模型来说，这其实是开启了一个新的“虚拟对话窗口”。这时候，它会先把前面的A和B读进去，再处理你新输入的C。所以你看，它每轮对话其实都要读不少内容。不过要注意，这个模型本身并不会“记住”你以前聊过什么。它保持连贯性的方法是——每次都将完整的上下文信息作为输入来处理。

矮水草 · 4 天前

DeepSeek有缓存价格优惠。比如在ABC的例子中，一旦A和B变成了历史对话的一部分，当对话进行到C的时候，这部分历史内容只会按照非常低的缓存价格来收费，而不是原来的高价格 —— 所以整体用起来挺省钱的。说到我自己，我主要是拿它来处理和代码相关的任务，这种情况下内容很容易超过128K的限制。从我的使用体验来看，一般对话进行个3到4轮都没啥问题。不过从机制上讲，虽然它会加载历史记录，但感觉聊得越多，部分信息就会慢慢“漏掉”。不过好消息是，V3.1版本在这方面已经比之前的V3版本好不少了。

橙乐 · 4 天前

这让我有点懵。他们不是说要一百万吗？

bjc4845 · 3 天前

这其实是个五五开的概率问题，就是LLMs到底能不能准确记住东西。一旦你把上下文用到最大，大部分情况下，它们的连贯性会迅速下降，特别是超过32k之后更明显。3.1版本在这方面确实有些改进，但还远不能跟Anthropic、Gemini或者OpenAI这些闭源模型比拼连贯性。不过，启用推理模式通常能提升准确性，因为这时候模型必须结合上下文来理解提示。你可以去“现场小说长凳”这个测试看看，它能检验模型在达到某个上下文长度后的连贯表现。我记得好像是，普通模式在上下文满了的情况下准确率大概53%左右，而开启思维链（推理模式）后准确率能提升到63%。

whjfp · 3 天前

“完全一致”在这里是什么意思呢？我发现就算是小一点的模型，也能轻松记住在本地运行时提供的10万字左右的上下文内容。

想飞的菜鸟 · 前天 10:55

我猜这应该不是那种免费的模特吧？

紫鹰爱 · 前天 10:59

你用V3的感觉跟我差不多啊，在聊个四五轮之后，它就开始有点顾不上之前提到的一些细节了。那你在用3.1的时候，有没有遇到类似的情况呢？

zzfsmsk · 前天 17:42

还记得你之前让我找某个信息的时候，我是不是能顺利找到？或者当你提到一个话题时，我能不能把相关的信息点自动关联起来？
其实我们说的“连贯性”并不是这个意思。
真正的连贯性，是说我能记住你之前在第200条消息里说过的话——哪怕当时聊的是一个完全不同的主题，但能和你现在的新问题建立一种“智能”的联系。  比如：
你之前说过“买了新的索尼降噪耳机”，然后现在你聊到“坐飞机去布达佩斯”，
那我应该能接上：“哦，坐飞机的时候你可以试试你上个月买的新索尼ANC耳机。”  这本来是LLM应该能做到的事，但做起来其实挺难的。
当然，公平地说，人类也不一定总能想到这一层。

		自动登录	找回密码
密码			立即注册

V3.1 上下文窗口

9 回复

浏览过的版块