机器之心编订部

嘿！刚刚，DeepSeek又更新了！

此次是更新了十月份推出的DeepSeek-OCR模子。

那时DeepSeek-OCR的出世，引起了巨匠对视觉压缩的关怀与盘问，而这一次，DeepSeek对视觉编码下手了。

不错说，刚刚发布的DeepSeek-OCR2通过引入DeepEncoderV2架构，已毕了视觉编码从「固定扫描」向「语义推理」的范式滚动！

固然，和DeepSeek险些每次发布一样，这一次相通亦然模子和本领证明皆开源。

神志地址：https://github.com/deepseek-ai/DeepSeek-OCR-2

模子地址：https://huggingface.co/deepseek-ai/DeepSeek-OCR-2

这项接洽的三位作家分别是魏浩然、孙耀峰、李宇琨。

具体来说，该接洽的中枢更动在于将原来基于CLIP的编码器替换为轻量级话语模子（Qwen2-500M），并引入了具有因果注意见机制的「因果流查询」。

这种策画冲破了传统模子必须按从左到右、从上到下的栅格规则科罚图像的甘休，赋予了编码器凭证图像语义动态重排视觉Token的才气。通过这种两级级联的1D因果推理结构（编码器重排与译码器贯通），模子能够更精确地归附复短文档（如带表格、公式和多栏布局）的当然阅读逻辑。

这就像是为机器装上了「东说念主类的阅读逻辑」，让AI不再仅仅独具匠心地扫描图像。对比之下，传统的AI就像一个呆板的复印机，无论页面内容多复杂，都只可从左上角到右下角按行扫描。

在守护极高数据压缩服从的同期，DeepSeek-OCR2在多项基准测试和坐蓐标的上均取得了显赫突破。模子仅需256到1120个视觉Token即可掩饰复杂的文档页面，这在同类模子中处于极低水平，显赫缩短了下流LLM的计较支拨。

在OmniDocBenchv1.5评测中，其详尽得分达到91.09%，较前代普及了3.73%，荒谬是在阅读规则识别方面发达出了更强的逻辑性。

此外，在本色坐蓐环境中，该模子显赫缩短了OCR识别扫尾的重迭率，并为改日构建长入的omni-modal（全模态）编码器提供了可行旅途。是的，改日褪色个AI「大脑」大略能用相通的要津行止理声息、视频等所有这个词模态的数据，信得过已毕多模态的深度长入。

DeepSeek-OCR2架构

如图3所示，DeepSeek-OCR2延续了DeepSeek-OCR的举座架构，由编码器（encoder）息争码器（decoder）构成。编码器雅致将图像防碍化为视觉token，而解码器则在这些视觉token与文本指示（textprompts）的条目拘谨下生成输出。

两者的弱点区别在于编码器部分：DeepSeek将原有的DeepEncoder升级为DeepEncoderV2。在圆善保留前代才气的基础上，DeepEncoderV2通过一种全新的架构策画，引入了因果推理才气（causalreasoning）。

DeepEncoderV2

DeepEncoderV2的第一个构成部分是视觉分词器（visiontokenizer）。延续了DeepEncoder的策画，DeepSeek采用了一种由参数范围为8000万的SAM-base与两层卷积层构成的架构。比拟DeepEncoder，DeepSeek将最终卷积层的输出维度从1024降至896，以与后续科罚经过保捏一致。

在DeepEncoder中，视觉分词器之后接入的是一个CLIPViT，用于进一步压缩和建模视觉语义。DeepEncoderV2对这一组件进行了再行策画，将其矫正为一种类LLM的架构，并引入了双流注意见机制（dual-streamattention）。

其中，视觉token采用双向注意见，以保留CLIP所具备的全局建模才气；而新引入的因果流查询（causalflowqueries）则使用因果注意见。这些可学习的查询token被看成后缀追加在视觉token之后，每个查询都不错关怀所有这个词视觉token以偏执之前的查询token。通过保捏查询token与视觉token数目一致，该策画在不改变token总和的前提下，对视觉特征施加语义上的排序与蒸馏拘谨。最终，唯有因果查询token的输出会被送入LLM解码器。

从举座上看，该架构本色上构建了一种两阶段级联的因果推理机制：起头，编码器通过可学习查询对视觉token进行语义重排；随后，LLM解码器在这一有序序列之上现实自回想推理。与依赖位置编码施加刚性空间规则的传统编码器不同，这种因果排序查询能够更当然地贴合皆集的视觉语义，并与LLM的单向注意见样貌高度一致。该策画有望在二维空间结构与一维因果话语建模之间搭建起一座桥梁。

为更直不雅地展示DeepEncoderV2的注意见机制，图5对其注意见掩码进行了可视化。该注意见掩码由两个互相区分的区域构成。

左侧区域对原始视觉token采用双向注意见机制（雷同于ViT），使苟且token都不错与其他所有这个词token开垦可见性，从良友毕圆善的全局建模；右侧区域则针对因果流token使用因果注意见（三角形掩码，与纯解码器LLM透顶一致），其中每个token只可关怀其之前的token。

DeepSeek-MoEDecoder

由于DeepSeek-OCR2的改进重心主要鸠合在编码器上，并未对解码器部分进行升级。辞退这一策画原则，模子陆续沿用DeepSeek-OCR的解码器——一个参数范围为30亿的MoE结构，其中约5亿参数在推理时处于激活情状。

磨真金不怕火数据与磨真金不怕火经过

在数据层面，DeepSeek-OCR2沿用了与DeepSeek-OCR疏浚的数据源，由OCR1.0、OCR2.0以及通用视觉数据构成，其中OCR数据占搀杂磨真金不怕火数据的80%。同期引入了以下两项改进：

针对OCR1.0数据采用了更平衡的采样战略，并按内容类型（正文、公式和表格）以3:1:1的比例对页面进行分别；

通过合并语义相似的类别（举例长入「插图证据」和「插图标题」）来优化布局检测的标签。

在磨真金不怕火阶段，DeepSeek-OCR2主要分为三个阶段来完成：（1）编码器预磨真金不怕火；（2）查询增强；（3）解码器特意化。

其中第一阶段使视觉分词器（tokenizer）和LLM格调的编码器取得特征索要、token压缩和token重排的基础才气。第二阶段进一步加强编码器的token重排才气，同期增强了视觉常识的压缩。第三阶段冻结编码器参数，可提现游戏平台app仅优化解码器，从而在疏浚的FLOPs下已毕更高的数据蒙眬量。

接着来看细节。

起头是磨真金不怕火DeepEncoderV2。辞退DeepSeek-OCR和Vary的要津，使用话语建模标的来磨真金不怕火DeepEncoderV2，将编码器与轻量级解码器耦合，通过预计下一个token进行合资优化。采用了768×768和1024×1024两种分辨率的数据加载器。视觉分词器启动化自DeepEncoder，LLM格调的编码器则启动化自Qwen2-0.5B-base。预磨真金不怕火完成后，仅保留编码器参数用于后续阶段。

本阶段使用AdamW优化器，学习率采用余弦退火，从1e-4降至1e-6，在160台A100GPU（20个节点×8台GPU）上以640的批大小磨真金不怕火40k次迭代（采用长度为8K的序列打包，约包含1亿个图文对样本）。

其次是查询增强。在DeepEncoderV2预磨真金不怕火之后，将其与DeepSeek-3B-A500M整合为最终的活水线。冻结视觉分词器（SAM-conv结构），并合资优化LLM编码器和LLM解码器以增强查询暗意。本阶段通过多剪辑战略将两种分辨率长入到单个数据加载器中。此外采用4阶段活水线并行：视觉分词器（PP0）、LLM格调编码器（PP1）以及DeepSeek-LLM层（PP2-3每阶段6层）。

本阶段愚弄160台GPU（每台40GB显存），树立了40个数据并行副本（每个副本4台GPU），过程中使用疏浚的优化器，以1280的全局批大小进行磨真金不怕火，学习率在15k次迭代中从5e-5退火至1e-6。

终末是LLM捏续磨真金不怕火。为了快速耗尽磨真金不怕火数据，本阶段冻结DeepEncoderV2的所有这个词参数，仅更新DeepSeek-LLM的参数。本阶段加快了磨真金不怕火（在疏浚全局批大小下，磨真金不怕火速率普及了一倍多），同期有助于LLM更好地交融DeepEncoderV2重排后的视觉token。

贯串第二阶段，本阶段进行了另一次学习率退火，从1e-6降至5e-8，共磨真金不怕火20k次迭代。

评估扫尾

团队选用OmniDocBenchv1.5看成主要评测基准，该基准包含1355页文档，掩饰中英文两种话语的9大主要类别，包括杂志、学术论文、接洽证明等。凭借其各样化的测试样本与严格的评测尺度，OmniDocBench为考据DeepSeek-OCR2的举座性能，尤其是DeepEncoderV2的有用性，提供了一个可靠有用的平台。

如表1所示，在使用最小视觉token上限（

）的情况下，DeepSeek-OCR2仍取得了91.09%的最初性能。与DeepSeek-OCR基线模子比拟，在采用相似磨真金不怕火数据来源的前提下，其性能普及了3.73%，考据了新策画架构的有用性。

此外，除了举座性能普及，阅读规则（R-order）标的上的编订距离（EditDistance，ED）也显赫着落，从0.085降至0.057。这标明，新的DeepEncoderV2能够凭证图像信息更有用地采用并列列启动视觉token。

进一步如表2所示，在疏浚的视觉token预算（1120）条目下，DeepSeek-OCR2在文档贯通任务中的ED（0.100）低于Gemini-3Pro（0.115）。这进一步解说了新模子在保捏高视觉token压缩率的同期，仍能确保更优的性能，并展现出极高的后劲。

改进空间

团队在9种文档类型上，对DeepSeek-OCR与DeepSeek-OCR2进行了渊博的性能对比，扫尾标明：DeepSeek-OCR2仍具有较大的普及空间，如表3所示。在文本识别的编订距离（ED）标的上，DeepSeek-OCR2在大多半场景中优于DeepSeek-OCR，但在某些类型上仍存在彰着不及，举例报纸类文档，其ED越过0.13。

团队以为主要原因有两点：

视觉token上限较低，可能影响了文本极为密集的报纸类文档识别恶果，这一问题可在改日通过加多局部剪辑（localcrops）的数目来缓解；

报纸类数据不及——现时磨真金不怕火鸠合仅包含约25万条意象样本，这关于磨真金不怕火DeepEncoderV2来说仍然不够充分。

固然，在阅读规则（R-order）这一标的上，DeepSeek-OCR2在所有这个词类别中耐久优于DeepSeek-OCR，这进一步考据了所忽视的「视觉因果流」编码器策画的有用性。

本色应用

DeepSeek-OCR主要面向两类坐蓐场景：一是为DeepSeek-LLM提供图像/文档读取才气的在线OCR就业，二是用于批量PDF科罚的预磨真金不怕火数据活水线。在比较了DeepSeek-OCR2与DeepSeek-OCR在简直坐蓐环境中的发达后发现，由于坐蓐环境中无法取得尺度谜底，因此团队主要采用「重迭率」看成中枢质料标的。

如表4所示，比拟前代模子，DeepSeek-OCR2在本色可用性方面有了显赫普及：在在线用户日记图像中，重迭率从6.25%降至4.17%；在PDF数据坐蓐场景中，重迭率从3.69%降至2.88%。

这些扫尾进一步考据了DeepSeek-OCR2架构的有用性，尤其体现了其在逻辑性视觉交融方面的上风。