Doc2Repo：把 agent 评测对象从修 bug 变成造仓库
入选理由 · 专题里要长期跟踪评测方法，因为它决定我们怎样判断 agent 工具真的变强了。
核心要点
- Whole-repository generation 更接近真实软件工程
- 关注跨文件规划、依赖管理、测试和全局一致性
- 适合长期比较 Codex / Claude Code / OpenCode 等工具
- 专题应记录失败类型，而不是只引用榜单分数
AI 摘要
DeNovoSWE / Doc2Repo 给 agent 一个文档或自然语言规格，让它从零生成完整仓库。它比局部 bug 修复更接近真实开发：要跨文件规划、维护依赖、建立测试、保持风格一致，还要能在长程任务里不偏航。AI 前沿后续做工具专题时，应把这类评测作为长期指标之一，同时记录每个工具在真实工作流里的失败类型。
深度报告结构
认知提取
Agent 评测的核心正从“局部代码修补（修 Bug）”向“长程系统工程（从零造仓库）”转移。Whole-repository generation 要求模型具备跨文件规划、依赖管理和全局一致性维护能力，这比局部修复更贴近真实开发场景。评估编程工具时，记录长程任务中的具体失败类型比单纯追求榜单分数更具指导意义。
事件脉络
2026年6月9日，arXiv 收录论文《DeNovoSWE: Scaling Long-Horizon Environments for Generating Entire Repositories from Scratch》。研究团队发布了 DeNovoSWE 数据集（包含 4,818 个实例），旨在解决长程软件工程任务中缺乏大规模、可验证的整库生成数据的问题。该数据集通过沙盒 Agent 工作流自动构建，标志着代码 Agent 评测基准向更高复杂度的全局生成任务演进。
证据链
事实：DeNovoSWE 包含 4,818 个从文档生成完整仓库的实例；采用沙盒 Agentic Workflow 自动构建；使用“分而治之”、Critic-Repair 理念及难度感知轨迹过滤器（来源：arXiv 摘要，2026-06-09）。推断：由于需要处理跨文件依赖和长程上下文，该评测能更真实地反映 Codex / Claude Code / OpenCode 等工具在实际工作流中的能力边界。
仍需核查
1. 数据集自动构建流程中人工干预的具体比例及质量控制细节，摘要未说明，需读正文核对。2. 4,818 个实例的编程语言、框架及业务领域的分布多样性数据，摘要未说明，需读正文核对。3. 运行 DeNovoSWE 评测的具体算力成本、API 消耗及环境配置门槛。4. 主流 Agent 在该数据集上的具体失败案例与错误分类统计。
编辑判断
DeNovoSWE 提出的 Doc2Repo 范式是 AI 编程工具评测的重要里程碑。编辑认为，后续 AI 前沿在做工具专题时，应将“整库生成”作为长期跟踪的核心指标之一。同时，必须摒弃“唯分数论”，转向深度剖析工具在长程任务中的失败类型（如规划偏航、依赖冲突），这才是指导开发者选择工具的真正有效信息。
未来关注
1. 跟踪主流代码 Agent（如 Claude Code、OpenCode 等）在 DeNovoSWE 榜单上的后续表现及官方发布的失败模式分析报告。2. 关注该评测方法向真实企业级遗留代码库（非从零生成，而是大规模重构/迁移）的泛化扩展。3. 监测基于此数据集训练或微调的开源模型在长程规划能力上的提升幅度。
原文摘录
采集片段 · 非全文转载Abstract As the capabilities of LLM-based code agents continue to advance, their expected role is expanding beyond localized bug fixing in existing codebases toward architecting and implementing complete software repositories from high-level specifications. However, training agents for such long-horizon software engineering tasks remains difficult due to the scarcity of large-scale, verifiable whole-repository generation data. In this paper, we introduce DeNovoSWE, a large-scale dataset for whole-repository generation. DeNovoSWE comprises 4,818 high-quality instances, where each instance requires generating a complete repository from documentation. Our dataset is automatically constructed through a carefully designed sandboxed agentic workflow, enabling scalable curation without human annotation. DeNovoSWE is constructed with "divide and conquer" and critic-repair philosophy. To balance data quality and diversity, we further introduce a difficulty-aware trajectory filter（摘录未完，全文见原文出处。）
