logoChat01.ai

moonshotai kimi-k2-instruct-0905 , qwen-3-235b-a22...

생성일: 2025년 9월 19일

답변에 사용된 모델 GPT-5 Thinking by Chat01

질문

moonshotai kimi-k2-instruct-0905 , qwen-3-235b-a22b-instruct-2507

从实际使用体验上来说，这两个模型里面哪一个模型更好？我希望你用科学的数据说话

사고

License and Architecture Comparison

Kimi uses a "modified-MIT" license while Qwen adopts Apache-2.0. Let's break down the key metrics:

  • Architecture: Both are MoE models, with Kimi having 1T total parameters (32B active) and Qwen 235B total (22B active).
  • Context: Both handle 256K, but Qwen supports up to 1M extended contexts (with “How to enable 1M” instructions).
  • Coding: Kimi excels in SWE-Bench (69.2) and Terminal-Bench, while Qwen shows strong results in LiveCodeBench, Aider Polyglot, and MultiPL-E.
  • Knowledge & Reasoning: Qwen outperforms Kimi across multiple benchmarks, including MMLU-Pro, GPQA, AIME25.
  • Agent Tasks: Qwen leads with BFCL-v3 at 70.9.

Clarifying Model Details

For Kimi, there might be a reference to TAU in an earlier arXiv version (66.1 on TAU2 bench from 0711), but this may need clarification since it's an older dataset.

Regarding Chinese capability, Qwen includes multilingual benchmarks like MultiIF, MMLU-ProX, and INCLUDE, which cover various languages, although it's not specifically focused on Chinese. Might want to consider asking for more Chinese language tasks to get a fuller picture.

Synthesizing Task Recommendations

I didn't limit the options to only Chinese, but here's a synthesized recommendation:

  • For coding/agent tasks: Kimi-K2-Instruct-0905.
  • For general reasoning/knowledge and long-context retrieval: Qwen3-235B-A22B-Instruct-2507.
  • For Chinese & multilingual tasks: Qwen might be stronger.
  • For code repair tasks, especially for repo-level tasks: Kimi.

Regarding speed and compute costs, Kimi may be slower and more costly, but its MoE architecture should give it a higher efficiency with its active parameters. Still, the exact details are unclear.

Proposing Evaluation Plan

We need to propose an evaluation plan related to the user's request for "scientific data". We can suggest performing A/B tests using their prompts, but we can't run external evaluations or code. Instead, a "mini-eval template" along with an optional script might suffice. We'll just provide a summary with clear categories and a final verdict. The response should be concise, professional, and in Chinese, matching the user's language. Citations will be included when relevant.

Thought for 3m 18s

답변

下面给你一个“结论先行 + 数据对比”的答案；所有判断都尽量用公开可复现的基准支撑（已标注来源）。

先给短结论

  • 如果你的主要诉求是“代码智能 / 仓库级修复 / 代理式工具调用”：优先选 Kimi-K2-Instruct-0905。它在真实开源代码基准上成绩更亮眼（如 SWE-Bench Verified、Terminal-Bench 等），而且官方给出了多次独立复现实验的均值±方差。 (Hugging Face)
  • 如果你的主要诉求是“通用推理 / 数学 / 广域知识覆盖 / 超长上下文检索”：优先选 Qwen3-235B-A22B-Instruct-2507。它在 MMLU-Pro、GPQA、AIME’25、LiveBench 等通用评测上整体分数更高，并且原生 256K、可扩展到≈100 万 token 的长上下文能力更成熟（官方给出长上下文准确率曲线）。 (Hugging Face)

核心数据对比（只摘最能代表“使用体验差异”的指标）

1) 代码与工程化任务

  • Kimi-K2-Instruct-0905（0905 版）
    • SWE-Bench verified：69.2% ± 0.63
    • SWE-Bench Multilingual：55.9% ± 0.72
    • Terminal-Bench：44.5% ± 2.03
      -（注：以上均为官方在完整测试集、5 次独立运行的均值±方差） (Hugging Face)
  • Qwen3-235B-A22B-Instruct-2507
    • LiveCodeBench v6（25.02–25.05）：51.8%
    • MultiPL-E：87.9%；Aider-Polyglot：** 57.3%**。
      这些更多衡量“代码生成/修复”与多语言编程，但不像 SWE-Bench 那样强调“真实仓库级修 bug”的闭环。 (Hugging Face)

解读：在“真实仓库修复/工具链+终端操作”类任务上，Kimi-K2-0905 的 SWE-Bench verified 与 Terminal-Bench 成绩强，通常能带来更直接的“把 issue 修掉”的体验；而 Qwen3 在综合代码类基准依然很强，但偏“单题/函数级”生成与多语言覆盖。

2) 通用知识 & 数学推理

  • Qwen3-235B-A22B-Instruct-2507（节选）
    • MMLU-Pro：83.0；MMLU-Redux：** 93.1**
    • GPQA：77.5；Super-GPQA：** 62.6**
    • AIME 2025：70.3；HMMT 2025：** 55.4**
    • LiveBench（2024-11-25 版）：75.4。 (Hugging Face)

解读：在高难度通识和竞赛级数学上，Qwen3-235B-A22B-Instruct-2507 的分数更高，体现为“更稳定的长链条推理与知识覆盖”。

3) 代理/工具使用（Agent）

  • Qwen3-235B-A22B-Instruct-2507：BFCL-v3 70.9；TAU-Retail/Airline/Telecom 多项子集表现靠前（Qwen 官方汇总）。 (Hugging Face)
  • Kimi-K2：官方技术资料同样强调强代理与工具调用，但更突出的仍是“代码智能+仓库修复”路径（详见其技术博客/报告）。 (Hugging Face)

4) 长上下文能力

  • Kimi-K2-0905：上下文 256K tokens。 (Hugging Face)
  • Qwen3-235B-A22B-Instruct-2507：原生 262,144 tokens，并提供“约 100 万 tokens”的扩展方案；官方还给出不同上下文长度下的检索/问答准确率曲线（从 4K 到 1,000K 的准确率衰减）。 (Hugging Face)

解读：如果你常做“百万字级笔记/合同/代码库”的长文问答或检索整合，Qwen3 的“可扩到 ~1M”与已公布的精度曲线，会让预期更可控。

5) 架构与可部署性（影响速度/成本）

  • Kimi-K2-0905：MoE，大模型总参 ≈1T，激活参数 32B；License：** Modified-MIT**。 (Hugging Face)
  • Qwen3-235B-A22B-Instruct-2507：MoE，总参 235B，激活参数 22B；License：** Apache-2.0**。 (Hugging Face)

解读：MoE 的“按 token 激活专家”使两者推理成本主要与“激活参数”有关。Kimi（32B 激活）在相同推理设置下可能更吃算力；Qwen（22B 激活）通常更省资源。开源许可上，Qwen 采用 Apache-2.0 更宽松；Kimi 采用 Modified-MIT，也已开放权重与部署示例。

怎么选（按你的“实际使用场景”落地）

  • 以代码为中心的智能体/自动修复（SWE-Bench/终端交互/多语言仓库） → Kimi-K2-Instruct-0905 更合适。 (Hugging Face)
  • 以通用问答、数学/科学推理、长文检索与多语知识为主 → Qwen3-235B-A22B-Instruct-2507 体验更稳。 (Hugging Face)
  • 算力/成本敏感（同等吞吐下希望更低激活参数）→ Qwen3-235B-A22B-Instruct-2507。 (Hugging Face)

最后，给一套“可复现”的轻量对比范式（你可以直接照做）

  1. 代码修复闭环：取你们真实仓库中的 20 个历史 bug（含复现脚本），对两模型各跑 3 次，统计 pass@1 与 端到端修复成功率，并记录平均耗时与工具调用次数。
  2. 通用推理：从 AIME’25、GPQA-Diamond、MMLU-Pro 中各抽 50 题（避开泄漏题），温度 0，限制思考/输出上限，比较准确率与“错误自信度”。（Qwen 官方卡给出了这些基准的参考上限，可对照判断你们落地成绩的差距。） (Hugging Face)
  3. 长上下文检索：构造 100K/300K/600K/1M token 的文档拼接集，测“定位并引用原文”的准确率；Qwen 卡里提供了 4K→1,000K 的准确率曲线，可做 sanity check。 (Hugging Face)
  4. 稳定性：对每项实验记录重跑方差（Kimi 官方在 SWE-Bench/Terminal-Bench 上给了均值±方差范式，可直接借鉴）。 (Hugging Face)

参考/来源

  • Kimi-K2-Instruct-0905 官方模型卡（架构、256K 上下文、SWE-Bench/Terminal-Bench 等成绩、复现实验细节与许可） 。 (Hugging Face)
  • Qwen3-235B-A22B-Instruct-2507 官方模型卡（通用与代码类基准成绩、256K→约 1M 长上下文与精度曲线、架构与许可）。 (Hugging Face)

小结：“更像工程同事”的是 Kimi-K2-0905；“更像全科选手”的是 Qwen3-235B-A22B-Instruct-2507。
真正“哪一个更好”，取决于你的主任务和算力/成本约束。

이 Q&A 공유하기