#programming

Multi-LCB：大模型写代码真的只会Python吗？跨12种编程语言的全面测试揭示了惊人真相

LiveCodeBench是当前最流行的代码生成基准测试之一，但它只考察Python。Multi-LCB将其扩展到12种编程语言，对24个大模型进行了全面评估。结果发现：多数模型存在严重的Python过拟合问题，在其他语言上的表现大幅下滑；不同语言之间的性能差异远超预期；甚至有证据表明某些语言可能受到了数据污染的影响。这项研究为代码大模型的真实能力提供了更全面的衡量标准。