#inference
共 5 篇相关内容 · 安全漏洞、AI动态、技术文章
情报动态 5
ai_tokens 🟢
小米MiMo-V2.5-Pro-UltraSpeed发布：1T参数模型突破1000 TPS
小米与TileRT合作发布MiMo-V2.5-Pro-UltraSpeed，首次在1万亿参数模型上实现1000 tokens/s解码速度。API通过百炼平台开放，需申请。百炼平台100万tokens免费(90天)。
ai_tokens 🟢
NVIDIA NIM 2026年取消Credits限制改为纯速率限制模式
NVIDIA NIM自2026年起取消此前的1000 Credits注册赠送模式，改为纯速率限制。支持100+免费模型包括DeepSeek-V4 Pro、Kimi-K2.5、GLM-5.1、Llama-4、Nemotron-3等，OpenAI 100%兼容格式，无需绑信用卡。
GitHub 🟢
ds4 — DeepSeek本地推理引擎 by antirez (13.5K⭐)
Redis作者antirez新作，DeepSeek 4 Flash/PRO本地推理引擎。支持Metal/CUDA/ROCm三大GPU后端，C语言实现，极简高性能。