跳到正文

#模型成本治理

今日 0 条
9月11日周五
  1. 移动支付网

    招行统一调度近万张AI异构加速卡:平均利用率提升至60%+,每百万Token成本降60%

    招商银行通过将Kubernetes与Kueue、KEDA、Prometheus、HAMi、Fluid结合构建统一控制平面,让模型训练、微调和在线推理共享近10000张异构加速卡,将99%的加速计算资源纳入统一框架,平均利用率从35%提升至60%以上,每处理100万Token成本降低超过60%;其Twinkle训练框架默认支持5个LoRA租户共享同一基础模型实例,使加速卡资源使用量减少80%,训练密度提升至5倍。招行还自主研发并开源统一AI算力调度平台,与HAMi社区联合首发适配AI超节点算力调度落地方案。