跳到正文

#模型成本治理

今日 0 条
9月11日周五
  1. 移动支付网

    招行统一调度近万张AI异构加速卡:平均利用率提升至60%+,每百万Token成本降60%

    招商银行通过将Kubernetes与Kueue、KEDA、Prometheus、HAMi、Fluid结合构建统一控制平面,让模型训练、微调和在线推理共享近10000张异构加速卡,将99%的加速计算资源纳入统一框架,平均利用率从35%提升至60%以上,每处理100万Token成本降低超过60%;其Twinkle训练框架默认支持5个LoRA租户共享同一基础模型实例,使加速卡资源使用量减少80%,训练密度提升至5倍。招行还自主研发并开源统一AI算力调度平台,与HAMi社区联合首发适配AI超节点算力调度落地方案。

8月24日周一
  1. 移动支付网

    Token精算时代已来!银行业如何管好每一枚Token?

    本文分析了银行业在人工智能大模型应用中的Token成本管理问题。文章指出,随着Token被定义为'词元'并成为AI计价的普遍单位,银行面临着巨大的Token消耗量和成本压力。文中以招商银行等为例,介绍了Token度量体系的构建经验,并借鉴互联网、保险、科技等行业的成本管理实践,提出了构建'业技财'融合的精细化运营体系的五层闭环方案,包括治理层、度量层、技术层、资源层和合规层,旨在帮助银行实现Token成本的有效管控与AI价值的最大化。