随着AI大模型规模化落地,GPU、NPU等异构芯片已成算力主流,但算力碎片化、硬件孤岛、调度低效等痛点,持续制约着产业的商业化进程。为此,特斯联正式推出ThiCP异构算力调度平台V1.0,依托标准化、池化、算力调度三大核心能力,破解混合智算管理和调度难题,为AI应用落地提供轻量化、高性能算力底座。
当前行业普遍存在算力整卡独占、资源闲置率高、异构设备无法互通、调度精准度低、算力计费粗放等问题,整体算力利用率长期偏低。作为特斯联T-Cluster超节点核心软件底座,平台通过软硬件协同优化,构建全栈异构算力管理调度能力,实现算力利用率、调度效率、业务适配性三重突破,为Token即服务(TaaS)商业模式筑牢技术根基。
算力标准化:VCU单元消解算力碎片
传统算力调度模式下,单张算力卡通常被单一任务整卡独占,即便任务只需30%算力,剩余70%也只能闲置——这是算力利用率长期偏低的核心症结。
ThiCP引入VCU(Virtual Compute Unit)虚拟算力单元,将GPU、NPU等异构资源进行标准化、精细化切分(如:1VCU=10%物理算力),打破整卡独占模式,支持算力按需弹性分配与多任务并行承载。搭配精细化的算力与显存隔离管控,单张算力卡可同时承载多个推理任务,互不干扰。
根据测试数据,基于VCU的精细化切分调度,算力利用率可提升至70%以上,单台服务器算力产出达传统模式的1.5-2倍。此外,平台已完成多家主流厂商芯片及国产信创生态兼容适配,支持VCU/小时精细化计量,实现算力可管、可控、可计费。
算力池化:打破壁垒消融资源孤岛
异构芯片的架构差异导致硬件间存在天然壁垒——不同厂商芯片驱动不同、调用方式不同,难以统一调度、形成合力。
ThiCP平台突破单节点物理边界,将分散异构的算力资源整合为统一虚拟资源平面。通过硬件性能基准校准,将不同架构芯片的性能统一映射为VCU标准,实现异构算力“同构化”统一调度——让不同厂商、不同架构的芯片能够在同一平台上协同工作。
平台支持VCU资源全生命周期管控,依托RDMA高速网络实现跨节点算力协同,可高效承接大规模复杂智算任务。通过多业务弹性混部优化,集群整体吞吐提升2-3倍。同时深度兼容Kubernetes云原生生态,自动化运维覆盖率达90%,运维效率提升68%,大幅降低集群运营成本。
智能调度与InfiNet结合:推理成本直降
算力资源完成标准化与池化之后,如何将合适的任务调度至合适的算力,成为释放资源价值的关键一环。
平台搭载算力调度引擎,依托全域资源感知能力,采集集群拓扑、硬件特征、网络时延等多维数据,构建精准资源画像,解决异构调度“看不清、调不准”难题。内置效率优先、高可用保障、错峰抢占等核心调度算法,支持自定义策略扩展,可适配不同业务场景需求,兼顾资源利用率与核心业务优先级。
在此基础上,本平台结合ThiCP-InfiNet智能推理网络系统,将传统的“固定路径推理”升级为“特征感知→动态决策→自适应调度”的智能分发范式。系统在收到推理请求后,自动解析请求意图、评估计算复杂度、实时监控各节点GPU利用率与推理服务队列长度,将日常问答等轻量化请求调度至轻量模型,仅将复杂推理任务分配至高端算力集群。
这种“按需匹配”的精细化调度,不仅确保了全域请求的毫秒级响应,更将整体推理成本大幅降低50%至70%,直击大模型商业化落地的成本痛点。
四大核心场景,释放算力价值
基于上述能力,平台可适用于四大场景:
大模型训推集群:实现异构芯片混合训推,多AI任务混部提效,支撑大规模分布式训练与低成本推理服务。
信创智算中心:统一纳管国产NPU与通用GPU,破除“硬件-软件”双重依赖,盘活存量信创硬件,充分释放国产芯片性能。
政企混合算力:多租户安全隔离,支持精细化VCU计量计费与弹性扩缩容,保障核心业务算力优先,防止资源滥用与成本失控。
超节点配套场景:与特斯联T-Cluster超节点软硬协同,最大化释放硬件算力价值,打造高效的算力底座。
异构算力融合已经是智算Infra的必然趋势,ThiCPV1.0的发布,标志着特斯联在混合智算领域完成了从“硬件超节点”到“软件调度中枢”的关键布局。未来,平台将持续迭代调度算法、拓宽硬件兼容生态,提升大模型推理兼容性适配,持续提升算力效能与运维便捷性,以高效、低成本的算力服务,助力AI产业高质量规模化发展。