为什么用中台理念做AI芯片和GPU？

对于互联网公司来说，中台是一个非常熟悉的概念。

但在芯片领域，提中台概念的人并不多。

2022世界人工智能大会上，瀚博半导体创始人兼CEO钱军在谈及协同两个产品线时说道：“我们用了中台的概念。核心的IP就类似中台，然后上层有统一的开发平台。可以根据产品和规划和侧重点，设计和推出更符合市场需求的产品。”

瀚博践行这一理念的关键是自主研制的统一计算架构（Vastai Unified Compute Architecture）。

所谓的统一计算架构，是将多款高性能计算引擎进行整合，拥有高效统一的存储管理、一致性接口和低链接延迟、完整的虚拟化功能、统一的底层软件设计、模块化的上层计算算子库和功能模块。

钱军说：“瀚博统一架构让计算密集型的AI、视频、渲染任务性能得到最大化硬件加速，同时端到端缩小延时，一体化助力云端实时图形渲染、AI增强处理、视频编解码等需求。这个架构包含硬件架构和软件架构。”

与瀚博统一计算架构同时推出的是瀚博的软件平台VastStream，有统一接口、灵活调度、通用AI计算、多路高效视频转码+AI增强、易编程快迁移、工具链完备等，可加速各类AI应用部署，包括计算机视觉、视频处理、自然语言处理、搜索与推荐、算子自定义扩展等。

基于这样的理念和软硬件统一架构，更容易理解瀚丰富的产品线，以及统一架构的价值。

基于统一计算架构的AI和GPU芯片

去年，瀚博半导体发布了其首款云端AI推理芯片SV102及搭载此芯片的载天系列通用加速卡VA1。

“我们的第一个产品选择了AI+视频领域，这是我们的突破口。”钱军透露，“在第一款芯片SV102中，就有一个性能不错的图形渲染模块，只是我们没有对外宣传。两款产品都基于瀚博的统一计算架构中。”

可以将瀚博的统一计算架构理解为一个构建好的房屋整体框架，框架确定了不同的功能区域，也就是对应不同的加速核。根据需求，房屋建设的时候可以在架构不变的前提下可以调整功能区并装修成不同风格，对应到芯片上，也就是不同性能、功能有所差异的芯片。

这样做最大的优势是可以复用很多资源，以最少的投入满足更多的需求，其实也就是互联网公司所提的中台的优势。

体现到产品中，基于统一的计算架构，瀚博既能开发出高性能云端推理芯片以及边缘的AI芯片，也能推出GPU。

2022世界人工智能大会期间，瀚博不仅发布了数据中心推理卡载天VA10，以及首款面向边缘大算力场景推理卡载天VE1系列，还展示了即将发布的7你们云端GPU芯片SG100。

载天V10是VA1的后续产品，最大的亮点是Int8峰值算力达400TOPS，刷新业界纪录，适用于直播视频增强、智慧交通管理、实时语义理解等场景。

瀚博给出的数据显示，载天VA10的功耗为150瓦，整体最高推理性能达到同功耗主流GPU的2倍以上，且延时低至后者的6%。在低延时场景（低于4毫秒的YoloV3检测算法场景）下，载天VA10推理性能达到同功耗市场主流GPU的3倍以上。

“瀚博75瓦的加速卡就可以替代150瓦的卡，之所以我们还是150瓦的卡，主要是考虑到服务器有不同结构，有的结构不一定能插入16+75瓦的卡，150瓦的加速卡适用性更广。”钱军表示。

载天VE1系列是瀚博首款面向边缘大算力的推理卡，具有超低时延与超高吞吐率、低功耗、大算力的特性。在40-65瓦功耗下，INT8峰值算力达100 TOPS，支持60路1080P视频实时解码，支持主流AI框架的模型，提供从模型编译到推理优化的全流程低代码开发框架VastPipe，提供端到端的软硬件AI推理解决方案。

另据瀚博的测试数据，载天VE1吞吐率达到主流GPU的2倍，时延仅为其的1/5。

“载天VE1可以在非常适用于智慧交通、车路协同、工业质检等边缘打算力场景，充分发挥超高吞吐率和超低时延的优势。”钱军表示。

AI芯片之外，瀚博新产品的一大亮点就是7nm云端GPU——瀚博SG100。

钱军称SG100 GPU拥有世界领先的超高吞吐、超高质量、低延时的编码能力，集渲染、AI、视频于一体，还提供世界一流的SR-IOV虚拟化支持。

据了解，SG100会在不久的将在正式发布和量产。

对于推出GPU，钱军表示这一直在其公司的计划中，也相信元宇宙的发展回对图形渲染有爆炸式的需求增长，瀚博的GPU看好的是这一市场需求。

当然，瀚博能设计出GPU还有团队的关键因素。钱军在创业前是AMD 高管，曾带领AMD中国团队设计量产了业界第一颗7纳米图形处理器和第一颗7纳米GPGPU架构的AI芯片。瀚博和核心研发团队也都拥有18年以上高端芯片设计和量产的经验。

统一计算架构对产品落地的价值

对于一家初创公司来说，同时布局云端推理、边缘高性能推理以及GPU三条产品线需要大量的资金投入，是一个巨大的挑战。以中台的理念，用统一计算架构的方式，能够在很大程度上提升研发的效率，降低投入。

实际上芯片巨头也在采用这样的路线，比如高通就提出了统一的技术路线图。

中台理念，或者说统一计算架构在实际执行中面临着诸多挑战，要在一个统一的计算架构下，涵盖多款不同特性的产品，非常考验架构设计者的能力，必须要有长远的考虑，有架构思维，保证架构有足够的灵活性，同时要兼顾效率等要求。

软件层面，由于要直接面对最终用户，在各种不同的需求下，要兼顾易用性和灵活性，同时还需要面对效率的挑战，并且还要在统一架构的框架下，保证产品的延续性。

这就意味着，统一的架构能带来效率的提升，但也考验着底层架构设计者的经验和能力，以及最终产品实现时的坚定决心。当然，统一架构的优势也十分明显，在构建生态以及产品落地时，能够集中力量，更快发展。

2022年，瀚博先后与福建大数据集团、国宁瑞能，高新兴、超聚变等企业，在智慧城市、智慧政务、智慧交通、智慧园区、智慧能源等场景开展了深入合作。

接下来，随着边缘大算力AI产品的推出和落地，加上即将发布的GPU，我们将能够看到瀚博的统一架构战略的成败。