B站视频说大模型算力瓶颈正从训练阶段的集中式供给转向推理阶段的高并发、实时响应和弹性调度问题。

  • 传统包机房、长期租用或自建集群的模式更适合训练任务，不适合应用侧突发流量和弹性需求；按量付费又可能显著抬高中小企业成本。
  • 视频提出的解决方向是共享算力和算力调度网络，类似”打车软件”或”水龙头”，通过标准化接口调动全国各地机房甚至个人闲置算力。
  • 政策层面正在推进省级算力网、毫秒用算、普惠算力、算力银行、算力超市等模式，核心目标是让算力从”资源交付”转向”能力交付”。