Streaming流式输出

模型生成一个字就往前端推一个字,用户可以边看边等,而不是等全部生成完再一次性展示。

模型生成一个字就往前端推一个字,用户可以边看边等,而不是等全部生成完再一次性展示。虽然总耗时差不多,但用户体感快很多。ChatGPT 的"打字机效果"就是流式输出。

什么时候会用到

讨论用户体验优化、技术方案选型时会用。

例句

  • 必须支持 Streaming,让用户等 5 秒看着空白页和边看边出完全是两种体验。