Streaming流式输出
模型生成一个字就往前端推一个字,用户可以边看边等,而不是等全部生成完再一次性展示。
模型生成一个字就往前端推一个字,用户可以边看边等,而不是等全部生成完再一次性展示。虽然总耗时差不多,但用户体感快很多。ChatGPT 的"打字机效果"就是流式输出。
什么时候会用到
讨论用户体验优化、技术方案选型时会用。
例句
- 必须支持 Streaming,让用户等 5 秒看着空白页和边看边出完全是两种体验。
模型生成一个字就往前端推一个字,用户可以边看边等,而不是等全部生成完再一次性展示。
模型生成一个字就往前端推一个字,用户可以边看边等,而不是等全部生成完再一次性展示。虽然总耗时差不多,但用户体感快很多。ChatGPT 的"打字机效果"就是流式输出。
讨论用户体验优化、技术方案选型时会用。