Inference Optimization推理优化

让模型推理跑得更快、更省钱的各种技术手段。包括量化、蒸馏、KV Cache、Speculative Decoding、Batch 推理等。推理优化直接影响产品的成本和体验。