Python v0.4.12
What's Changed
Release note (#832)
- feat: 补充 V2 压测结果中的 choices 字段 (#847) @Alex-TG001
- feat: 压测支持 function_call (#850) @Dobiichi-Origami
- bugfix: 使用信号量替换带超时的 queue.get 以避免压测情况下影响 QPS 值 (#856) @Dobiichi-Origami
- bugfix: 修复当 text 为 None 时 _MiniLocalTokenizer 无法正常工作的问题 (#857) @Dobiichi-Origami
- feat: 批量推理与压测支持预热操作,提升性能表现 (#859) @Dobiichi-Origami
- feat: Add kwargs for llm (#861) @Dobiichi-Origami
Full Changelog: py/v0.4.11...py/v0.4.12