民间版中文羊驼模型 v4.2
本版本以功能性更新为主,包括新增8K上下文支持、支持Gradio Demo流式输出、支持仿OpenAI API形式调用等。
🔬 新增8K+上下文支持
新增8K+上下文支持方法,无需对模型权重本身做出修改。
- transformers:提出自适应RoPE,动态适配4K~8K+上下文,已集成在
gradio_demo.py
,inference_hf.py
等(#705) - llama.cpp:可支持8K+上下文,相关修改步骤详见讨论区(#696)
🚀 支持Gradio Demo流式输出(#630)
- Gradio Demo现已支持流式输出形式,参考
gradio_demo.py
. Contribued by @sunyuhan19981208 - 修复流式输出时速度过慢的问题(#707). Contributed by @GoGoJoestar
🤖 支持仿OpenAI API形式调用(#530)
- 使用fastapi实现的仿OpenAI API风格的服务器Demo,使用方法参考Wiki. Contribued by @sunyuhan19981208
- 修复一处system message相关错误(#684). Contribued by @bigbaldy1128
- 增加
do_sample
参数(#699)Contribued by @sunyuhan19981208
其他更新、修复、新闻
- 修复了训练脚本中training steps的问题(#669)
- 修复了
build_dataset.py
和run_clm_sft_with_peft.py
中的一处命名错误,优化log输出(#691、#692) - 修复了低资源模型合并脚本中
vocab_size
更新问题(#703) - llama.cpp已支持仿OpenAI API部署,还可以部署一个简单的web demo,感兴趣的可访问llama.cpp#server