您好，不使用TGI可以运行KIEVAL吗？

[WooyoohL]

我试图在本地部署一个带有RAG的LLM，而不是TGI，然后对其进行评估（包括对于RAG结果等的评估），使用的是自己的数据集，修改起来容易吗？

[zhuohaoyu]

如果你已经写好了使用自己模型的推理代码，仅需修改kieval/models/local_hf_model.py即可支持，对于数据集，可以参考kieval/datasets/hotpotqa.py修改。

[hingkan]

如果你已经写好了使用自己模型的推理代码，仅需修改kieval/models/local_hf_model.py即可支持，对于数据集，可以参考kieval/datasets/hotpotqa.py修改。

您好，有没有什么更好的办法直接加载本地模型，而不是需要使用推理框架启动API。还有，可以直接生成验证文件嘛，而不是直接使用openai进行裁决。