受langchain-ChatGLM项目启发,由于Elasticsearch可实现文本和向量两种方式混合查询,且在业务场景中使用更广泛,因此本项目用Elasticsearch代替Faiss作为知识存储库,利用Langchain+Chatglm2实现基于自有知识库的智能问答。
本项目希望抛砖引玉,能够帮助大家快速地做技术验证和技术路线选取。
默认使用的embedding模型为moka-ai/m3e-large
目前仅支持上传 txt、docx、md等文本格式文件。
默认使用余弦距离计算文本相似性。
修改配置文件config.ini,配置Elasticsearch链接
模型可修改为本地路径
增加对InternLM的支持:llm_model
修改为internlm/internlm-chat-7b
即可。
执行web.py
python web.py
ES插入时文档交互模块会显示插入是否成功,或抛出异常内容;问答时,文档交互模块会展示查询到的内容,包括文档来源,文档内容和相似度分数。
三种查询模式,具体区别见Elasticsearch官方文档
近似查询:Approximate kNN
混合查询:Combine approximate kNN with other features
查询阈值:
仅返回相似度分数大于阈值的查询结果,0为不设限制
top_k:
返回最相关的k个文本
knn_boost:
适用于混合查询,knn_score所占比例
打包docker镜像
docker build -f docker/Dockerfile -t es-chatglm:v1.0 .
启动docker容器
docker run --gpus "device=0" -p 8000:8000 -it es-chatglm:v1.0 bash
欢迎沟通交流!