智能问答
GaussMaster依据用户查询，使用检索模块从知识库中召回相关上下文，随后拼接prompt传递给大模型，由大模型判断是否存在风险信息并选择是否回答。当原始查询无法召回相关上下文时，可进行查询优化，识别用户真实意图，再进行检索与生成，给出解答；如果仍没有相关内容，则进行拒答，提示用户重新输入查询。当GaussMaster智能问答给出回答后，用户可根据回答内容与上下文判断回答效果，当回答正确无误时，可进行点赞操作；当回答错误时，可进行点踩操作；当回答不友好时，可进行举报操作等。此类信息会记录下来帮助后续GaussMaster智能问答进行改进与优化。
说明：
- GaussMaster仅提供智能问答（检索+推理/端到端问答）接口，不提供模型服务，不提供前端页面；
- GaussMaster依赖 505.2 版本以上GaussDB提供向量检索功能，且仅支持单机版，不支持分布式，需要提供模型服务（包括向量模型、重排序模型与大模型）来支持向量化与答案生成功能；
- GaussMaster仅支持 GaussDB 相关问题解答，当前版本支持基础问题、功能介绍、使用方法、特性支持、参数配置、告警解决六类问题的解答，不支持多跳问题（需要串联多个信息片段来组成答案，如GaussDB 最新版本新增哪些特性）、比较问题（如GaussDB中不同版本中索引推荐的差异）、涉及多个章节总结归纳答案的单点问题等复杂问题，待后续版本进行迭代解决；针对答案存在于 GaussDB 文档中的情况，简单问题（如shared_buffer参数应该如何设置？）回答成功率 80% 以上。
智能问答约束
- GaussMaster对于涉政涉恐问题拒答依赖于大模型本身能力。基于pangu-38b模型，初步评估拒答准确率在70%以上，最终生成的结果由下游云侧进行敏感信息过滤后返回给用户；
- GaussMaster内部测试条件：大模型服务可通过远程接口调用公司盘古API，或在昇腾NPU服务器上部署大模型服务；向量模型与重排序模型服务可通过远程接口调用GaussDB提供的API，或在昇腾NPU服务器上部署向量与重排序模型服务；需在配置文件中添加对应API保证服务正常运行；
- 性能规格约束：以大模型服务为例，不考虑网络时延与并发情况，在8卡910B单并发条件下，pangu-38b推理性能为首字 1s，增量每字100ms。实际使用中推理速度受网络时延与多并发阻塞影响；
- 问答功能只支持中文和英文，本版本以中文为主，服务农行客户，模型微调也仅支持中文；对于默认知识库，中文/英文会检索不同的知识库。对于自定义知识库，则不进行区分，直接进行检索；英文问答准确率不保证达到 80%；
- 问答接口中历史对话记录默认长度为1，表示会提取上一次对话内容；当历史对话的语言参数与本次对话语言参数不同时（如上一次为中文对话，此次为英文对话），会丢弃对应历史对话信息；
- 由于大模型存在输入输出长度限制，因此当查询过长/检索到对应的上下文过长时，无法生成回答。以盘古大模型为例，输入输出的长度限制为4096。
意见反馈