Merge remote-tracking branch 'origin/geo' into geo

src/config/prompts.py

+
+#####################################################################################################################
+# agent 场景提示词模版
+PROMPT_AGENT_SYS = """请尽量帮助人类并准确回答问题。您可以使用以下工具：
+
+{tools}
+
+使用 JSON 对象指定工具，提供一个 action 键（工具名称）和一个 action_input 键（工具输入）。
+
+有效的 "action" 值： "Final Answer" 或 {tool_names}
+
+每个 $JSON_BLOB 只提供一个操作，如下所示：
+    
+    ```
+    {{
+    "action": $TOOL_NAME,
+    "action_input": $INPUT
+    }}
+    ```
+
+按照以下格式：
+
+Question: 输入要回答的问题
+Thought: 考虑前后步骤
+Action:
+    ```
+    $JSON_BLOB
+    ```
+Observation: 操作结果
+...（重复 Thought/Action/Observation N 次）
+Thought: 我知道如何回复
+Action:
+    ```
+    {{
+    "action": "Final Answer",
+    "action_input": "最终回复给人类"
+    }}
+    ```
+
+开始！始终以有效的单个操作的 JSON 对象回复。如有必要，请使用工具。如果合适，请直接回复。格式为 Action:```$JSON_BLOB```然后 Observation
+"""
+
+PROMPT_AGENT_HUMAN = """{input}\n\n{agent_scratchpad}\n (请注意，无论如何都要以 JSON 对象回复)"""
+
+##################################################################################################################
+
+# 结合历史对话信息，对用户提问进行扩展，生成不同角度的多个提问。用于 RAG 场景中
+PROMPT_QUERY_EXTEND = """作为一个向量检索助手，你的任务是结合历史记录，从不同角度，为“原问题”生成三个不同版本的“检索词”，从而提高向量检索的语义丰富度，提高向量检索的精度。生成的问题要求指向对象清晰明确，并与“原问题语言相同”。例如：
+历史记录: 
+'''
+'''
+原问题: 介绍下剧情。
+检索词: ["介绍下故事的背景。","故事的主题是什么？","介绍下故事的主要人物。"]
+----------------
+历史记录: 
+'''
+Q: 对话背景。
+A: 当前对话是关于 Nginx 的介绍和使用等。
+'''
+原问题: 怎么下载
+检索词: ["Nginx 如何下载？","下载 Nginx 需要什么条件？","有哪些渠道可以下载 Nginx？"]
+----------------
+历史记录: 
+'''
+Q: 对话背景。
+A: 当前对话是关于 Nginx 的介绍和使用等。
+Q: 报错 "no connection"
+A: 报错"no connection"可能是因为……
+'''
+原问题: 怎么解决
+检索词: ["Nginx报错"no connection"如何解决？","造成'no connection'报错的原因。","Nginx提示'no connection'，要怎么办？"]
+----------------
+历史记录: 
+'''
+Q: 护产假多少天?
+A: 护产假的天数根据员工所在的城市而定。请提供您所在的城市，以便我回答您的问题。
+'''
+原问题: 沈阳
+检索词: ["沈阳的护产假多少天？","沈阳的护产假政策。","沈阳的护产假标准。"]
+----------------
+历史记录: 
+'''
+Q: 作者是谁？
+A: FastGPT 的作者是 labring。
+'''
+原问题: Tell me about him
+检索词: ["Introduce labring, the author of FastGPT." ," Background information on author labring." "," Why does labring do FastGPT?"]
+----------------
+历史记录:
+'''
+Q: 对话背景。
+A: 关于 FatGPT 的介绍和使用等问题。
+'''
+原问题: 你好。
+检索词: ["你好"]
+----------------
+历史记录:
+'''
+Q: FastGPT 如何收费？
+A: FastGPT 收费可以参考……
+'''
+原问题: 你知道 laf 么？
+检索词: ["laf 的官网地址是多少？","laf 的使用教程。","laf 有什么特点和优势。"]
+----------------
+历史记录:
+'''
+Q: FastGPT 的优势
+A: 1. 开源
+   2. 简便
+   3. 扩展性强
+'''
+原问题: 介绍下第2点。
+检索词: ["介绍下 FastGPT 简便的优势", "从哪些方面，可以体现出 FastGPT 的简便"]。
+----------------
+历史记录:
+'''
+Q: 什么是 FastGPT？
+A: FastGPT 是一个 RAG 平台。
+Q: 什么是 Laf？
+A: Laf 是一个云函数开发平台。
+'''
+原问题: 它们有什么关系？
+检索词: ["FastGPT和Laf有什么关系？","介绍下FastGPT","介绍下Laf"]
+----------------
+历史记录:
+'''
+{histories}
+'''
+原问题: {query}
+检索词: """
+
+
+# 结合历史问答对话，生成新的提问，引导用户继续对话
+PROMPT_QA_EXTEND_QUESTION = """
+作为一个问答助手，你的任务是结合历史记录，生成三个新的问题，引导用户继续对话。生成的问题要求与对话内容相关且指向对象清晰明确，并与“原问题语言相同”。例如：
+历史记录：
+'''
+Q: 请用最简洁的描述介绍下 nginx
+A: Nginx是一款轻量级的Web服务器/反向代理服务器以及电子邮件（IMAP/POP3）代理服务器。它以其高性能、稳定性、丰富的功能集、简单的配置以及低资源消耗而被广泛使用。
+'''
+新问题: ["请问 nginx 如何下载？","请问 nginx 适合哪些场景？","请问 nginx 的作者是谁？"]
+----------------
+历史纪录：
+'''
+Q: 请问 nginx 如何下载？
+A: 你可以在 nginx 官网上下载 nginx。
+'''
+新问题: ["请问 nginx 的官网是那个？","请问 nginx 可以离线安装吗？","请问 nginx 如何安装？"]
+----------------
+历史记录：
+'''
+{histories}
+'''
+新问题：
+"""
\ No newline at end of file

src/server/get_similarity.py

 from src.pgdb.knowledge.similarity import VectorStore_FAISS
+from src.config.prompts import PROMPT_QUERY_EXTEND,PROMPT_QA_EXTEND_QUESTION
 from .rerank import BgeRerank
 
 
@@ -73,98 +74,12 @@ class GetSimilarityWithExt:
                 content_set.add(content)
         return unique_documents
 
-
-DEFAULT_PROMPT = """作为一个向量检索助手，你的任务是结合历史记录，从不同角度，为“原问题”生成三个不同版本的“检索词”，从而提高向量检索的语义丰富度，提高向量检索的精度。生成的问题要求指向对象清晰明确，并与“原问题语言相同”。例如：
-历史记录: 
-'''
-'''
-原问题: 介绍下剧情。
-检索词: ["介绍下故事的背景。","故事的主题是什么？","介绍下故事的主要人物。"]
-----------------
-历史记录: 
-'''
-Q: 对话背景。
-A: 当前对话是关于 Nginx 的介绍和使用等。
-'''
-原问题: 怎么下载
-检索词: ["Nginx 如何下载？","下载 Nginx 需要什么条件？","有哪些渠道可以下载 Nginx？"]
-----------------
-历史记录: 
-'''
-Q: 对话背景。
-A: 当前对话是关于 Nginx 的介绍和使用等。
-Q: 报错 "no connection"
-A: 报错"no connection"可能是因为……
-'''
-原问题: 怎么解决
-检索词: ["Nginx报错"no connection"如何解决？","造成'no connection'报错的原因。","Nginx提示'no connection'，要怎么办？"]
-----------------
-历史记录: 
-'''
-Q: 护产假多少天?
-A: 护产假的天数根据员工所在的城市而定。请提供您所在的城市，以便我回答您的问题。
-'''
-原问题: 沈阳
-检索词: ["沈阳的护产假多少天？","沈阳的护产假政策。","沈阳的护产假标准。"]
-----------------
-历史记录: 
-'''
-Q: 作者是谁？
-A: FastGPT 的作者是 labring。
-'''
-原问题: Tell me about him
-检索词: ["Introduce labring, the author of FastGPT." ," Background information on author labring." "," Why does labring do FastGPT?"]
-----------------
-历史记录:
-'''
-Q: 对话背景。
-A: 关于 FatGPT 的介绍和使用等问题。
-'''
-原问题: 你好。
-检索词: ["你好"]
-----------------
-历史记录:
-'''
-Q: FastGPT 如何收费？
-A: FastGPT 收费可以参考……
-'''
-原问题: 你知道 laf 么？
-检索词: ["laf 的官网地址是多少？","laf 的使用教程。","laf 有什么特点和优势。"]
-----------------
-历史记录:
-'''
-Q: FastGPT 的优势
-A: 1. 开源
-   2. 简便
-   3. 扩展性强
-'''
-原问题: 介绍下第2点。
-检索词: ["介绍下 FastGPT 简便的优势", "从哪些方面，可以体现出 FastGPT 的简便"]。
-----------------
-历史记录:
-'''
-Q: 什么是 FastGPT？
-A: FastGPT 是一个 RAG 平台。
-Q: 什么是 Laf？
-A: Laf 是一个云函数开发平台。
-'''
-原问题: 它们有什么关系？
-检索词: ["FastGPT和Laf有什么关系？","介绍下FastGPT","介绍下Laf"]
-----------------
-历史记录:
-'''
-{histories}
-'''
-原问题: {query}
-检索词: """
-
-
 class QAExt:
     llm = None
 
     def __init__(self, llm) -> None:
         self.llm = llm
-        prompt = PromptTemplate.from_template(DEFAULT_PROMPT)
+        prompt = PromptTemplate.from_template(PROMPT_QUERY_EXTEND)
         # parser = ListOutputParser()
         self.query_extend = prompt | llm 
 
@@ -187,3 +102,14 @@ class QAExt:
             history += f"Q: {msg[0]}\nA: {msg[1]}\n"
         return self.query_extend.invoke(input={"histories":messages, "query":question})
 
+class ChatExtend:
+    def __init__(self, llm) -> None:
+        self.llm = llm
+        prompt = PromptTemplate.from_template(PROMPT_QA_EXTEND_QUESTION)
+        self.query_extend = prompt | llm
+
+    def new_questions(self, messages):
+        history = ""
+        for msg in messages:
+            history += f"Q: {msg[0]}\nA: {msg[1]}\n"
+        return self.query_extend.invoke(input={"histories":history})
\ No newline at end of file

test/rag_test.py

 import sys
 sys.path.append('../')
 
-from src.server.get_similarity import QAExt
+from src.server.get_similarity import QAExt,ChatExtend
 
 from langchain_openai import ChatOpenAI
 
@@ -26,5 +26,15 @@ def test_qaext():
     print(result.content)
 
 
+def test_chatextend():
+    ext = ChatExtend(base_llm)
+    message = [
+        ("我们明天去爬山吧", "好呀"),
+        ("天气怎么样", "天气晴朗"),
+    ]
+
+    result =  ext.new_questions(messages=message)
+    print(result.content)
+
 if __name__ == "__main__":
-    pass
\ No newline at end of file
+    test_chatextend()
\ No newline at end of file