walkthrough.ipynb

{
 "cells": [
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "# Building a LangChain based app to retrieve Wikipedia Embeddings\n",
    "\n",
    "Cohere [recently embedded](https://txt.cohere.com/embedding-archives-wikipedia/) the entire wikipedia and made it available via [HuggingFace](https://huggingface.co/Cohere?ref=txt.cohere.com). Weviate hosted the embeddings and made it available for [free](https://weaviate.io/developers/weaviate/more-resources/example-datasets#semantic-search-through-wikipedia)\n",
    "\n",
    "Below is the code to retrieve from the Weviate Vector Database"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Code to retrive using semantic search"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 32,
   "metadata": {},
   "outputs": [],
   "source": [
    "import os\n",
    "import weaviate\n",
    "from langchain.embeddings import CohereEmbeddings\n",
    "from langchain.vectorstores import Weaviate\n",
    "from langchain.llms import OpenAI\n",
    "from langchain.chains import RetrievalQA\n",
    "\n",
    "from dotenv import load_dotenv\n",
    "load_dotenv()\n",
    "openai_api_key = os.getenv('OPENAI_API_KEY')\n",
    "cohere_api_key = os.getenv('COHERE_API_KEY')\n",
    "weaviate_api_key = os.getenv('weaviate_api_key')\n",
    "weaviate_url = os.getenv('weaviate_url')\n",
    "\n",
    "\n",
    "# Connect to the Weaviate demo databse containing 10M wikipedia vectors\n",
    "# This uses a public READ-ONLY Weaviate API key\n",
    "auth_config = weaviate.auth.AuthApiKey(api_key=weaviate_api_key) \n",
    "\n",
    "client = weaviate.Client( url=weaviate_url, auth_client_secret=auth_config, \n",
    "                         additional_headers={ \"X-Cohere-Api-Key\": cohere_api_key})\n",
    "\n",
    "\n",
    "vectorstore = Weaviate(client,  index_name=\"Articles\", text_key=\"text\")\n",
    "vectorstore._query_attrs = [\"text\", \"title\", \"url\", \"views\", \"lang\", \"_additional {distance}\"]\n",
    "vectorstore.embedding =CohereEmbeddings(model=\"embed-multilingual-v2.0\", cohere_api_key=cohere_api_key)\n",
    "llm =OpenAI(temperature=0, openai_api_key=openai_api_key)\n",
    "qa = RetrievalQA.from_chain_type(llm, retriever=vectorstore.as_retriever())\n",
    "query = \"Why is the theory of everything significant?\"\n",
    "result = qa({\"query\": query})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 20,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "' La teoría del todo es significativa porque podría unificar todas las interacciones fundamentales de la naturaleza, que son consideradas como cuatro: gravitación, la fuerza nuclear fuerte, la fuerza nuclear débil y la electromagnética. Esto permitiría una comprensión profunda de varios tipos diferentes de partículas, así como de diferentes fuerzas.'"
      ]
     },
     "execution_count": 20,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "result['result']"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Great the retrieval works, but do we know if the most relevant results are being sent for answer generation. Also, the answer is not in English, can we fix it? \n",
    "\n",
    "Let's see what happening under the hood."
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "#### Both methods below help retrive Documents based on similarity search"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 37,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='सर्वतत्व सिद्धांत या हर चीज़ का सिद्धांत या सब कुछ का सिद्धांत () सैद्धांतिक भौतिकी का एक कल्पित सिद्धांत है जो हमारे भौतिक ब्रह्माण्ड में घट सकने वाली हर चीज़ को वैज्ञानिक दृष्टि से समझाने की क्षमता रखता होगा। अगर यह सिद्धांत स्पष्ट हो जाता है तो ऐसा कोई भी प्रयोग नहीं होगा जिसके नतीजे के बारे में पहले से ही सही भविष्यवाणी करनी सम्भव न हो। यह सिद्धांत अन्य सभी ज्ञात सिद्धांतो को एक-दूसरे से जोड़ने का भी काम करेगा। वैज्ञानिकों द्वारा सर्वतत्व सिद्धांत ढूंढने का एक मुख्य कारण प्रमात्रा यान्त्रिकी (क्वान्टम मकैनिक्स) और सामान्य सापेक्षता (थीओरी ऑफ़ रॅलॅटिविटि) के बीच में तालमेल बनाना है। बिना इस सिद्धांत के मिले यह दोनों मूल सिद्धांत कुछ पहलूओं में एक-दूसरे का खंडन करते हैं।', metadata={'_additional': {'distance': -150.66002}, 'lang': 'hi', 'title': 'सर्वतत्व सिद्धांत', 'url': 'https://hi.wikipedia.org/wiki?curid=514328', 'views': 40}),\n",
       " Document(page_content='Una teoría del todo (o ToE por sus siglas en inglés, \"Theory of Everything\") es una teoría hipotética de la física teórica que explicaría y conectaría en un esquema teórico unificado las interacciones físicas fundamentales. Inicialmente, el término se usó con una connotación irónica, para referirse a varias teorías sobregeneralizadas. Después se popularizó en la física cuántica al describir varias propuestas teóricas que podrían unificar o explicar a través de un modelo consistente todas las interacciones fundamentales encontradas en teoría cuántica de campos. Otros términos, no del todo sinónimos, empleados para referirse al mismo concepto son teoría unificada, gran teoría unificada, teoría de campos unificada y teoría del campo unificado.', metadata={'_additional': {'distance': -150.61458}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900}),\n",
       " Document(page_content='En la corriente principal de la física actual, la Teoría del Todo podría unificar todas las interacciones fundamentales de la naturaleza, que son consideradas como cuatro: gravitación, la fuerza nuclear fuerte, la fuerza nuclear débil y la electromagnética. Dado que la fuerza débil puede transformar partículas elementales de una clase a otra, la teoría del todo debería producir una comprensión profunda de varios tipos diferentes de partículas, así como de diferentes fuerzas. El patrón previsible de las teorías es el siguiente:', metadata={'_additional': {'distance': -150.42622}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900}),\n",
       " Document(page_content='In fisica la teoria del tutto, conosciuta anche come TOE (acronimo dell\\'inglese \"theory of everything\"), è un\\'ipotetica teoria fisica in grado di spiegare e riunire in un unico quadro tutti i fenomeni fisici conosciuti. Presupposto minimo di tale teoria è l\\'unificazione di tutte le interazioni fondamentali.', metadata={'_additional': {'distance': -150.09216}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600}),\n",
       " Document(page_content=\"Nella corrente principale dell'attuale fisica, una Teoria del Tutto unificherebbe tutte le interazioni fondamentali della natura, che sono solitamente considerate essere quattro in numero: gravità, forza nucleare forte, forza nucleare debole e forza elettromagnetica. Siccome la forza debole può trasformare le particelle elementari da un tipo a un altro, la Teoria del Tutto dovrebbe dare una profonda comprensione dei vari tipi di particelle e delle diverse forze.\", metadata={'_additional': {'distance': -149.89221}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600}),\n",
       " Document(page_content='El concepto de una \"teoría del todo\" está arraigado en el principio de causalidad y su descubrimiento es la empresa de acercarnos a ver a través de los ojos del demonio de Laplace. Aunque dicha posibilidad puede considerarse como determinista, en una \"simple fórmula\" puede todavía sobrevivir la física fundamentalmente probabilista, como proponen algunas posturas actuales de la mecánica cuántica. Esto se debe a que aun si los mecanismos que gobiernan las partículas son intrínsecamente azarosos, podemos conocer las reglas que gobiernan dicho azar y calcular las probabilidades de ocurrencia para cada evento posible. Sin embargo, otras interpretaciones de la ecuación de Schrödinger conceden poca importancia al azar: este solo se tendría importancia dentro del átomo y se diluiría en el mundo macroscópico. Otras no obstante la niegan completamente y la consideran una interpretación equivocada de las leyes cuánticas. En consecuencia, la mayor dificultad de descubrir una teoría unificada ha sido armonizar correctamente leyes que gobiernan solo un reducido ámbito de la naturaleza y transformarlas en una única teoría que la explique en su totalidad, tanto en su mundo micro como macroscópico y explique la existencia de todas las interacciones fundamentales: las fuerzas gravitatoria, electromagnética, nuclear fuerte y nuclear débil.', metadata={'_additional': {'distance': -149.70148}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900}),\n",
       " Document(page_content='في الفيزياء الحالية السائدة، نظرية كل شيء هي محاولة لتوحيد القوى الأساسية الأربعة الموجودة في الطبيعة: (أي الثقالة, و القوة النووية القوية, و القوة النووية الضعيفة, و القوة الكهرومغناطيسية). بما أن القوة الضعيفة لها القدرة على تغيير الجسيمات الأولية من شكل لآخر، سينبغي على نظرية كل شيء بأن تعطينا فهماً عميقا للعلاقات الموجودة بين جميع الجسيمات المختلفة،', metadata={'_additional': {'distance': -149.68802}, 'lang': 'ar', 'title': 'نظرية كل شيء', 'url': 'https://ar.wikipedia.org/wiki?curid=10751', 'views': 200}),\n",
       " Document(page_content=\"La principale teoria del tutto è al momento la Teoria delle superstringhe / M-teoria; l'attuale ricerca sulla gravità quantistica a loop potrebbe eventualmente giocare un ruolo fondamentale in una teoria del tutto, ma non è il suo obiettivo principale. Queste teorie cercano di affrontare il problema della rinormalizzazione fissando alcuni limiti inferiori sulle scale di lunghezza possibili. La teoria delle stringhe e la supergravità (entrambe ritenute casi limite della ancora non ben definita M-teoria) suppongono che l'universo abbia effettivamente un numero di dimensioni superiore alle tre dello spazio e una del tempo, che sono intuitive.\", metadata={'_additional': {'distance': -149.24983}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600}),\n",
       " Document(page_content='نظرية كل شيء أو اختصاراً TOE أو معادلة الكون تشكل وصفاً شمولياً للمادة في الفيزياء النظرية، من المفترض أنها قادرة على تفسير جميع الظواهر الفيزيائية بشكل كامل وتفسر جميع المؤثرات الفيزيائية (أي كل شيء) ولا يزال البحث جارياً لمحاولة صياغتها. ومن المفترض أنها سوف تربط بين القوى الأربعة المعروفة التي تتحكم في تبادل القوى بين جميع الجسيمات المعروفة وغير المعروفة (مثل المادة المظلمة). القوى الأربعة المعروفة حتى الآن هي: القوة النووية الشديدة، التآثر الكهرومغناطيسي، القوة الضعيفة، وقوة الجاذبية.', metadata={'_additional': {'distance': -148.91898}, 'lang': 'ar', 'title': 'نظرية كل شيء', 'url': 'https://ar.wikipedia.org/wiki?curid=10751', 'views': 200}),\n",
       " Document(page_content='[자연의 움직임에 담겨있는 힘들에 대해 확실하게 알게 되는 순간과 모든 자연을 구성하고 있는 물체들의 위치에 대한 이해력, 만약 이 이해력이 또한 이 자료들을 분석하고 제출할 수 있을 정도로 광대하게 충분하다면, 그 이해력은 가장 위대한 우주의 본체와 그것들의 가장 작은 핵들을 하나의 공식 안으로 통합할 수 있을 것이다. 이러한 이유로 지성은 조금도 불확실해지려 하지 않고 미래는 마치 눈에 띄기 전의 현재가 되려는 과거와 같다.', metadata={'_additional': {'distance': -148.68285}, 'lang': 'ko', 'title': '모든 것의 이론', 'url': 'https://ko.wikipedia.org/wiki?curid=142233', 'views': 60})]"
      ]
     },
     "execution_count": 37,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "query = \"Why is the theory of everything significant?\"\n",
    "docs = vectorstore.similarity_search(query, 10)\n",
    "docs"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 38,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='सर्वतत्व सिद्धांत या हर चीज़ का सिद्धांत या सब कुछ का सिद्धांत () सैद्धांतिक भौतिकी का एक कल्पित सिद्धांत है जो हमारे भौतिक ब्रह्माण्ड में घट सकने वाली हर चीज़ को वैज्ञानिक दृष्टि से समझाने की क्षमता रखता होगा। अगर यह सिद्धांत स्पष्ट हो जाता है तो ऐसा कोई भी प्रयोग नहीं होगा जिसके नतीजे के बारे में पहले से ही सही भविष्यवाणी करनी सम्भव न हो। यह सिद्धांत अन्य सभी ज्ञात सिद्धांतो को एक-दूसरे से जोड़ने का भी काम करेगा। वैज्ञानिकों द्वारा सर्वतत्व सिद्धांत ढूंढने का एक मुख्य कारण प्रमात्रा यान्त्रिकी (क्वान्टम मकैनिक्स) और सामान्य सापेक्षता (थीओरी ऑफ़ रॅलॅटिविटि) के बीच में तालमेल बनाना है। बिना इस सिद्धांत के मिले यह दोनों मूल सिद्धांत कुछ पहलूओं में एक-दूसरे का खंडन करते हैं।', metadata={'_additional': {'distance': -150.66002}, 'lang': 'hi', 'title': 'सर्वतत्व सिद्धांत', 'url': 'https://hi.wikipedia.org/wiki?curid=514328', 'views': 40}),\n",
       " Document(page_content='Una teoría del todo (o ToE por sus siglas en inglés, \"Theory of Everything\") es una teoría hipotética de la física teórica que explicaría y conectaría en un esquema teórico unificado las interacciones físicas fundamentales. Inicialmente, el término se usó con una connotación irónica, para referirse a varias teorías sobregeneralizadas. Después se popularizó en la física cuántica al describir varias propuestas teóricas que podrían unificar o explicar a través de un modelo consistente todas las interacciones fundamentales encontradas en teoría cuántica de campos. Otros términos, no del todo sinónimos, empleados para referirse al mismo concepto son teoría unificada, gran teoría unificada, teoría de campos unificada y teoría del campo unificado.', metadata={'_additional': {'distance': -150.61458}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900}),\n",
       " Document(page_content='En la corriente principal de la física actual, la Teoría del Todo podría unificar todas las interacciones fundamentales de la naturaleza, que son consideradas como cuatro: gravitación, la fuerza nuclear fuerte, la fuerza nuclear débil y la electromagnética. Dado que la fuerza débil puede transformar partículas elementales de una clase a otra, la teoría del todo debería producir una comprensión profunda de varios tipos diferentes de partículas, así como de diferentes fuerzas. El patrón previsible de las teorías es el siguiente:', metadata={'_additional': {'distance': -150.42622}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900}),\n",
       " Document(page_content='In fisica la teoria del tutto, conosciuta anche come TOE (acronimo dell\\'inglese \"theory of everything\"), è un\\'ipotetica teoria fisica in grado di spiegare e riunire in un unico quadro tutti i fenomeni fisici conosciuti. Presupposto minimo di tale teoria è l\\'unificazione di tutte le interazioni fondamentali.', metadata={'_additional': {'distance': -150.09216}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600}),\n",
       " Document(page_content=\"Nella corrente principale dell'attuale fisica, una Teoria del Tutto unificherebbe tutte le interazioni fondamentali della natura, che sono solitamente considerate essere quattro in numero: gravità, forza nucleare forte, forza nucleare debole e forza elettromagnetica. Siccome la forza debole può trasformare le particelle elementari da un tipo a un altro, la Teoria del Tutto dovrebbe dare una profonda comprensione dei vari tipi di particelle e delle diverse forze.\", metadata={'_additional': {'distance': -149.89221}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600}),\n",
       " Document(page_content='El concepto de una \"teoría del todo\" está arraigado en el principio de causalidad y su descubrimiento es la empresa de acercarnos a ver a través de los ojos del demonio de Laplace. Aunque dicha posibilidad puede considerarse como determinista, en una \"simple fórmula\" puede todavía sobrevivir la física fundamentalmente probabilista, como proponen algunas posturas actuales de la mecánica cuántica. Esto se debe a que aun si los mecanismos que gobiernan las partículas son intrínsecamente azarosos, podemos conocer las reglas que gobiernan dicho azar y calcular las probabilidades de ocurrencia para cada evento posible. Sin embargo, otras interpretaciones de la ecuación de Schrödinger conceden poca importancia al azar: este solo se tendría importancia dentro del átomo y se diluiría en el mundo macroscópico. Otras no obstante la niegan completamente y la consideran una interpretación equivocada de las leyes cuánticas. En consecuencia, la mayor dificultad de descubrir una teoría unificada ha sido armonizar correctamente leyes que gobiernan solo un reducido ámbito de la naturaleza y transformarlas en una única teoría que la explique en su totalidad, tanto en su mundo micro como macroscópico y explique la existencia de todas las interacciones fundamentales: las fuerzas gravitatoria, electromagnética, nuclear fuerte y nuclear débil.', metadata={'_additional': {'distance': -149.70148}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900}),\n",
       " Document(page_content='في الفيزياء الحالية السائدة، نظرية كل شيء هي محاولة لتوحيد القوى الأساسية الأربعة الموجودة في الطبيعة: (أي الثقالة, و القوة النووية القوية, و القوة النووية الضعيفة, و القوة الكهرومغناطيسية). بما أن القوة الضعيفة لها القدرة على تغيير الجسيمات الأولية من شكل لآخر، سينبغي على نظرية كل شيء بأن تعطينا فهماً عميقا للعلاقات الموجودة بين جميع الجسيمات المختلفة،', metadata={'_additional': {'distance': -149.68802}, 'lang': 'ar', 'title': 'نظرية كل شيء', 'url': 'https://ar.wikipedia.org/wiki?curid=10751', 'views': 200}),\n",
       " Document(page_content=\"La principale teoria del tutto è al momento la Teoria delle superstringhe / M-teoria; l'attuale ricerca sulla gravità quantistica a loop potrebbe eventualmente giocare un ruolo fondamentale in una teoria del tutto, ma non è il suo obiettivo principale. Queste teorie cercano di affrontare il problema della rinormalizzazione fissando alcuni limiti inferiori sulle scale di lunghezza possibili. La teoria delle stringhe e la supergravità (entrambe ritenute casi limite della ancora non ben definita M-teoria) suppongono che l'universo abbia effettivamente un numero di dimensioni superiore alle tre dello spazio e una del tempo, che sono intuitive.\", metadata={'_additional': {'distance': -149.24983}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600}),\n",
       " Document(page_content='نظرية كل شيء أو اختصاراً TOE أو معادلة الكون تشكل وصفاً شمولياً للمادة في الفيزياء النظرية، من المفترض أنها قادرة على تفسير جميع الظواهر الفيزيائية بشكل كامل وتفسر جميع المؤثرات الفيزيائية (أي كل شيء) ولا يزال البحث جارياً لمحاولة صياغتها. ومن المفترض أنها سوف تربط بين القوى الأربعة المعروفة التي تتحكم في تبادل القوى بين جميع الجسيمات المعروفة وغير المعروفة (مثل المادة المظلمة). القوى الأربعة المعروفة حتى الآن هي: القوة النووية الشديدة، التآثر الكهرومغناطيسي، القوة الضعيفة، وقوة الجاذبية.', metadata={'_additional': {'distance': -148.91898}, 'lang': 'ar', 'title': 'نظرية كل شيء', 'url': 'https://ar.wikipedia.org/wiki?curid=10751', 'views': 200}),\n",
       " Document(page_content='[자연의 움직임에 담겨있는 힘들에 대해 확실하게 알게 되는 순간과 모든 자연을 구성하고 있는 물체들의 위치에 대한 이해력, 만약 이 이해력이 또한 이 자료들을 분석하고 제출할 수 있을 정도로 광대하게 충분하다면, 그 이해력은 가장 위대한 우주의 본체와 그것들의 가장 작은 핵들을 하나의 공식 안으로 통합할 수 있을 것이다. 이러한 이유로 지성은 조금도 불확실해지려 하지 않고 미래는 마치 눈에 띄기 전의 현재가 되려는 과거와 같다.', metadata={'_additional': {'distance': -148.68285}, 'lang': 'ko', 'title': '모든 것의 이론', 'url': 'https://ko.wikipedia.org/wiki?curid=142233', 'views': 60})]"
      ]
     },
     "execution_count": 38,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "retriever = vectorstore.as_retriever(search_kwargs={\"k\": 10})\n",
    "docs1 = retriever.get_relevant_documents(query)\n",
    "docs1"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "These are queite many different results from different language wikipedia articles. Can we find out which answers are most relavant?"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "### Contextual Compression helps pass only the most relavant answers to the LLM for answer completion"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 36,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "[Document(page_content='في الفيزياء الحالية السائدة، نظرية كل شيء هي محاولة لتوحيد القوى الأساسية الأربعة الموجودة في الطبيعة: (أي الثقالة, و القوة النووية القوية, و القوة النووية الضعيفة, و القوة الكهرومغناطيسية). بما أن القوة الضعيفة لها القدرة على تغيير الجسيمات الأولية من شكل لآخر، سينبغي على نظرية كل شيء بأن تعطينا فهماً عميقا للعلاقات الموجودة بين جميع الجسيمات المختلفة،', metadata={'_additional': {'distance': -149.68802}, 'lang': 'ar', 'title': 'نظرية كل شيء', 'url': 'https://ar.wikipedia.org/wiki?curid=10751', 'views': 200, 'relevance_score': 0.9994207}),\n",
       " Document(page_content=\"Nella corrente principale dell'attuale fisica, una Teoria del Tutto unificherebbe tutte le interazioni fondamentali della natura, che sono solitamente considerate essere quattro in numero: gravità, forza nucleare forte, forza nucleare debole e forza elettromagnetica. Siccome la forza debole può trasformare le particelle elementari da un tipo a un altro, la Teoria del Tutto dovrebbe dare una profonda comprensione dei vari tipi di particelle e delle diverse forze.\", metadata={'_additional': {'distance': -149.89221}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600, 'relevance_score': 0.99890983}),\n",
       " Document(page_content='Una teoría del todo (o ToE por sus siglas en inglés, \"Theory of Everything\") es una teoría hipotética de la física teórica que explicaría y conectaría en un esquema teórico unificado las interacciones físicas fundamentales. Inicialmente, el término se usó con una connotación irónica, para referirse a varias teorías sobregeneralizadas. Después se popularizó en la física cuántica al describir varias propuestas teóricas que podrían unificar o explicar a través de un modelo consistente todas las interacciones fundamentales encontradas en teoría cuántica de campos. Otros términos, no del todo sinónimos, empleados para referirse al mismo concepto son teoría unificada, gran teoría unificada, teoría de campos unificada y teoría del campo unificado.', metadata={'_additional': {'distance': -150.61458}, 'lang': 'es', 'title': 'Teoría del todo', 'url': 'https://es.wikipedia.org/wiki?curid=42764', 'views': 900, 'relevance_score': 0.99858963}),\n",
       " Document(page_content='In fisica la teoria del tutto, conosciuta anche come TOE (acronimo dell\\'inglese \"theory of everything\"), è un\\'ipotetica teoria fisica in grado di spiegare e riunire in un unico quadro tutti i fenomeni fisici conosciuti. Presupposto minimo di tale teoria è l\\'unificazione di tutte le interazioni fondamentali.', metadata={'_additional': {'distance': -150.09216}, 'lang': 'it', 'title': 'Teoria del tutto', 'url': 'https://it.wikipedia.org/wiki?curid=207970', 'views': 600, 'relevance_score': 0.9980957})]"
      ]
     },
     "execution_count": 36,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "from langchain.retrievers.contextual_compression import ContextualCompressionRetriever\n",
    "from langchain.retrievers.document_compressors import CohereRerank\n",
    "\n",
    "retriever = vectorstore.as_retriever(search_kwargs={\"k\": 15})\n",
    "compressor = CohereRerank(model='rerank-multilingual-v2.0', top_n=4 )\n",
    "compression_retriever = ContextualCompressionRetriever(base_compressor=compressor, base_retriever=retriever)\n",
    "compressed_docs = compression_retriever.get_relevant_documents(\"Why is the theory of everything significant?\")\n",
    "compressed_docs"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "As you can see, there is a 'relevance_score' now added to the metadata of each Document retrived, this can ensure the most relavant Documents are used for the next step of answer generation via an LLM call. "
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 24,
   "metadata": {},
   "outputs": [],
   "source": [
    "qa = RetrievalQA.from_chain_type(llm, retriever=compression_retriever)\n",
    "result = qa({\"query\": query})"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 25,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "' La teoria del tutto è significativa perché cerca di unificare tutte le interazioni fondamentali della natura in un unico quadro teorico.'"
      ]
     },
     "execution_count": 25,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "result['result']"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Now the answer is still in a language different than English. There are many ways to fix this. An easy method is to edit the prompt_template to add a language parameter"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 26,
   "metadata": {},
   "outputs": [],
   "source": [
    "from langchain.prompts import PromptTemplate\n",
    "\n",
    "prompt_template = \"\"\"Use the following pieces of context to answer the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.\n",
    "\n",
    "{context}\n",
    "\n",
    "Question: {question}\n",
    "Helpful Answer in {language}:\"\"\"\n",
    "PROMPT = PromptTemplate(template=prompt_template, input_variables=[\"context\", \"question\",\"language\"])"
   ]
  },
  {
   "cell_type": "code",
   "execution_count": 28,
   "metadata": {},
   "outputs": [
    {
     "data": {
      "text/plain": [
       "' The theory of everything is significant because it would attempt to unify the four fundamental forces of nature: gravity, strong nuclear force, weak nuclear force, and electromagnetism. It would also give us a deeper understanding of the relationships between different particles and forces.'"
      ]
     },
     "execution_count": 28,
     "metadata": {},
     "output_type": "execute_result"
    }
   ],
   "source": [
    "qa = RetrievalQA.from_chain_type(llm, retriever=compression_retriever, chain_type_kwargs={\"prompt\": PROMPT.partial(language=\"english\")})\n",
    "result = qa({\"query\": query})\n",
    "result['result']"
   ]
  },
  {
   "attachments": {},
   "cell_type": "markdown",
   "metadata": {},
   "source": [
    "Great! Now we have a response in English and also from the most relavant sources from global Wikipedia articles. "
   ]
  }
 ],
 "metadata": {
  "kernelspec": {
   "display_name": "venv",
   "language": "python",
   "name": "python3"
  },
  "language_info": {
   "codemirror_mode": {
    "name": "ipython",
    "version": 3
   },
   "file_extension": ".py",
   "mimetype": "text/x-python",
   "name": "python",
   "nbconvert_exporter": "python",
   "pygments_lexer": "ipython3",
   "version": "3.11.1"
  },
  "orig_nbformat": 4
 },
 "nbformat": 4,
 "nbformat_minor": 2
}