A3D Wiki

Deze pagina is alleen-lezen. Je kan de broncode bekijken maar niet veranderen. Neem contact op met de beheerder als je denkt dat dit niet klopt.
====== A3Dbot Web App bouwen ======
<= [[start|Terug naar start]]\\


[[https://github.com/AdrieVanDijke/cat-va-app|Vraag & Antwoord App GitHub Repository]]

-> **De uiteindelijke online //(web)// AI-Chat-Bot. Bouwen met [[steamlit|Streamlit]]**

-> **[[test_1_chat_bot|Eerste test AI-Chat-Bot met eigen data (met Faiss lokale vector database)]]**

[[https://www.youtube.com/watch?v=dXxQ0LR-3Hg|Chat with Multiple PDFs | LangChain App Tutorial in Python (Free LLMs and Embeddings) FAISS (1)]]\\
[[https://www.youtube.com/watch?v=wUAUdEw5oxM|Langchain PDF App (GUI) | Create a ChatGPT For Your PDF in Python (2)]]\\
[[https://www.youtube.com/watch?v=IaTiyQ2oYUQ|Create a ChatGPT clone using Streamlit and LangChain oa. Memory (3)]]\\
[[https://www.youtube.com/watch?v=iQnMADoFaWQ&t=548s|YouTube: Langchain + ChatGPT + Pinecone: A Question Answering Streamlit App]]

**[[https://streamlit.io/|Streamlit Home]]**\\
**[[https://docs.streamlit.io/library/api-reference|Streamlit API referentie]]**\\
-> [[https://docs.streamlit.io/knowledge-base/tutorials/deploy|Deploy Streamlit apps]]\\
-> [[https://www.markdownguide.org/cheat-sheet/|Markdown Cheat-sheet]]\\
-> [[https://emojipedia.org/smirking-face|Emoji's (kopiëren/plakken) ]]\\
**[[https://app.pinecone.io/|Pinecone Home]]**\\
**[[https://cloud.google.com/gcp/?hl=nl|GCP providor (pinecone) Google Cloud]]**\\
**[[https://www.youtube.com/watch?v=iQnMADoFaWQ&t=548s|YouTube: Langchain + ChatGPT + Pinecone: A Question Answering Streamlit App]]**

**V/A Flow**\\
[[https://www.youtube.com/watch?app=desktop&v=KerHlb8nuVc|Using LangChain with DuckDuckGO Wikipedia & PythonREPL Tools]]\\
[[https://www.youtube.com/watch?v=biS8G8x8DdA|Building Custom Tools and Agents with LangChain (gpt-3.5-turbo) ook DuckDuckGo]]



----


-> Streamlit app altijd starten met
<code>
streamlit run app.py
</code>
===== Virtuele omgeving opzetten =====

==== Stap 1: Creëer een virtuele omgeving ====


Python update PIP //(regelmatig uitvoeren)//:
<code>
python -m pip install -U pip
</code>
of:
<code>
python.exe -m pip install --upgrade pip
</code>

Navigeer eerst naar de map van je project via de terminal of opdrachtprompt. Als je daar eenmaal bent, kun je de volgende commando's gebruiken om een virtuele omgeving te creëren:
<code>
python -m venv venv
</code>
Hiermee wordt een nieuwe map genaamd venv in je projectdirectory aangemaakt, waarin de virtuele omgeving wordt opgeslagen.

----

==== Stap 2: Activeer de virtuele omgeving ====
Nu moet je de virtuele omgeving activeren:

Voor Windows:
<code>
.\venv\Scripts\Activate
</code>
Zodra de virtuele omgeving actief is, moet je voor de naam van je terminal of opdrachtprompt de naam van je virtuele omgeving (venv in dit geval) zien staan. Dit geeft aan dat de omgeving actief is.

----
==== Stap 3: requirements.txt ====

:!: **Tip**: Het is een goed idee om een **requirements.txt** bestand in je project te hebben. Hierin kun je alle pakketten en hun versies noteren die voor je project nodig zijn. Dit maakt het gemakkelijker voor anderen (of voor jezelf in de toekomst) om de exacte omgeving te reproduceren. Je kunt een requirements.txt bestand maken met het volgende commando:

<code>
pip freeze > requirements.txt
</code>

En later, als je het project op een andere machine of in een andere virtuele omgeving wilt opzetten, kun je alle benodigde pakketten in één keer installeren met:


<code>
pip install -r requirements.txt
</code>


----

==== Modules installeren ====

Bij problemen met gewoon installeren de onderstaande methode gebruiken
<code>
python -m pip install PyMuPDF
</code>

----



-> [[virtuele_omgeving_voor_python|Meer: Virtuele omgeving voor Python]]

----

===== Installeren =====

:!: **Bij problemen met gewoon installeren de onderstaande methode gebruiken**\\
//Dus "python -m " voor de standaard install tekst zetten//

<code>
python -m pip install PyMuPDF
</code>

----


-> **[[virtuele_omgeving_voor_python|In de virtuele omgeving]]** 

**Instaleer dotenv** om het **.env** bestand te kunnen **lezen** zodat daar de systeem variabelen in kunnen
<code>
python -m pip install python-dotenv
</code>

-> **[[longchain|LongChain]]**

<code>
python -m pip install langchain
</code>

-> **[[steamlit|Streamlit GUI Gebruikersinterface]]**

<code>
python -m pip install streamlit
</code>

-> :!: **Upgrade streamlit** :!: //Belangrijk omdat versie **1.28.2** moet werken en standaard versie 1.28.1 wordt geïnstalleerd.//

<code>
pip install --upgrade streamlit
</code>

-> **Installeer openAI pakket**

<code>
python -m pip install openai
</code>

-> **[[https://app.pinecone.io/|Pinecone: Vector dataBase]]** 

<code>
python -m pip install pinecone-client
</code>

-> requests //(indien nodig (voor API ed.) in eerste instantie niet gebruikt)//

<code>
python -m pip install requests
</code>



-> **nltk** -> om trefwoorden uit NLP te halen voor zoekfunctie als Pincoine geen goed antwoord heeft gevonden

<code>
python -m pip install nltk
</code>

-> Gebruik:

<code>
import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
</code>

-> De eerste keer dat je de Python app start moeten er een paar dingen worden gedownload. Als het goed is staat er na het uitvoeren can de volgende code een map in je project map met de naam "nltk_data".

<code>
nltk.download('punkt')
nltk.download('stopwords')
</code>

-> Als de map er eenmaal staat kan de code of verwijderd worden of uit commentariëren:


<code>
#nltk.download('punkt')
#nltk.download('stopwords')
</code>

-> Voorbeeld van gebruik:

<code>
def extract_keywords(self, query):
        stop_words = set(stopwords.words('dutch'))
        word_tokens = word_tokenize(query)
        keywords = [word for word in word_tokens if word not in stop_words]
        # Vervang dubbele woorden door 1 woord
        keywords = list(dict.fromkeys(keywords))
        # vervang "kost" door "kosten"
        keywords = [word.replace('kost', 'kosten') for word in keywords]    
        # haal alle leestekens uit de lijst
        keywords = [word for word in keywords if word.isalnum()]
        # haal alle woorden als de, het, een, etc. uit de lijst
        keywords = [word for word in keywords if len(word) > 2]
        # haal alle woorden als wat, wie, waar, etc. uit de lijst
        keywords = [word for word in keywords if word not in ['wat', 'wie', 'waar', 'wanneer', 'hoe', 'waarom', 'kost', 'Wat', 'Wie', 'Waar', 'Wanneer', 'Hoe', 'Waarom']]    
        # maak een string van de lijst
        keywords = ' '.join(keywords)
        return keywords
</code>


----

===== Deploy =====
==== requirements.txt ====

<code>
langchain
PyPDF2
python-dotenv
streamlit
openai
altair
tiktoken
htmltemplate
pinecone-client
nltk
</code>

----

==== Dockerfile ====

-> [[stap_1_b|Meer: Docker]]

-> **Dockerfile Aanmaken:** Maak in de root van je project een bestand aan met de naam `**Dockerfile**` (zonder extensie). Dit bestand bevat instructies voor het bouwen van je Docker-image. Een eenvoudig voorbeeld voor een Python-applicatie kan er zo uitzien:

<code>
# Gebruik een officiële Python runtime als ouder image
FROM python:3.11.6

# Stel de werkdirectory in de container in
WORKDIR /app

# Kopieer de huidige directory inhoud in de container bij /app
COPY . /app

# Installeer de benodigde pakketten uit requirements.txt
RUN pip install --trusted-host pypi.python.org -r requirements.txt

# Maak poort 8501 beschikbaar voor de wereld buiten deze container
EXPOSE 8501

# Definieer het commando om de applicatie te draaien
CMD ["streamlit", "run", "app.py"]
</code>

----

==== Docker-container bouwen ====
=== cat-aq-app ===

  - Start de Docker deskTop applicatie //(in windows)//
  - Navigeer naar de applicatie map
  - Start een console
  - Voer de volgende code uit om de Docker-container te bouwen

<code>
docker build -t cat-va-app .
</code>

-> Om uw Docker-container te testen, voer je het volgende commando uit:

<code>
docker run -p 8501:8501 cat-va-app
</code>

-> **local url:**\\
http://localhost:8501\\
//http://172.17.0.2:8501 wekt niet//

----

==== Project in Repositry op GitHub ====

<= [[github#repository_aanmaken|Repository aanmaken en gebruiken]]

----

===== Fine-tune Model Chat app =====

**[[https://python.langchain.com/docs/integrations/chat/openai|ChatOpenAI -> LangChain Ook met eigen finetune Model]]**\\
**[[https://docs.streamlit.io/library/api-reference/chat|Streamlit Chat elements]]**\\
-> **[[https://docs.streamlit.io/knowledge-base/tutorials/build-conversational-apps|Bouw een eenvoudige LLM-chat-app]]**\\
-> **[[https://docs.streamlit.io/knowledge-base/tutorials/llm-quickstart|Bouw een LLM-app met LangChain]]**

----


====== Emoji's ======

[[https://emojipedia.org/smirking-face|Emoji's (kopiëren/plakken)]]:

🚀  🦜  🎈  🤖  ❤️ 💕  📌  ⚕️  🏡  🏥  🏢  🏦  🏛️  🗨️  💭  💡   ℹ️   🧭  📰  🗞️  ⚓  🎱  ☯️  ⚙️  🔧  🛠️  📏 🚧   ⚠️  🛟  ⛔  🛑  🚫  🪜  🔒  🔓  🔑  ⛓️  🔗  🪁  🪄  ⭐  ✨  🎉  💥  🔥  🎁  🛒  💰  🪙  💶  💳  💲  💫  📸  📷  🖼️  🎦  📹  📳  📱  ☎️  📞  🖥️  📧  📫  🚩  🏁     🧩  ♻️  ✔️  ✅  🆗  🎯  ✖️  ❌  ➕  ➖  ❔  ❕  ❗  ❓   ‼️   ⁉️   🏷️  🔖  📂  📁  🗂️  🗃️  🗄️  📆  🛎️  🔔  ⏰  🕛  📢  🔍  🔬  🕵️  👤  🗣️  👥  🧑‍💼  🧑‍⚕️  🧑‍🏫  🧑‍💻  🎓  🧑‍🎓  🧑🏻‍⚖️  ⚖️  🤷‍♀️  🤷‍♂️  🤡  🐴  🐎  🚘  🚗  🚦  🧮  📈 📉 🗠   📊  🧬  🗺️  🌍  🌐 ✏️  🖋️  📝  📄  📜  📃  🧾  📑  🕮  📖  🃏  📚  📗  📙  📘  📔  🔸  🔹  💠  💎  👑  🏅  🥇  🏆  🆕  ⤴️  ⤵️  🔁  🔄  ⬅️  ➡️  ▶️  📶  🔜   🔙  🔚  ♾️  ©️  ®️  ™️  👎  👍  🤝  👌  ✍️  👏  🙏  👀  👁️  🐣  😺  😸  😿  🙀  🐈  🐈‍⬛  🐾  👣  😬  🫣  🤨  😱  🤔  😉  😇  🤓  😃   😅 🤣  0️⃣  1️⃣  2️⃣  3️⃣  4️⃣  5️⃣  6️⃣  7️⃣  8️⃣  9️⃣  🔟

{{https://kwaliteitsysteem.nl/bulk/logos/uitroepteken.png }} {{https://kwaliteitsysteem.nl/bulk/logos/info.png }}

----