Terminéfastapipythonfaissmistral-7btogether-aisentence-transformers
Lexi RAG — Assistant IA Documentaire
Assistant intelligent associant bases de données vectorielles et modèles LLM pour des réponses contextuelles précises.
Problème et solution
La recherche par mots-clés classique échoue à saisir les relations sémantiques dans les documentations denses.
Fonctionnalités
- Pipeline de découpage (chunking) et de vectorisation pour PDF et Markdown
- Recherche par similarité vectorielle avec classement hybride
- Génération de réponses enrichies avec contexte injecté
- Citations précises des sources pour minimiser les hallucinations
Architecture
Composants principaux du système
- Module retriever utilisant la recherche vectorielle FAISS
- Module générateur utilisant Together API et Mistral-7B
- Chargeur et découpeur de documents
Couche applicative
- API HTTP FastAPI
- Formatage structuré des réponses
- Suivi des métadonnées des segments (nom de fichier, source)
Structure du projet
app
generator.py
main.py
retriever.py
utils.py
data
index
Défis clés
- Déterminer la taille optimale des segments pour préserver le sens
- Minimiser le temps de réponse lors de la recherche vectorielle en direct
Apprentissages clés
- Architectures RAG et utilisation des bases de données vectorielles
- Ingénierie de prompts pour synthétiser des réponses techniques fiables