duembi/rag

Amaç ve depo düzeni

Depo, OSB/parsel Excel envanterini doğrulanabilir doğal dil soru-cevap için iki farklı RAG uygulamasıyla işler. custom-rag/ eğitim amaçlı, sıralı prototip; rag_with_ai/ ise üretim odaklı çok-ajanlı uygulamadır. Ana operasyonel giriş noktası ikinci projenin API’sidir: rag_with_ai/src/api/main.py. İlk proje, numaralı Python betiklerinin sırayla çalıştırıldığı bir öğrenme hattıdır.

Klasik RAG öğrenme hattı

custom-rag/ veri hazırlama, chunk üretme, Chroma’ya yükleme, retrieval, bağlam kurma ve sohbet katmanlarını aşamalı olarak ayırır. Temel akış Excel/veri → parçalar → embedding/Chroma → sorgu sonuçları → LLM bağlamı → chatbot şeklindedir.

• custom-rag/003.DataPreparation.py

• custom-rag/005.LoadChunksToChroma.py

• custom-rag/008.RAGChatbot.py

Bu yaklaşım anlamsal retrieval’a dayanır; yapılandırılmış toplama, sayım ve çoklu filtreleme soruları için daha gelişmiş projenin Text-to-SQL yoluna mimari gerekçe sağlar.

Çok-ajanlı orkestrasyon ve yönlendirme

rag_with_ai merkezi durum ve kontrol akışını bir graph üzerinden yürütür. Graph, kullanıcı isteğini uygun işleme yoluna yönlendirir; graph state, ajanlar arası çalışma verisini taşır.

• rag_with_ai/src/graph.py

• rag_with_ai/src/graph_state.py

• rag_with_ai/src/agents/rag_pipeline_agent.py

Ana ayrım şudur: yapısal/aggregasyon talepleri SQL tabanlı veri erişimine, açıklayıcı veya semantik talepler embedding tabanlı retrieval’a gider. Bu, LLM’nin tablo gerçeklerini üretmek yerine veri kaynağından almasını hedefler.

Veri hazırlama ve kalıcılık sınırı

Kaynak, dönemsel OSB/parsel Excel dosyalarıdır; ham ve impute edilmiş sürümler depoda bulunur. İmputation ajanı eksik veri sorununu retrieval ve cevaplama öncesinde ayrı bir veri-kalitesi aşaması olarak ele alır.

• rag_with_ai/src/agents/data_imputation_agent.py

• rag_with_ai/data/raw/2026-2__Çeyrek__Nisan-Mayıs-Haziran__Parsel_Tablosu (4).xlsx

• rag_with_ai/data/parsel.sqlite

Yapılandırılmış sorgu sınırı SQLite’daki parsel verisidir. Semantik indeks ise yerel, kalıcı Chroma deposudur: rag_with_ai/data/chroma_index/chroma.sqlite3.

Retrieval ve cevap güvenilirliği

Retrieval kurulum ajanı Chroma/embedding tabanlı indeksi hazırlar veya kullanıma açar; RAG pipeline agent sorgu, alınan bağlam ve LLM cevabını birleştirir. QA değerlendirme ajanı cevabın bağlama sadakatini doğrulamaya yönelik ayrı bir kalite kapısıdır.

• rag_with_ai/src/agents/retrieval_setup_agent.py

• rag_with_ai/src/agents/qa_eval_agent.py

• rag_with_ai/data/chroma_index/chroma.sqlite3

Bu katmanlar, veri erişimi ile üretken model çıktısı arasındaki temel güven sınırını oluşturur: SQL/retrieval kanıt sağlar, LLM yalnızca yanıt sentezler.

API, oturumlar ve çalışma ortamı

HTTP API ve statik kullanıcı arayüzü aynı API alanında sunulur; konuşma geçmişi ayrı SQLite depolamasında kalıcıdır.

• rag_with_ai/src/api/main.py

• rag_with_ai/src/api/conversation_store.py

• rag_with_ai/data/conversations.sqlite

Çalışma zamanı Python’dır; bağımlılıklar rag_with_ai/requirements.txt içinde tanımlanır. Harici model hizmeti yerel Ollama’dır: klasik projede gemma3:4b, çok-ajanlı projede Qwen2.5-7B. Yerel GPU/VRAM kaynak yönetimi ayrıca ele alınır: rag_with_ai/src/vram_manager.py.