Sistema RAG (Retrieval-Augmented Generation) para imagen médica. Búsqueda híbrida con BiomedCLIP + BM25 + Vector Search sobre datasets clínicos DICOM.
Imágenes procesadas (LIDC + COVID-AR)
Datasets clínicos (TCIA)
Dimensiones embedding (BiomedCLIP)
Local / On-premise (sin cloud)
ARQUITECTURA
Desde archivos DICOM crudos hasta respuestas clínicas con fuentes verificables. Todo ejecutado localmente con modelos open-source.
STACK TECNOLÓGICO
Embeddings de imagen entrenados con 15M pares médicos de PubMed. 512 dimensiones. Mucho mejor que CLIP genérico para radiología.
Búsqueda híbrida: BM25 para keywords exactas + Vector Search para significado semántico. Fusión con RRF (Reciprocal Rank Fusion).
Re-evaluación de resultados con modelo Cross-Encoder (ms-marco-MiniLM-L-6-v2). Mejora precisión un 10-20% sobre búsqueda base.
Visual Language Model que ve imágenes y genera descripciones clínicas. Complementa BiomedCLIP: busca con vectores, describe con LLaVA.
LLM local via Ollama. Sintetiza resultados, explica hallazgos y genera respuestas con fuentes verificables. Sin APIs de pago.
NER biomédico (Allen AI): detecta enfermedades, fármacos y entidades UMLS. SpaCy genérico no detecta "pneumonia" — scispaCy sí.
DATASETS
| Dataset | Tamaño | DICOMs | PNGs | Estado |
|---|---|---|---|---|
| COVID-19-AR | 19 GB | 31,935 | 31,547 | ✅ |
| LIDC-IDRI | 16 GB | 26,833 | 20,871 | ✅ |
| CMB-LCA | 96 GB | — | — | Descargando |
| COVID-19-NY-SBU | 144 GB | — | — | Descargando |
CÓMO FUNCIONA
COSTES
| Componente | Nuestra solución | Cloud API equivalente |
|---|---|---|
| LLM | LLaMA3 (Ollama) — $0 | GPT-4: $30/1M tok |
| Embeddings | BiomedCLIP + MiniLM — $0 | OpenAI Ada: $0.10/1M tok |
| Reranker | Cross-Encoder (HF) — $0 | Cohere: $2/1K queries |
| VLM | LLaVA (Ollama) — $0 | GPT-4V: $10/1K images |
| Coste mensual | ~€10 (electricidad) | €70 — €400+ |
Prueba la demo en vivo o descarga la arquitectura completa.