Deep Learning · Trabajo de Fin de Grado · FIB-UPC

Detección de Pólipos con Aumento de Datos Generativo

Entrena detectores Faster R-CNN, RetinaNet y SSD en datos de colonoscopia, aumentados con imágenes sintéticas de modelos generativos CycleGAN y SPADE. Búsqueda de hiperparámetros vía Optuna y Ray Tune.

Pipeline de Principio a Fin
Trabajo de Fin de Grado · FIB-UPC
📋
LDPolypVideo
Frames de colonoscopia + bounding boxes
🎭
CycleGAN / SPADE
Máscara → imágenes de pólipos sintéticas
📊
Dataset aumentado
Datos de entrenamiento reales + generados
🧠
Faster R-CNN
Entrenamiento de detección de objetos
🔍
Optuna / Ray Tune
Optimización de hiperparámetros
Evaluación COCO
Métricas AP / AR / F1
PyTorch 2.1Faster R-CNNCycleGANSPADEOptunaRay TuneCOCO evalLDPolypVideo
🔬

Inferencia simulada

Mock de navegador · Faster R-CNN

Simula inferencia de Faster R-CNN en un frame de colonoscopia.
Las bounding boxes son un mock del navegador, no la salida real del modelo.

🎭

Traducción CycleGAN

Imagen a imagen no emparejada

CycleGAN aprende una traducción no emparejada máscara ↔ pólipo. SPADE usa normalización espacial adaptativa para síntesis máscara → pólipo.

Máscara binaria
Pólipo generado

Las ilustraciones son esquemáticas. Las salidas reales de CycleGAN son imágenes fotorrealistas.

📊

Comparación de modelos

10 configuraciones de Faster R-CNN desde Optuna HPO

Ordenar:
bs=4 lr=5.3e-3 ep=3
0.1156
bs=2 lr=1.7e-3 ep=7
0.1111
bs=4 lr=1.6e-4 ep=9
0.1024
bs=4 lr=2.3e-3 ep=1
0.0928
bs=8 lr=2.7e-3 ep=5
0.0739
bs=2 lr=3.1e-2 ep=2
0.0694
bs=2 lr=8.0e-3 ep=1
0.0357
bs=8 lr=6.0e-5 ep=3
0.0267
bs=4 lr=2.0e-5 ep=3
0.0126
bs=4 lr=3.8e-2 ep=1
0.0032

Todos los modelos son Faster R-CNN (ResNet-50 FPN). Métricas de evaluación COCO en el test set LDPolypVideo.

Arquitecturas de detección

ModeloBackboneNotas
Faster R-CNNResNet-50 FPNDetector principal, mejores resultados
RetinaNetResNet-50 FPN v2Basado en anclajes de una etapa
SSD LiteMobileNet V3Ligero / móvil

Dashboard local

El proyecto incluye un dashboard de Streamlit para exploración e inferencia interactiva. Clona el repo y ejecuta streamlit run src/app.py desde code/.

Autor
Pol Casacuberta · FIB-UPC