Deep Learning · Treball de Fi de Grau · FIB-UPC

Detecció de Pòlips amb Augment de Dades Generatiu

Entrena detectors Faster R-CNN, RetinaNet i SSD en dades de colonoscòpia, augmentades amb imatges sintètiques de models generatius CycleGAN i SPADE. Cerca d'hiperparàmetres via Optuna i Ray Tune.

Pipeline de Principi a Fi
Treball de Fi de Grau · FIB-UPC
📋
LDPolypVideo
Frames de colonoscòpia + bounding boxes
🎭
CycleGAN / SPADE
Màscara → imatges de pòlips sintètiques
📊
Dataset augmentat
Dades d'entrenament reals + generades
🧠
Faster R-CNN
Entrenament de detecció d'objectes
🔍
Optuna / Ray Tune
Optimització d'hiperparàmetres
Avaluació COCO
Mètriques AP / AR / F1
PyTorch 2.1Faster R-CNNCycleGANSPADEOptunaRay TuneCOCO evalLDPolypVideo
🔬

Inferència simulada

Mock de navegador · Faster R-CNN

Simula inferència de Faster R-CNN en un frame de colonoscòpia.
Les bounding boxes són un mock del navegador, no la sortida real del model.

🎭

Traducció CycleGAN

Imatge a imatge no emparellada

CycleGAN aprèn una traducció no emparellada màscara ↔ pòlip. SPADE utilitza normalització espacial adaptativa per síntesi màscara → pòlip.

Màscara binària
Pòlip generat

Les il·lustracions són esquemàtiques. Les sortides reals de CycleGAN són imatges fotorrealistes.

📊

Comparació de models

10 configuracions de Faster R-CNN des d'Optuna HPO

Ordenar:
bs=4 lr=5.3e-3 ep=3
0.1156
bs=2 lr=1.7e-3 ep=7
0.1111
bs=4 lr=1.6e-4 ep=9
0.1024
bs=4 lr=2.3e-3 ep=1
0.0928
bs=8 lr=2.7e-3 ep=5
0.0739
bs=2 lr=3.1e-2 ep=2
0.0694
bs=2 lr=8.0e-3 ep=1
0.0357
bs=8 lr=6.0e-5 ep=3
0.0267
bs=4 lr=2.0e-5 ep=3
0.0126
bs=4 lr=3.8e-2 ep=1
0.0032

Tots els models són Faster R-CNN (ResNet-50 FPN). Mètriques d'avaluació COCO en el test set LDPolypVideo.

Arquitectures de detecció

ModelBackboneNotes
Faster R-CNNResNet-50 FPNDetector principal, millors resultats
RetinaNetResNet-50 FPN v2Basat en ancoratges d'una etapa
SSD LiteMobileNet V3Lleuger / mòbil

Tauler local

El projecte inclou un dashboard de Streamlit per exploració i inferència interactiva. Clona el repo i executa streamlit run src/app.py des de code/.

Autor
Pol Casacuberta · FIB-UPC