Wykorzystanie technik głębokiego uczenia do identyfikacji zmian skórnych na podstawie zdjęć w różnych warunkach polaryzacyjnych
P.Popielski , S.Wilczyński , K.Kwieciński
Słowa kluczowe: zdjęcia spolaryzowane, głębokie uczenie, zmiany skórne
Diagnostyka zmian skórnych, w tym wczesne wykrywanie patologii dermatologicznych oraz ocena kondycji skóry w medycynie estetycznej, w dużej mierze zależy od jakości i charakterystyki obrazów uzyskiwanych podczas badania. Tradycyjne zdjęcia skóry wykonywane w świetle widzialnym, mimo szerokiej dostępności, nie ujawniają wielu istotnych cech naskórka i skóry właściwej, takich jak zmiany naczyniowe, przebarwienia, stany zapalne, drobne zmarszczki czy powierzchniowe uszkodzenia strukturalne. Alternatywę stanowi obrazowanie w świetle spolaryzowanym – wertykalnym oraz horyzontalnym – które dzięki tłumieniu odbić powierzchniowych i różnicowaniu warstw optycznych skóry, pozwala uwidocznić znacznie więcej detali diagnostycznych.
W ramach rozpoczętego projektu badawczego prowadzona jest rejestracja wysokiej jakości zdjęć skóry uzyskanych za pomocą specjalistycznej kamery umożliwiającej rejestrację zarówno obrazów spolaryzowanych (w dwóch płaszczyznach), jak i niespolaryzowanych. Każdy przypadek obejmuje triadę obrazów tej samej powierzchni skóry: standardową ekspozycję w świetle widzialnym, obraz spolaryzowany wertykalnie oraz obraz spolaryzowany horyzontalnie. Aktualnie baza danych obejmuje około stu przypadków i będzie sukcesywnie rozbudowywana. Równolegle opracowano narzędzie automatycznego kadrowania zdjęć, umożliwiające standaryzację obszarów analizy.
Celem niniejszego projektu jest zbadanie możliwości wykorzystania metod głębokiego uczenia (deep learning) do rekonstrukcji obrazów spolaryzowanych na podstawie ich niespolaryzowanych odpowiedników. Tego typu zadanie można zakwalifikować do klasy problemów typu image-to-image translation, gdzie model uczy się odwzorowywać strukturę i cechy obrazów docelowych na podstawie obrazów źródłowych o innej charakterystyce fizycznej. W pierwszym etapie zaprojektowano model oparty o architekturę Pix2Pix, który wykorzystuje sparowane dane wejściowe i uczy się przekształcania zdjęcia niespolaryzowanego na obraz o właściwościach zbliżonych do obrazu spolaryzowanego. W generatorze zastosowano architekturę U-Net, a jako dyskryminator – PatchGAN, co pozwala na lokalną ocenę jakości generowanych obrazów. Model trenowany jest przy wykorzystaniu mieszanych funkcji kosztu (funkcja L1, funkcja percepcyjna, oraz funkcja GAN-owa), z uwzględnieniem metryk PSNR i SSIM do oceny jakości rekonstrukcji.
W kolejnych etapach planowane jest rozszerzenie badań o bardziej zaawansowane architektury, takie jak modele dyfuzyjne (Diffusion Models), sieci wielokanałowe umożliwiające jednoczesne generowanie obrazów spolaryzowanych w różnych płaszczyznach, a także modele multimodalne integrujące dodatkowe dane (np. wiek pacjenta, lokalizacja na ciele). Rozważane będą również podejścia semi-nadzorowane i unsupervised, z uwagi na potencjalny wzrost rozmiaru zbioru danych i brak pełnych adnotacji.
Zastosowania praktyczne tej technologii obejmują nie tylko wsparcie dla dermatologów i lekarzy medycyny estetycznej, lecz również automatyzację procesu analizy obrazów w badaniach przesiewowych, dokumentacji medycznej oraz monitorowaniu efektów terapii. Uzyskanie obrazów o jakości zbliżonej do spolaryzowanych, przy wykorzystaniu jedynie zdjęć niespolaryzowanych, może znacząco zwiększyć dostępność zaawansowanej diagnostyki bez konieczności użycia specjalistycznego sprzętu optycznego.
