U-Net - U-Net

U-Net to splotowa sieć neuronowa opracowana na potrzeby segmentacji obrazu biomedycznego na Wydziale Informatyki Uniwersytetu we Fryburgu . Sieć jest oparta na sieci w pełni konwolucyjnej, a jej architektura została zmodyfikowana i rozszerzona, aby pracować z mniejszą liczbą obrazów treningowych i zapewniać bardziej precyzyjne segmentacje. Segmentacja obrazu 512 × 512 zajmuje mniej niż sekundę na nowoczesnym GPU .

Opis

Architektura U-Net wywodzi się z tak zwanej „w pełni splotowej sieci” zaproponowanej po raz pierwszy przez Longa, Shelhamera i Darrella.

Główną ideą jest uzupełnianie zwykłej sieci kontraktowej o kolejne warstwy, gdzie operacje poolingu zastępowane są operatorami upsamplingu . Stąd te warstwy zwiększają rozdzielczość wyjścia. Co więcej, kolejna warstwa splotowa może wtedy nauczyć się tworzyć precyzyjne dane wyjściowe w oparciu o te informacje.

Jedną z ważnych modyfikacji w U-Net jest duża liczba kanałów funkcji w części upsamplingu, które umożliwiają sieci propagację informacji kontekstowych do warstw o ​​wyższej rozdzielczości. W konsekwencji ekspansywna ścieżka jest mniej więcej symetryczna względem części skurczowej i daje architekturę w kształcie litery U. Sieć używa tylko prawidłowej części każdego splotu bez żadnych w pełni połączonych warstw. Aby przewidzieć piksele w obszarze obramowania obrazu, brakujący kontekst jest ekstrapolowany przez odbicie lustrzane obrazu wejściowego. Ta strategia kafelkowania jest ważna, aby zastosować sieć do dużych obrazów, ponieważ w przeciwnym razie rozdzielczość byłaby ograniczona przez pamięć GPU .

Historia

U-Net został stworzony przez Olafa Ronnebergera, Philippa Fischera, Thomasa Broxa w 2015 roku w artykule „U-Net: Convolutional Networks for Biomedical Image Segmentation”. To ulepszenie i rozwój FCN: Evan Shelhamer, Jonathan Long, Trevor Darrell (2014). „W pełni splotowe sieci dla segmentacji semantycznej”.

Architektura sieci

Sieć składa się ze ścieżki kontraktującej i ścieżki ekspansywnej, co nadaje jej architekturę w kształcie litery U. Ścieżka kontraktowania jest typową siecią splotową, która składa się z wielokrotnego stosowania splotów , po których następuje rektyfikowana jednostka liniowa (ReLU) i operacja max poolingu . Podczas kurczenia informacje przestrzenne są redukowane, a informacje o cechach są zwiększane. Ścieżka ekspansywna łączy cechy i informacje przestrzenne poprzez sekwencję splotów w górę i konkatenacji z cechami o wysokiej rozdzielczości ze ścieżki kurczenia.

Jest to przykładowa architektura U-Net do tworzenia k 256 na 256 masek obrazu dla obrazu 256 na 256 RGB.

Aplikacje

Istnieje wiele zastosowań U-Net w biomedycznej segmentacji obrazów , takich jak segmentacja obrazu mózgu („BRATS”) i segmentacja obrazu wątroby („silver07”). Odmiany U-Net zostały również zastosowane do rekonstrukcji obrazu medycznego. Oto kilka wariantów i zastosowań U-Net:

  1. Regresja pikselowa przy użyciu U-Net i jej zastosowania do pansharpeningu;
  2. 3D U-Net: nauka gęstej segmentacji wolumetrycznej z rzadkiej adnotacji;
  3. TernausNet: U-Net z enkoderem VGG11 przeszkolony w ImageNet do segmentacji obrazu.
  4. Tłumaczenie obrazu na obraz w celu oszacowania barwników fluorescencyjnych
  5. Przewidywanie miejsca wiązania struktury białka w obliczeniowym projektowaniu leków

Realizacje

jakeret (2017): "Unet Tensorflow"

Kod źródłowy U-Net z Rozpoznawania wzorców i przetwarzania obrazu na Wydziale Informatyki Uniwersytetu we Freiburgu w Niemczech.

Podstawowe artykuły dotyczące systemu były cytowane odpowiednio 3693, 7049, 442 i 22 razy w Google Scholar na dzień 24 grudnia 2018 r.

Bibliografia