ÖZET

Amaç:

Derin öğrenmeye dayalı tümör tespiti ve bölütleme yöntemleri uzun süreden beri geliştirilmekte olup, günümüzde ise literatürde yaygın olarak yer almaktadır. Geliştirilen yapay zekaya tabanlı derin öğrenme yöntemleri genellikle evrişimsel sinir ağlarına dayanan mimariler kullanırken, günümüzde ise görsel transformatör mimarilerine dayalı metotlar yaygın olarak geliştirilmektedir. Bu çalışmada, bahsedilen bu iki derin öğrenme yaklaşımının literatürde sıklıkla kullanılan veri seti üzerinde eğitilmiş ve hastane ortamından elde edilen gerçek klinik veriler üzerinde test edilmiştir. Böylece açık veri setleri üzerinde eğitilen modellerin gerçek klinik ortamlarda 5 farklı lezyon türü üzerinde kullanım verimliliklerinin ve genelleştirme kabiliyetlerinin ölçülmesi amaçlanmıştır.

Gereç ve Yöntem:

Açık veri seti olarak BraTS 2020 kullanılarak, ESA ve GT yapılarını içeren 8 adet derin öğrenme modeli eğitilmiştir. Eğitilen modeller Ankara Üniversitesi Tıp Fakültesi Radyoloji Bölümü doktorları tarafından hazırlanan ve etiketlenen MR görüntüleri kullanılarak test edilmiş ve derin öğrenme modellerinin performansı IoU ve Dice katsayısı metrikleri kullanılarak raporlanmıştır.

Bulgular:

Lezyon türlerine göre yapılan analizler değerlendirildiğinde, BraTS 2020 veri setinde eğitilen modeller, Ankara Üniversitesi’ne ait veriler üzerinde test edildiğinde: HGG lezyonuna ait, NCR/NET, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%17, -%4 ve -%9 performans ödünleşimi, LGG lezyonuna ait, NCR/NET ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%45, -%30 performans ödünleşimi, Kavernom lezyonuna ait, Edema etiketi için yaklaşık olarak ortalama -%60 performans ödünleşimi, Menenjiom lezyonuna ait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%36, ve -%33 performans ödünleşimi, Schwannom lezyonuna ait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%61, ve +%2 performans ödünleşimi raporlanmıştır.

Sonuç:

Bulgular ışığında, sadece açık kaynak veri seti ile eğitilen derin öğrenme modellerinin klinik ortamda genelleştirme kabiliyetinin sınırlı olduğu, lezyon türüne göre çeşitlilik gösterdiği, açık kaynak veri seti ile benzer veri setlerde daha başarılı sonuçlar verdiği sözlemlenmiştir. model performansının iyileştirilmesi için açık verisetleri üzerinde geliştirilen modellerin klinik ortamda kullanılması için öğrenme aktarımı (transfer learning) çalışmaların yapılması gerektiği görülmüştür.

Giriş

Tıbbi görüntü analizi, sağlık hizmeti kalitesini iyileştirmek için tıp uzmanlarına hastalıkları anlamaları ve klinik hastaların teşhisi için faydalı bir yetkinlik sağlamaktadır. Özellikle nörogörüntüleme, beyin kanserlerinin tanı ve tedavisinde kritik öneme sahiptir; bununla birlikte, tümörlerin ilk tespiti oldukça zorlu bir süreçtir. Basitçe söylemek gerekirse, tümör, kendisini kontrol altında tutan doğal mekanizmalar tarafından kontrol edilmeden büyüyen bir doku kütlesidir. Hücreler kontrolsüz bir şekilde bölündüğünde kanserli bir tümör oluştururlar. Manyetik rezonans görüntüleme (MRG) tümör segmentasyonu/bölütlemesi, tıbbi görüntüleme alanında yeni bir çalışma alanı olarak ortaya çıkmıştır. MRG sistemleri teşhis yöntemi olarak yaygın olarak kullanılmaktadır. Özellikle yapay zeka yöntemlerinin kullanılmasıyla bu tür teşhislerin gerçekleştirilebilmesi için çalışmalar, etkin algoritmaların geliştirilmesi ile başarılı sonuçlar vermektedir (1).

Derin öğrenme algoritmalarının MR görüntüleri kullanılarak tümörlerin sınıflandırılması amacıyla kullanılmasında etkin yöntemler geliştirilmiştir (2). Bu alanda en yaygın kullanılan derin öğrenme mimarilerinden bir tanesi de evrişimli sinir ağlarıdır (ESA) (3). ESA türevli mimariler yapılarında barındırdıkları evrişimsel filtreler ile öznitelikler çıkarmaktadırlar. Ancak sınıflandırma problemlerinde karşılaşılan en büyük dezavantaj algoritmaların ürettiği sınıflandırma kararlarının hangi özniteliklere dayanarak elde edildiğinin anlaşılamamasıdır (4). Ayrıca sınıflandırma problemlerinin ESA ile gerçekleştirilmesi sonucunda, sınıflandırılan tümörlerin boyut ve şekil bilgisi de elde edilememektedir. Bu nedenle, literatürde farklı bir çözüm yöntemi olarak MR görüntülerinin bilgisayarlı görü ve yapay zeka algoritmaları kullanılarak bölütleme/segmentasyon yaklaşımı ile incelenmesi metodolojisi geliştirilmiştir (5).

Beyin tümörü segmentasyonu, tıbbi görüntü analizindeki en zorlu problemlerden biridir (6). Beyin tümörü segmentasyonunun amacı, beyin tümörü bölgelerinin doğru bir şekilde tanımlanmasını sağlamaktır. Tıbbi görüntü analizindeki çeşitli problemler arasında sürekli olarak çalışılan beyin tümörü segmentasyonu araştırma camiasında büyük ilgi görmüştür. Araştırmacıların yoğun çabalarına rağmen, önem teşkil eden bir zorluk olarak, konum belirsizliği, morfolojik belirsizlik, düşük kontrastlı görüntüleme, açıklama yanlılığı ve veri dengesizliği gibi çeşitli zorluklar nedeniyle güvenilir sonuçlar elde edilebilen beyin tümörü segmentasyonu yaklaşımları, derin öğrenme algoritmaları ile geliştirilmektedir (7). Güçlü yapay zeka yöntemleriyle elde edilen umut verici performansla birlikte, öznitelik temsillerini otomatik olarak çıkarmak, doğru ve istikrarlı performans elde etmek için beyin tümörü segmentasyonu özelinde çeşitli derin öğrenme tabanlı yöntem ve mimariler geliştirilmiştir (8). Son zamanlarda geliştirilen ve derin öğrenme mimarilerine dayanan bu yöntemlerden bazıları ESA bloklarını içermekte (9-13), bazıları ise görsel transformatör (GT) tabanlı mimarilere dayanmaktadır (15-16).

ESA’ları, son birkaç yılda beyin tümörü segmentasyonu ve sınıflandırması gibi bilgisayarlı görme görevlerinde oldukça başarılı performans sergilemişlerdir. Bununla birlikte, EVA’ları, küçük çekirdek (kernel) boyutları nedeniyle uzun menzilli bilgileri veya bağımlılıkları verimli bir şekilde yakalayamaz (17). Uzun menzilli bağımlılıklar, istenen çıktının uzak zamanlarda sunulan görüntü dizilerine bağlantılı olduğu bağımlılıklardır. İnsan organlarının benzerliği nedeniyle, tıbbi görüntülerdeki birçok görsel temsil sıralı görüntülerin bir araya getirilmesi ile dizi olarak üretilmektedir. Görsel temsil dizilerindeki sıra bilgisinin dizilerden çıkarılması, bir ESA modelinin performansını önemli ölçüde etkilemektedir. Bunun temel nedeni, tıbbi görüntü dizileri (modalite, kesit ve yama gibi) arasındaki bağımlılıkların önemli bilgiler içermesidir (18). Bu uzun menzilli bağımlılıklar, dizi ilişkilerini işleyebilen tekniklerle etkin bir şekilde ele alınabilir ve değerlendirilebilir. GT’lerde (19) bir öz-dikkat mekanizması (self-attention mechanism), hassas beyin tümörü segmentasyonu için çok önemli olan uzun menzilli bağımlılıkları modelleme kapasitesine sahiptir. GT mimarileri bunu, belirteç yerleştirmeleri arasındaki ikili etkileşimleri modelleyerek başarmaktadırlar, böylece bu iyileştirme sayesinde GT tabanlı modeller, lokal ve global özellik temsillerinin öğrenilmesini sağlamaktadır. GT’ler, çeşitli kıyaslama veri setlerinde oldukça umut verici bir performans göstermiştir (14,17).

Bu araştırmada, MRG görüntülerini kullanarak beyin tümörlerini saptanması ve bölütleme (segmentasyon) yaklaşımı ile sınırlarının belirlenmesi için, derin öğrenme tabanlı ESA ve GT mimarileri ile görüntü tabanlı teşhis yöntemlerinin başarımı incelenmiştir. Açık veri seti üzerinden derin öğrenme algoritmaları eğitilmiş ve performansları test edilmiştir. Ayrıca, açık veri seti ile eğitilen derin öğrenme modelleri, Ankara Üniversitesi İbn-i Sina Hastanesi’nden elde edilen MR görüntüleri kullanılarak gerçek klinik verileri üzerindeki başarımı incelenmiştir.

Gereç ve Yöntem

Bu çalışma kapsamında, 4 Evrişimli Sinir Ağı ve 4 GT tabanlı olmak üzere toplam 8 adet derin öğrenme mimarisi literatürdeki en kapsamlı veri seti olan BraTS 2020 ile eğitilmiş ve en yüksek başarımlı modeller seçilmiştir. Seçilen modeller, tekrar eğitim yapılmaksızın Ankara Üniversitesi İbn-i Sina Hastanesi’ndeki klinik ortamdan elde edilen ve doktorlar tarafından etiketlenen MR görüntüleri ile test edilmiştir. Şekil 1’de uygulanan metodoloji gösterilmektedir. Literatürden farklı bir metodoloji izlenerek, model performanslarının ölçülmesi için test yöntemi olarak 5 farklı lezyon türüne göre karşılaştırmalı analizler gerçekleştirilmiştir.

Önerilen tüm mimarileri eğitmek ve performansını değerlendirmek için bu araştırmada BraTS 2020 veri seti kullanılmıştır. Veri seti, 369 eğitim, 125 doğrulama ve 169 test bölümlerine ayrışmış, çoklu modalite beyin MR görüntülerinden oluşmaktadır. Bu MR görüntüleri T1 ağırlıklı (T1), kontrast sonrası T1 ağırlıklı (T1-C), T2 ağırlıklı (T2) ve sıvı ile zayıflatılmış inversiyon kurtarma (FLAIR) sekanslarını içermektedir. Tüm MR görüntülerinin boyutu 240 × 240 × 155 pikseldir.

Ankara Üniversite Tıp Fakültesi’nden elde edilen 12 yüksek seviyeli glioma (HGG) hastasında ait 124 kesit görüntüsü, 10 düşük seviyeli glioma (LGG), 6 kavernom hastasına ait 110 kesit görüntüsü, 12 menenjiyom hastasına ait 124 kesit görüntüsü ve 10 schwanom hastasına ait 187 kesit görüntüsü veriler birleştirilerek bir veri seti oluşturulmuştur. Çalışma kapsamında 3 farklı çekim sekansı (FLAIR, T1-C, T2) kullanılmıştır. Oluşturulan veri seti için lezyon türü ve etiket bilgisine göre voksel (voxel) sayıları Şekil 2’de verilmiştir. Şekil 2’den de görüldüğü üzere, lezyon türüne göre etiket bilgisinin dağılımı çok farklılık göstermektedir. Bu yaklaşımla derin öğrenme modellerinin klinik performans incelemesi daha gerçekçi bir şekilde analiz edilebilmiştir. Veri setinin etiketlemesi Ankara Üniversitesi Tıp Fakültesi Radyoloji Bölümü uzman doktorları tarafından gerçekleştirilmiş ve kontrol edilmiştir.

BraTS 2020 veri seti hazırlanırken etiket bilgileri, literatürden farklı olarak birleştirilmeden kullanılmıştır. Diğer bir değişle, her bir etiket türü ayrı bir şekilde bulunmaya ve segmente edilmeye çalışılmıştır. Bu açıdan düşünüldüğünde, segmentasyon işlemi, derin öğrenme modelleri için literatürdeki uygulanan yöntemlerden daha zorlayıcı bir problem haline dönüşmüştür. Ankara Üniversitesi Tıp Fakültesi’nden elde edilen veri seti BraTS 2020 veri setinden farklı olarak, öncelikle uzamsal hizalama (registration) yöntemi uygulanmış, bu işlemi takiben kafatası bilgisi MR görüntülerinden çıkarılarak BraTS 2020 veri setine benzer formata getirilmiştir. Bu süreçte elde edilen DICOM dosyaları NIFTI formatına dönüştürülerek sonraki adımlarda kullanılmıştır. Çalışma kapsamında 3 farklı MR çekim sekansı (FLAIR, T1-C, T2) sonucu üretilen görüntü verileri işlenmiştir.

Yararlı özellikleri çıkarmak için karmaşık özellik mühendisliği işlemleri ile karşılaştırıldığında, derin öğrenme yaklaşımları, temel olarak yüksek boyutlu ayırt edici özellikleri otomatik olarak çıkarmak için etkili derin sinir ağları tasarlamaya dayanır. Etkili modüller ve ağ mimarileri tasarlamak, doğru segmentasyon performansı elde etmek için en önemli faktörlerden biri haline gelmiştir. Literatürde, etkili modüller tasarlarken esas olarak izlenen iki ilkeye rastlanmaktadır: Bunlardan birincisi, üst düzey anlam bilgisini öğrenmek, alıcı alanın genişletilmesi yoluyla değerli hedefleri yerelleştirmek ve dikkat mekanizması özelliği ile füzyon güncellemesinin elde edilmesidir. Diğer yol ise ağ parametrelerinin miktarını azaltmak, eğitim ve çıkarım sırasında hızlandırmak, böylece hesaplama zamanı ve kaynaklarından tasarruf etmektir. Ağ mimarisinin tasarımı, temel olarak tek kanallı bir ağdan çok kanallı bir ağa, tamamen bağlı katmanlara sahip bir ağdan tamamen evrişimli bir ağa ve basit bir ağdan derin katmanlı bir ağa dönüştürülmesi ile yapılabilir. Amaç, ağı derinleştirmek, ağın özellik öğrenme yeteneğini geliştirmek ve daha etkin bir segmentasyonu sağlayabilmektir (13). Bu çalışma kapsamında kullanılması önerilen ve performansları ölçülen derin öğrenme mimarileri takip eden bölümlerde kısaca özetlenmiştir.

U-Net

ESA’ları baz alan önemli bir segmentasyonu mimarisi U-Net’tir (20). U-Net, öznitelikleri oluşturabilmek için mimarisi içerisinde bir daralan Evrişim işlemi ile oluşturulan yoldan veriyi işler ve hassas yerelleştirmeyi mümkün kılan simetrik bir genişleyen yoldan öznitelikleri oluşturmaktadır. Geleneksel ESA’ya kıyasla U-Net kullanmanın bir avantajı, daralan ve genişleyen yollar arasındaki bağlantıların atlamalı bağlantılar içermesidir. Atlama bağlantıları, özellik haritalarını ortak bir yoldan genişleyen yola iletir ve özellik haritalarını iki farklı yoldan doğrudan birleştirir. Atlama bağlantıları aracılığıyla orijinal görüntü verileri, ortak yoldaki katmanların ayrıntılı öznitelik elde edilmesine yardımcı olabilir. U-Net bu özellikleri nedeniyle beyin MR görüntülerinin segmente edilmesi için kullanılmış ve başarılı sonuçlar elde edilmiştir (20).

Panoptik Öznitelik Piramit Ağları (PÖPA-Semantik FPN)

Yakın zamanda tanıtılan panoptik segmentasyon yaklaşımları, bilgisayarlı görü alanında çalışan araştırmacıların, örnek (instance) segmentasyonu ve semantik segmentasyon işlemlerini aynı mimari içerisinde birleştirme özelliğinin kullanımını popüler hale getirmiştir (21). Bununla birlikte, bu ortak görev için mevcut en gelişmiş yöntemler, herhangi bir paylaşılan hesaplama gerçekleştirmeden ayrı ve farklı türde ağlar ve anlamsal bölütleme yöntemleri kullanmaktadır. Panoptik öznitelik piramit ağları (PÖPA), bu yöntemleri mimari düzeyde birleştirerek her iki görev için tek bir ağ kullanmaktadır. Şaşırtıcı bir şekilde, bu basit yaklaşım yalnızca örnek tabanlı bölütleme için etkili olmakla kalmamakta, aynı zamanda anlamsal bölümleme için az hesaplama gerektiren, en iyi performans gösteren bir çözüm üretmektedir (21).

DeepLabV3

Anlamsal görüntü bölütleme uygulamalarında Derin ESA’lar tarafından hesaplanan özellik yanıtlarının çözünürlüğünü kontrol etmenin yanı sıra filtrenin görüş alanını açıkça ayarlamak için güçlü bir araç olan atriyal konvolüsyonların kullanımını önermektedir (22). Bu mimari içerisinde nesneleri birden çok ölçekte bölümlere ayırma sorununu ele almak için, birden çok atröz oranı benimseyerek çok ölçekli bağlamları yakalamak için kademeli veya paralel olarak aşırı evrişim kullanan modüller tasarlanmıştır. Ayrıca, birden fazla ölçekte evrişimsel özellikleri araştıran atriyal uzamsal piramit havuzlama işlemi, global bağlamı kodlayan görüntü düzeyinde özelliklerle güçlendirmeyi ve performansı daha da artırmayı sağlamaktadır (22).

DeepLabV3+

Atriyal ayrılabilir evrişimli kodlayıcı-kod çözücü ağlar, derin sinir ağlarında semantik segmentasyon görevleri için uzaysal piramit havuzlama modülleri veya kod çözücü yapıları kullanılmaktadır. Mimarideki ilk katman ağlar, gelen özellikleri filtrelerle veya çoklu oranlarda ve çoklu etkili görüş alanlarında havuzlama işlemleriyle araştırarak çok ölçekli bağlamsal bilgileri kodlayabilirken, ikinci katmandaki ağlar, uzamsal bilgiyi kademeli olarak kurtararak daha keskin nesne sınırlarını yakalayabilmektedir. Her iki yöntemin avantajlarını birleştirmek için DeepLabv3+ mimarisi (23), özellikle nesne sınırları boyunca segmentasyon sonuçlarını iyileştirmek için kendi mimarisine basit ama etkili bir kod çözücü modülü ekleyerek DeepLabv3 (22) mimarisini genişletmiş ve segmentasyonu problemlerinin çözümünde daha başarılı sonuçlar elde etmiştir.

Segmentasyon Transformatörü (Segmentation Transformer)

En yeni anlamsal bölümleme yöntemleri, kodlayıcı-kod çözücü mimarisine sahip evrişimli bir ağı (ESA) kullanmaktadır. Kodlayıcı, uzamsal çözünürlüğü aşamalı olarak azaltır ve daha büyük alıcı alanlarla daha soyut/anlamsal görsel kavramların öğrenilmesine olanak sağlamaktadır. Bağlam modelleme, segmentasyon için kritik olduğundan, yeni önerilen yöntemler genişlemiş atriyel evrişimler veya dikkat modülleri ekleyerek alıcı alanını artırma yaklaşımını benimsemiştir (22,23). Anlamsal bölütlemeyi diziden diziye tahmin görevi olarak ele alarak alternatif bir bakış açısı olarak, bir görüntüyü bir yama dizisi olarak kodlamak için temel bir transformatör (yani, evrişim ve çözünürlük azaltma olmadan) mimarisi kullanılması ile yeni bir mimari oluşturulmuştur (24). Transformatörün her katmanında modellenen global bağlam ile bu kodlayıcı, segmentasyon transformatörü olarak adlandırılan güçlü bir segmentasyon modeli sağlamak için basit bir kod çözücü ile birleştirilmiştir (24).

Segmenter

Görüntü segmentasyonu, genellikle bireysel görüntü yamaları düzeyinde belirsizdir ve etiket mutabakatına ulaşmak için bağlamsal bilgi gerektirmektedir. Evrişim tabanlı yöntemlerin aksine, segmenter (25) küresel bağlamı zaten ilk katmanda ve ağ boyunca modellemeye izin vermektedir ve GT mimarisi kullanılarak geliştirilmiştir. Bu yaklaşımda, görüntü yamalarına karşılık gelen vektör dizilerinin kullanımı ve bu vektör dizilerinin noktasal bir doğrusal kod çözücü mimari veya bir maske dönüştürücü kod çözücü mimari ile sınıflara ait etiketler elde edilmektedir. Segmenter mimarisi, uçtan uca kodlayıcı-kod çözücü transformatörü, anlamsal bölümleme, örnek bölümleme ve panoptik bölümleme için birleşik bir yaklaşım için geliştirilmiş ilk önemli çalışmadır (25).

Yoğun Kestirim Transformatörleri (DPT)

Yoğun tahmin transformatörleri (26), yoğun tahmin görevleri için bir omurga olarak evrişimsel ağlar yerine görüntü transformatörlerinden yararlanan bir mimaridir. Görüntü dönüştürücünün çeşitli aşamalarındaki belirteçleri çeşitli çözünürlüklerde görüntü benzeri temsiller halinde birleştirir ve bunları bir evrişimli kod çözücü kullanarak aşamalı olarak tam çözünürlüklü tahminler elde edilir. Transformatör omurgası, temsilleri sabit ve nispeten yüksek bir çözünürlükte işlere ve her aşamada global bir alıcı alana sahiptir. Bu özellikler, yoğun tahmin transformatörünün, tam evrişimli ağlarla karşılaştırıldığında daha iyi çözünürlüklü ve küresel olarak daha tutarlı tahminler yapılabilmesine olanak sağlamaktadır (26).

SegFormer

Transformatör mimarilerini, çok katmanlı sinir ağı kod çözücüleriyle birleştiren basit, verimli ancak güçlü bir semantik segmentasyon yöntemidir (27). SegFormer, çok ölçekli özellikler çıkaran, hiyerarşik olarak yapılandırılmış yeni bir transformatör mimarisi barındıran kodlayıcı içermektedir. Konumsal kodlamaya ihtiyaç duymadığından, test görüntülerinin çözünürlüğü eğitimden setindekilerden farklı olduğunda performansın düşüşüne yol açan konumsal kodların enterpolasyonunu önleyebilmektedir. SegFormer karmaşık kod çözücüleri kullanmamaktadır. Önerilen MLP kod çözücü, farklı katmanlardan gelen bilgileri toplar ve böylece güçlü temsiller oluşturmak için hem yerel dikkat mekanizmasını hem de küresel dikkat mekanizmasını birleştirmiş olmaktadır (27).

Performans Değerlendirme Metrikleri

Bu çalışma kapsamında Dice katsayısı ve IoU metrikleri algoritmaların performansını değerlendirmek için kullanılmıştır. Sørensen-Dice indeksi veya basitçe Dice katsayısı olarak da bilinen Dice benzerlik katsayısı, iki veri seti arasındaki benzerliği ölçen istatistiksel bir araçtır. Bu indeks, AI ile oluşturulan görüntü segmentasyon algoritmalarının doğrulanmasında tartışmasız en yaygın kullanılan bir metriktir. Dice katsayısının tanımı Denklem 1’de verilmiştir:

Dice katsayısı, her iki kümede ortak olan eleman sayısının, her bir kümedeki eleman sayısının toplamına bölünmesiyle elde edilen sayının iki katına eşittir. Denklem de X ve Y birer seti temsil etmektedir. |.| operatörü bu setler üzerinde tanımlanan kardinaliteyi yani set içinde bulunan eleman sayısını göstermektedir. ∩ ise iki setin kesişimini yani her iki sette de ortak olan elemanların ifade etmektedir. X algoritmanın tahminleme sonucunu, Y ise altın standart yani etiket bilgisini göstermektedir (16,20).

Jaccard İndeksi olarak da bilinen Intersection-Over-Union (IoU), semantik segmentasyonda en sık kullanılan metriklerden biridir. IoU, tahmin edilen segmentasyon ile kesin bilgi arasındaki örtüşme alanıdır ve tahmin edilen segmentasyon ile gerçek gerçek arasındaki birleşme alanına bölünür. Bu metrik 0-1 (%0-100) arasında değişir ve 0 örtüşme olmadığını ve 1 mükemmel örtüşen segmentasyonu belirtir. IoU’nun tanımı Denklem 2’de verilmiştir:

Denklemde X ve Y birer seti temsil etmektedir. |.| operatörü set içinde bulunan eleman sayısını göstermektedir. ∩ iki setin kesişimini, ∪ ise iki setin birleşimini ifade etmektedir. X algoritmanın tahminleme sonucunu, Y ise altın standart yani etiket bilgisini göstermektedir (16,20).

Derin öğrenme mimarilerinin geliştirilmesinde MMSegmentation yazılım kütüphaneleri kullanılmıştır. Böylece potansiyel model geliştirme hataları ortadan kaldırılmıştır (28,29). Modellerin hiper parametre değerleri varsayılan değerler olarak kullanılmıştır.

Bulgular

Bütün modeller BraTS 2020 veri seti üzerinde eğitilmiştir. Doğrulama seti üzerindeki en yüksek performans gösteren modeller seçilmiştir. Model başarıları bir tümörü oluşturan farklı tümör bölümlerindeki (lezyon) parçaların bölütleme performanslarına göre ayrı ayrı ölçülmüştür. Seçilen modellerin performans karşılaştırılması Tablo 1’de verilmiştir.

Tablo 1’den görüldüğü üzere, BraTS 2020 veri seti üzerinde en yüksek başarım SegFormer modeline ait olup, anomali türüne göre diğer modeller de bu modele yakın performans sahiptir. Tüm modeller değerlendirildiğinde Enhancing Tumor bölümlerinin daha yüksek bir başarı ile tespit edilebildiği, Edema bölümlerin daha az başarı ile tespit edilebildiği ve Nekrotik ve kontrast oluşturmayan tümör çekirdeği (NCR/NET) bölümlerinin ise en az başarı ile tespit edilebildiği gözlemlenmektedir. Bütün modellerin genel başarısı ortalama değer olarak NCT/NET tümör bölümleri için %50,15±2,78 IoU metriği, %66,71±2,44 Dice skoru ile, Edema tümör bölümleri için %61,63±2,00 IoU metriği, %76,24±1,53 Dice skoru ile, Enhancing Tumor bölümleri için ise %70,76±4,02 IoU metriği, %82,81±2,79 Dice skoru ile elde edilebilmiştir.

Segmentasyon modelleri BraTS 2020 veri seti ile eğitildikten sonra, Ankara Üniversitesi veri seti üzerinde herhangi bir model eğitimi ya da iyileştirme işlemi yapılmaksızın tekrar test edilerek, farklı MR görüntüleme merkezlerinden elde edilmiş veri seti üzerinde model performanslarının değişimi incelenmiştir. Tablo 2’de elde edilen sonuçlar listelenmektedir.

Tablo 2’den görüldüğü gibi, NCR/NET ve Edema alanlarının bölütlenmesinde en başarılı model Semantic FPN olmuştur. Ayrıca Enhancing Tumor’lerdeki en başarılı modelin ise SegFormer olduğu görülmektedir. Tüm modeller değerlendirildiğinde Enhancing Tumor bölümlerinin daha yüksek bir başarı ile tespit edilebildiği, Edema bölümlerin daha az başarı ile tespit edilebildiği ve NCR/NET bölümlerinin ise en az başarı ile tespit edilebildiği gözlemlenmektedir. Bu durumun BraTS 2020 veri setinde test edilen modellerin performansları ile aynı olduğu görülmektedir. Bütün modellerin genel başarısı hesaplandığında, ortalama değer olarak NCT/NET tümör bölümleri için %21,84±2,77 IoU metriği, %35,77±3,72 Dice skoru ile, Edema tümör bölümleri için %45,36±2,21 IoU metriği, %62,37±2,08 Dice skoru ile, Enhancing Tumor bölümleri için ise %58,05±3,90 IoU metriği, %73,38±3,20 Dice skoru ile elde edilebilmiştir.

Tablo 1 ve Tablo 2’deki veriler birlikte değerlendirildiğinde model mimarisi açısından Enhancing Tumor bölümlerinin bulunmasında Segformer’ın daha başarılı olduğu ancak, NCR/NET ve Edema tümör bölümleri için ise yapısında ESA barındıran modellerin daha başarılı olduğu görülmüştür. ESA ve GT tabanlı modellerin birbirlerine göre bir üstünlüğünün olmadığı benzer performanslar gösterdiği tespit edilmiştir. Ayrıca BraTS 2020 veri seti ile eğitilip, Ankara Üniversitesi veri seti ile test edilen modellerin hepsinin başarısında, test seti özelinde ciddi düşüşler olduğu gözlenmektedir. Bu sonuçlar belirli bir kaynaktan elde edilen veriler ile eğitilen modellerin, farklı kaynaktan elde edilen veriler ile test edildiğinde, model performanslarını değiştireceği hipotezimizi desteklemektedir. Buna ek olarak ESA ve GT mimarilerinin her birisi için benzer şekilde performans düşüşü gözlenmekte olup, GT gibi daha kompleks modellerin, model büyüklüğü ve karmaşıklığının bir avantaj sağlamadığı görülmektedir.

Tablo 3-7’de, BraTS 2020 veri seti ile eğitilen modellerin, Ankara Üniversitesi veri seti ile test edilerek her bir tümör türü özelindeki (HGG, LGG, Kavernom, Menenjiyom, Schwannom) performans sonuçları gösterilmiştir.

Tablo 3’te elde edilen veriler ışığında, HGG hastalarına ait tümör bölümlerinden NCR/NET ve Edema için ESA tabanlı mimariler tarafından daha yüksek skorlarla tespit edilebildiği ancak Enhancing Tumor bölümleri için ise GT tabanlı mimari ile daha yüksek skorla tespit edilebildiği gözlemlenmiş, ESA ve GT tabanlı mimarilerin birbirlerine göre bir üstünlüğünün olmadığı görülmüştür. Enhancing Tumor bölümlerinin ise derin öğrenme yöntemleri tarafından daha yüksek bir başarı ile segmente edilebildiği izlenmektedir.

Tablo 4’te elde edilen veriler ışığında, LGG hastalarına ait tümör bölümlerinden NCR/NET ve Enhancing Tumor bölümleri için ESA tabanlı mimariler tarafından daha yüksek skorlarla tespit edilebildiği, Enhancing Tumor bölümlerinin daha başarılı şekilde segmente edilebildiği ve ESA tabanlı mimarilerin GT tabanlı mimarilere göre daha iyi sonuçlar ürettiği görülmektedir. LGG hastalarına ait verilerde tümör türünün özelliği dolayısı ile Edema alanları için etiketler bulunmamaktadır.

Tablo 5’te elde edilen veriler ışığında, Kavernom hastalarına ait tümör bölümlerinden Edema bölümü için ESA tabanlı mimariler tarafından daha yüksek skorlarla tespit edilebildiği ve ESA tabanlı mimarilerin GT tabanlı mimarilere göre daha iyi sonuçlar ürettiği görülmektedir. Kavernom hastalarına ait verilerde tümör türünün özelliği dolayısı ile NCR/NET ve Enhancing Tumor alanları için etiketler bulunmamaktadır.

Tablo 6’da elde edilen veriler ışığında, Menenjiyom hastalarına ait tümör bölümlerinden NCR/NET için ESA tabanlı mimariler tarafından daha yüksek skorlarla tespit edilebildiği, başarımın her iki mimari içinde çok düşük değerlerde olduğu ancak Edema ve Enhancing Tumor bölümleri için ise GT tabanlı mimari ile daha yüksek skorla tespit edilebildiği gözlemlenmiş, ESA ve GT tabanlı mimarilerin birbirlerine göre bir üstünlüğünün olmadığı görülmüştür. Enhancing Tumor ve Edema bölümlerinin ise daha yüksek bir başarı ile segmente edilebildiği belirlenmiştir.

Tablo 7’de elde edilen veriler ışığında, Schwannom hastalarına ait tümör bölümlerinden NCR/NET bölümlerinin segmente edilemediği, Edema ve Enhancing Tumor bölümleri için ESA tabanlı mimariler tarafından daha yüksek skorlarla tespit edilebildiği, Enhancing Tumor bölümlerinin daha başarılı şekilde segmente edilebildiği ve ESA tabanlı mimarilerin GT tabanlı mimarilere göre daha iyi sonuçlar ürettiği görülmektedir. Enhancing Tumor bölümlerinin diğer iki tümör bölümüne göre daha başarılı şekilde segmente edildiği görülmektedir.

Sonuç

Bu çalışmada beyin MR görüntüleri kapsamında literatürde en fazla kullanılan BraTS 2020 veri seti üzerinde eğitilen derin öğrenme mimarilerinin klinik ortamda test edilmiş ve 5 farklı lezyon türüne göre başarı performanslarının kıyaslanarak raporlanmıştır. Klinik ortamdan elde edilen veriler dikkatli incelendiğinde beklenildiği üzere lezyon türüne göre etiket bilgileri çok değişim göstermektedir. BraTS 2020 veri setinde sadece 2 farklı lezyon türü (HGG, LGG) olduğu dikkate alındığında bu veri seti üzerinde geliştirilen modellerin klinik ortamda doğrudan kullanılması verimli gözükmemektedir. Performans ölçümlemesi için kullanılan ESA ve GT tabanlı derin öğrenme mimarileri, literatürde başarımları en yüksek olarak rapor edilmesine ve birçok uygulamada başarılı olarak kullanılmasına rağmen medikal alanda performansları çok da tatmin edici olmadığı görülmüştür.

Tartışma

Bulgular ışığında, sadece açık kaynak veri seti ile eğitilen derin öğrenme modellerinin klinik ortamda genelleştirme kabileyetinin sınırlı olduğu, lezyon türüne göre çeşitlilik gösterdiği, açık kaynak veri seti ile benzer veri setlerde daha başarılı sonuçlar verdiği gözlemlenmiştir.

• Lezyon türlerine göre yapılan analizler değerlendirildiğinde, BraTS 2020 veri setinde eğitilen modeller, Ankara Üniversitesi’ne ait veriler üzerinde test edildiğinde;

• HGG lezyonuna ait, NCR/NET, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%17, -%4 ve -%9 performans ödünleşimi,

• LGG lezyonuna ait, NCR/NET ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%45, -%30 performans ödünleşimi,

• Kavernom lezyonuna ait, Edema etiketi için yaklaşık olarak ortalama -%60 performans ödünleşimi,

• Menenjiom lezyonuna ait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%36, ve -%33 performans ödünleşimi,

• Schwannom lezyonuna ait, Edema ve Enhancing Tumor etiketleri için sırasıyla yaklaşık olarak ortalama -%61, ve +%2 performans ödünleşimi raporlanmıştır.

Derin öğrenme modellerinin medikal görüntü işleme alanında açık kaynak veri setleri ile eğitildiğinde, kullanılacak hastane ortamındaki MR cihazlarının özelliklerine göre iyileştirme ve geliştirme çalışmalarının yapılması gerekmektedir. Bu çalışma kapsamında incelenerek raporlandığı üzere, eğitim setinde bulunmayan görüntüler ve farklı MR çekim parametreleri yapay zeka uygulamasının kullanılacağı gerçek klinik ortamında performansını oldukça düşürmektedir. Transfer öğrenme, alan adaptasyonu ve daha çok verinin temin edilmesi gibi teknikler kullanılarak model performansı iyileştirilebilir.

Etik

Etik Kurul Onayı: Ankara Üniversitesi Tıp Fakültesi Etik Kurulu’ndan (tarih: 25.11.2021, karar no: 2021/413) onay alındı.

Hasta Onayı: Hastaların radyolojik görüntüleri retrospektif olarak incelendi.

References

Shelatkar T, Urvashi D, Shorfuzzaman M, et al. Diagnosis of Brain Tumor Using Light Weight Deep Learning Model with Fine-Tuning Approach. Comput Math Methods Med. 2022;2022:2858845.

Gao P, Shan W, Guo Y, et al. Development and Validation of a Deep Learning Model for Brain Tumor Diagnosis and Classification Using Magnetic Resonance Imaging. JAMA Netw Open. 2022;5:e2225608.

Díaz-Pernas FJ, Martínez-Zarzuela M, Antón-Rodríguez M, et al. A Deep Learning Approach for Brain Tumor Classification and Segmentation Using a Multiscale Convolutional Neural Network. Healthcare (Basel). 2021;9:153.

Gaur L, Bhandari M, Razdan T, et al. Explanation-Driven Deep Learning Model for Prediction of Brain Tumour Status Using MRI Image Data. Front Genet. 2022;13:822666.

Işın A, Direkoğlu C, Şah M. Review of MRI-based Brain Tumor Image Segmentation Using Deep Learning Methods. Procedia Computer Science. 2016;102:317-324.

Havaei M, Davy A, Warde-Farley D, et al. Brain tumor segmentation with Deep Neural Networks. Med Image Anal. 2017;35:18-31.

Naceur MB, Saouli R, Akil M, et al. Fully Automatic Brain Tumor Segmentation using End-To-End Incremental Deep Neural Networks in MRI images. Comput Methods Programs Biomed. 2018;166:39-49.

Feng X, Tustison NJ, Patel SH, et al. Brain Tumor Segmentation Using an Ensemble of 3D U-Nets and Overall Survival Prediction Using Radiomic Features. Front Comput Neurosci. 2020;14:25.

Pereira S, Pinto A, Alves V, et al. Brain Tumor Segmentation Using Convolutional Neural Networks in MRI Images. IEEE Trans Med Imaging. 2016;35:1240-1251.

Wang G, Li W, Ourselin S, et al. Automatic Brain Tumor Segmentation Based on Cascaded Convolutional Neural Networks With Uncertainty Estimation. Front Comput Neurosci. 2019;13:56.

Shehab LH, Fahmy OM, Gasser SM, et al. An efficient brain tumor image segmentation based on deep residual networks (ResNets). Journal of King Saud University - Engineering Sciences. 2021;33:404-412.

Bal A, Banerjee M, Chaki R, et al. An efficient brain tumor image classifier by combining multi-pathway cascaded deep neural network and handcrafted features in MR images. Med Biol Eng Comput. 2021;59:1495-1527.

Cui S, Mao L, Jiang J, et al. Automatic Semantic Segmentation of Brain Gliomas from MRI Images Using a Deep Cascaded Neural Network. J Healthc Eng. 2018;2018:4940593.

Wang W, Chen C, Ding M, et al. TransBTS: Multimodal Brain Tumor Segmentation Using Transformer. Medical Image Computing and Computer Assisted Intervention – MICCAI 2021. 2021:109-119.

Gai D, Zhang J, Xiao Y, et al. RMTF-Net: Residual Mix Transformer Fusion Net for 2D Brain Tumor Segmentation. Brain Sci. 2022;12:1145.

Jia Q, Shu H. BiTr-Unet: a CNN-Transformer Combined Network for MRI Brain Tumor Segmentation. Brainlesion. 2021;2021:3-14.

Hatamizadeh A, Nath V, Tang Y, et al. Swin UNETR: Swin Transformers for Semantic Segmentation of Brain Tumors in MRI Images. Brainlesion: Glioma, Multiple Sclerosis, Stroke and Traumatic Brain Injuries. BrainLes@MICCAI. 2022;272-284.

Dai Y, Gao Y, Liu F. TransMed: Transformers Advance Multi-Modal Medical Image Classification. Diagnostics (Basel). 2021;11:1384.

Dosovitskiy A, Beyer L, Kolesnikov A, et al. An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale. CoRR. 2020;abs/2010.11929.

Ronneberger O, Fischer P, Brox T. U-Net: Convolutional Networks for Biomedical Image Segmentation. Medical Image Computing and Computer-Assisted Intervention – MICCAI. 2015. 2015;234-241.

Kirillov A, Girshick R, He K, et al. Panoptic Feature Pyramid Networks. 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2019;6399–6408.

Chen LC, Papandreou G, Schroff F, et al. Rethinking Atrous Convolution for Semantic Image Segmentation. ArXiv. 2017;abs/1706.05587.

Chen LC, Zhu Y, Papandreou G, et al. Encoder-Decoder with Atrous Separable Convolution for Semantic Image Segmentation. Computer Vision -- ECCV 2018. 2018;1:833-851.

Zheng S, Lu J, Zhao H. Rethinking Semantic Segmentation from a Sequence-to-Sequence Perspective with Transformers. 2021 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR). 2021;6881-6890.

Strudel R, Garcia R, Laptev I, et al. Segmenter: Transformer for Semantic Segmentation. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021;7262-7272.

Ranftl R, Bochkovskiy A, Koltun V. Vision Transformers for Dense Prediction. 2021 IEEE/CVF International Conference on Computer Vision (ICCV). 2021;12179-12188.

Xie E, Wang W, Yu Z, et al. SegFormer: Simple and Efficient Design for Semantic Segmentation with Transformers. Advances in Neural Information Processing Systems. 2021;12077-12090.

Menze BH, Jakab A, Bauer S, et al. The Multimodal Brain Tumor Image Segmentation Benchmark (BRATS). IEEE Trans Med Imaging. 2015;34:1993-2024.

Contributors M. MMSegmentation: OpenMMLab Semantic Segmentation Toolbox and Benchmark. Published 2020. https://github.com/open-mmlab/mmsegmentation.