Kolon Polipleri için Kolonoskopi ve Histopatoloji Görüntülerinden Yapay Zekâ Destekli Prognostik Belirteç Tespiti

Abstract

Kolon kanseri vakalarının çoğu kolon mukozasında anormal hücre çoğalmasından kaynaklanan poliplerle başlar. Bu projede Kayseri Şehir Hastanesi gastroenteroloji kliniğine gelen 201 hastada tespit edilen poliplere dair kolonoskopi video ve görüntülerinden ve biyopsi örneklerinden elde edilen patoloji raporu ve immunohistokimyasal (İHK) gen ve protein analizi sonuçlarını içeren kapsamlı bir veri seti oluşturulmuştur. Bu projede, elde ettiğimiz veri setinde yer alan görüntülerden kolon poliplerinin evresini/patolojisini tahmin etmek için yenilikçi derin öğrenme ve makine öğrenmesi yöntemlerini temel alan çevrim içi veya dışı kullanılabilen kapsamlı bir yapay zekâ destekli bilgisayarlı görü sistemi geliştirilmiştir. Bu proje kapsamında; kolonoskopi videolarından gerçek zamanlı polip lokalizasyonu, videolardan görüntülerin elde edilmesi, polip görüntülerinden hiperplastik ve tübüler polip ayrımının otomatik yapılması ve hekim performansıyla karşılaştırılması, bu görüntüler üzerinde ayırt edici özniteliklerin tespit edilmesi, farklı büyütmelerde alınan histopatoloji görüntülerinden adenomatöz olan ve olmayan poliplerin ve poliplerin alt tiplerinin yenilikçi derin öğrenme yöntemleriyle tespiti, Ki-67, p53, VEGF, PDL-lenfosit ve PDL-epitel, BRAF ve cd34 isimli gen ve proteinlerin İHK analizlerinin sonuçlarının polip tipleri ve alt tipleri için yorumlanması ve poliplerin bu bilgilere göre etiketlenmesi gerçekleştirilmiştir.Most cases of colon cancer begin with polyps resulting from abnormal cell proliferation in the colon mucosa. In this project, a comprehensive data set including the results of the pathology report and immunohistochemical (IHC) gene and protein analysis obtained from the colonoscopy videos and images and biopsy samples of the polyps detected in 201 patients who came to the gastroenterology clinic of Kayseri City Hospital was created. In this project, a comprehensive artificial intelligence assisted computer vision system, which can be used online or offline, based on innovative deep learning and machine learning methods, has been developed to predict the stage/pathology of colon polyps from the images in the dataset we have obtained. Within the scope of this project; real-time polyp localization from colonoscopy videos, extraction of images from videos, automatic differentiation of hyperplastic and tubular polyps from the colonoscopy images and comparison with physician performance, detection of distinctive features on these images, deep learning based identification of adenomatous and non-adenomatous polyps and subtypes of polyps from histopathology images taken at different magnifications. The results of IHC analyzes of genes and proteins named Ki-67, p53, VEGF, PD-L1 (epithelium), PD-L1 (lymphocyte), BRAF and cd34 were interpreted for polyp types/subtypes and polyps were labeled according to this information.