Kolon Polipleri için Kolonoskopi ve Histopatoloji Görüntülerinden Yapay Zekâ Destekli Prognostik Belirteç Tespiti

Abstract

Kolon kanseri vakalarının çoğu kolon mukozasında anormal hücre çoğalmasından kaynaklanan poliplerle başlar. Bu projede Kayseri Şehir Hastanesi gastroenteroloji kliniğine gelen 201 hastada tespit edilen poliplere dair kolonoskopi video ve görüntülerinden ve biyopsi örneklerinden elde edilen patoloji raporu ve immunohistokimyasal (İHK) gen ve protein analizi sonuçlarını içeren kapsamlı bir veri seti oluşturulmuştur. Bu projede, elde ettiğimiz veri setinde yer alan görüntülerden kolon poliplerinin evresini/patolojisini tahmin etmek için yenilikçi derin öğrenme ve makine öğrenmesi yöntemlerini temel alan çevrim içi veya dışı kullanılabilen kapsamlı bir yapay zekâ destekli bilgisayarlı görü sistemi geliştirilmiştir. Bu proje kapsamında; kolonoskopi videolarından gerçek zamanlı polip lokalizasyonu, videolardan görüntülerin elde edilmesi, polip görüntülerinden hiperplastik ve tübüler polip ayrımının otomatik yapılması ve hekim performansıyla karşılaştırılması, bu görüntüler üzerinde ayırt edici özniteliklerin tespit edilmesi, farklı büyütmelerde alınan histopatoloji görüntülerinden adenomatöz olan ve olmayan poliplerin ve poliplerin alt tiplerinin yenilikçi derin öğrenme yöntemleriyle tespiti, Ki-67, p53, VEGF, PDL-lenfosit ve PDL-epitel, BRAF ve cd34 isimli gen ve proteinlerin İHK analizlerinin sonuçlarının polip tipleri ve alt tipleri için yorumlanması ve poliplerin bu bilgilere göre etiketlenmesi gerçekleştirilmiştir.Most cases of colon cancer begin with polyps resulting from abnormal cell proliferation in the_x000D_ colon mucosa. In this project, a comprehensive data set including the results of the pathology_x000D_ report and immunohistochemical (IHC) gene and protein analysis obtained from the_x000D_ colonoscopy videos and images and biopsy samples of the polyps detected in 201 patients_x000D_ who came to the gastroenterology clinic of Kayseri City Hospital was created. In this project, a_x000D_ comprehensive artificial intelligence assisted computer vision system, which can be used_x000D_ online or offline, based on innovative deep learning and machine learning methods, has been_x000D_ developed to predict the stage/pathology of colon polyps from the images in the dataset we_x000D_ have obtained. Within the scope of this project; real-time polyp localization from colonoscopy_x000D_ videos, extraction of images from videos, automatic differentiation of hyperplastic and tubular_x000D_ polyps from the colonoscopy images and comparison with physician performance, detection_x000D_ of distinctive features on these images, deep learning based identification of adenomatous and_x000D_ non-adenomatous polyps and subtypes of polyps from histopathology images taken at different_x000D_ magnifications. The results of IHC analyzes of genes and proteins named Ki-67, p53, VEGF,_x000D_ PD-L1 (epithelium), PD-L1 (lymphocyte), BRAF and cd34 were interpreted for polyp_x000D_ types/subtypes and polyps were labeled according to this information.