Perception estimation and torque control for hand prostheses using EEG and EMG signals

Abstract

Upper extremity prostheses vary based on patients' articulation levels and movement methods. They can be cosmetic, operate mechanically with shoulder movement, or be controlled by myoelectronic and electroencephalography (EEG) signals. However, unnatural prosthesis control burdens users mentally. This thesis seeks to enhance bionic hand prosthesis control using EEG and electromyography (EMG) signals, coupled with users' visual weight perception, aiming to reduce physical and mental discomfort associated with mechanical prostheses. The prototype hand's preconditioning evaluates objects' weight visually, aiming to reduce shoulder force and mental load while holding an object. EEG and EMG signals from subjects were processed for real-time implementation. In the first stage, a study focused on operating the prosthesis using the motor intention waves of prosthesis users, and the machine learning approaches' classification success (detection of the intention to activate the prosthesis) was examined using EEG data from 30 healthy participants. The second stage recorded EEG and EMG signals from 31 participants during reaching, lifting, and placing an object, employing various classifications for object weight. In the real-time classification of multi-channel EEG signals from 20 healthy individuals using Fourier-based synchrosequeezing transform (FSST) and singular value decomposition (SVD) approaches, the system aimed to control the stiffness of the wrist part of the prosthesis. Consequently, the system could detect the weight of the object perceived by the user while using the prosthesis, allowing for the preconditioning of the prosthesis based on this weight when the user wants to hold and move the object.Üst ekstremite protezleri, hastaların eklem düzeyleri ve hareket yöntemlerine bağlı olarak değişiklik gösterir. Protezlerin kozmetik, omuz hareketine bağlı çalışan, miyoelektronik ve elektroensefelografi (EEG) sinyalleriyle kontrol edilen türleri mevcuttur. Ancak, sezgisel ve doğal olmayan protez kontrolü kullanıcı üzerinde büyük bir mental yüke neden olmaktadır. Bu tez ile, EEG ve elektromiyografi (EMG) sinyalleri birlikte kullanılarak biyonik el protezinin kontrolünün kullanıcının görsel ağırlık algısından faydalanılarak daha iyi hale getirilmesini amaçlayan bir sistem geliştirilmeye çalışılmıştır. Bu sistem ile hastaların mekanik bir protezi kullanırken duyabilecekleri fiziksel ve mental yükü/rahatsızlığı azaltmak hedeflenmiştir. Bu amaçla öncelikle deneklerin EEG ve EMG sinyalleri gerçek zamanlı uygulama için işlendi. İlk aşamada, protez kullanıcılarının motor niyet dalgalarından yararlanılarak protezlerin çalıştırılmasını hedefleyen bir araştırma yapılmış ve 30 sağlıklı katılımcıdan EEG verileri alınarak makine öğrenmesi yaklaşımlarının sınıflandırma başarıları (protezi aktif hale getirme niyetlerinin tespiti) incelenmiştir. İkinci aşamada, 31 katılımcının nesneye uzanma, kaldırma ve yerleştirme hareketleri sırasında EEG ve EMG sinyalleri kaydedildi ve nesne ağırlığının tespiti için çeşitli sınıflandırmalar kullanıldı. 20 sağlıklı bireyin çok kanallı EEG sinyallerinin gerçek zamanlı sınıflandırmasında Fourier tabanlı senkrosıkıştırma dönüşümü (FSST) ve tekil değer ayrıştırma (SVD) yaklaşımları kullanılarak sistem, protezin bilek kısmının sertliğinin kontrolü sağlanmaya çalışılmıştır. Sonuç olarak, bireyler protezi kullanırken gördükleri cismin ağırlığının sistem tarafından algılanması ve o cismi kaldırmak istediklerinde protezin bu ağırlığa göre önkoşullandırılması mümkün olmaktadır.