Singapur Ulusal Üniversitesi ve Hong Kong Çin Üniversitesi'nden araştırmacılar Jiaxin Qing, Zijiao Chen ve Juan Helen Zhou, beyin okumalarından video üreten MinD-Video adlı bir model oluşturmak için fMRI verilerini ve metinden görüntüye aktarma verilerini işleme alarak yapay zeka modeli Stable Diffusion'ı kullandılar. Çalışmayla ilgili makale geçen hafta arXiv ön baskı sunucusunda yayınlandı.
İZLETİLEN GÖRÜNTÜLER DÜŞÜNCE YOLUYLA YENİDEN AKTARILDI
Makalenin ilgili web sitesindeki gösterimleri, deneklere gösterilen videolar ile beyin aktivitelerine dayalı olarak oluşturulan yapay zeka tarafından üretilen videolar arasında bir paralellik gösteriyor. İki video arasındaki farklar çok az ve çoğunlukla benzer konular ve renk paletleri içerdiği belirtildi.
MinD-Video, araştırmacılar tarafından "görüntü ve video beyin kod çözme arasındaki boşluğu kapatmak için tasarlanmış iki modüllü bir boru hattı" olarak tanımlanıyor.
Sistemi eğitmek için araştırmacılar, videoları ve bunları izleyen test deneklerinin fMRI beyin okumalarını içeren halka açık bir veri kümesi kullandılar. "İki modüllü boru hattı" eğitimli bir fMRI kodlayıcı ve yaygın olarak kullanılan bir görüntü oluşturma yapay zeka modeli olan Stable Diffusion'ın ince ayarlı bir versiyonundan oluşuyordu.
YÜKSEK KALİTEDE AKTARIM
Araştırmacılar tarafından yayınlanan videolarda, bir tarladaki atların orijinal videosu ve ardından atların daha canlı renklere sahip bir versiyonunun yeniden yapılandırılmış videosu gösteriliyor. Bir başka videoda ise bir araba ormanlık bir alanda ilerliyor ve yeniden yapılandırılan videoda virajlı bir yolda ilerleyen bir kişinin birinci şahıs bakış açısı gösteriliyor.
Araştırmacılar, yeniden yapılandırılan videoların hareketler ve sahne dinamikleri açısından "yüksek kaliteli" olduğunu tespit etti. Ayrıca, videoların yüzde 85'lik bir doğruluğa sahip olduğunu ve bunun önceki yaklaşımlara göre bir gelişme olduğunu bildirdiler.
Yazarlar, "Bu alanın, nörobilimden beyin-bilgisayar arayüzlerine kadar büyük modeller geliştikçe umut verici uygulamalara sahip olduğuna inanıyoruz" diye yazdı.
ÜÇ ÖNEMLİ BULGU
Özellikle, bu sonuçların üç ana bulguyu aydınlattığını söylediler. Bunlardan biri görsel korteksin baskınlığıdır ve beynin bu bölümünün görsel algının önemli bir bileşeni olduğunu ortaya koymaktadır.
Diğeri ise fMRI kodlayıcısının yapısal bilgilerle başlayan ve daha sonra daha derin katmanlarda daha soyut ve görsel özelliklere kayan hiyerarşik bir şekilde çalışmasıdır.
Son olarak, yazarlar fMRI kodlayıcının her öğrenme aşamasında geliştiğini ve eğitimine devam ettikçe daha incelikli bilgileri alma yeteneğini gösterdiğini bulmuşlardır.
ZİHİN OKUMADA DÖNÜM NOKTASI
Bu çalışmanın, esasen yapay zekâ kullanarak insanların zihinlerini okuma alanında bir başka ilerlemeyi temsil ettiği belirtildi. Daha önce Osaka Üniversitesi'ndeki araştırmacılar, fMRI verilerini ve Kararlı Difüzyonu da kullanan bir teknikle beyin aktivitesinden yüksek çözünürlüklü görüntüleri yeniden yapılandırabildiklerini keşfetmişlerdi.
Bu yeni araştırmadaki artırılmış Kararlı Difüzyon modeli, görselleştirmenin daha doğru olmasını sağlıyor. "Kararlı difüzyon modelimizin GAN'lar gibi diğer üretici modellere göre en önemli avantajlarından biri, daha yüksek kaliteli videolar üretme kabiliyetinde yatıyor.
Araştırmacılar, fMRI kodlayıcı tarafından öğrenilen temsillerden yararlanıyor ve yalnızca üstün kalitede değil, aynı zamanda orijinal sinirsel faaliyetlerle daha iyi uyum sağlayan videolar üretmek için benzersiz difüzyon sürecini kullanıyor" diye yazdı.
Kaynak: Haber7
