Naukowcy używają sztucznej inteligencji do przekształcania myśli w obrazy, dokładność 80%.

Sztuczna inteligencja może tworzyć obrazy na podstawie podpowiedzi tekstowych, ale naukowcy ujawnili galerię obrazów tworzonych przez tę technologię na podstawie odczytywania aktywności mózgu.

Nowy algorytm oparty na sztucznej inteligencji zrekonstruował około 1,000 obrazów, w tym pluszowego misia i samolotu, z tych skanów mózgu z 80-procentową dokładnością.

Badacze z Uniwersytetu w Osace wykorzystali popularny model stabilnej dyfuzji, zawarte w DALL-E 2 OpenAI, który może tworzyć dowolne obrazy na podstawie wprowadzonych danych tekstowych.

Zespół pokazał uczestnikom poszczególne zestawy obrazów i zebrał skany fMRI (funkcjonalny rezonans magnetyczny), które AI następnie rozszyfrowane.

Pokazujemy, że nasza metoda może zrekonstruować obrazy o wysokiej rozdzielczości z wysoką wiernością semantyczną na podstawie aktywności ludzkiego mózgu" - podzielił się zespół w badaniu opublikowanym w czasopiśmie bioRxiv.

„W przeciwieństwie do poprzednich badań nad rekonstrukcją obrazu, nasza metoda nie wymaga szkolenia ani dostrajania złożonych modeli głębokiego uczenia się”.

Według Yu Takagi, który kierował badaniami, algorytm pobiera informacje z części mózgu zaangażowanych w percepcję obrazu, takich jak płaty potyliczne i skroniowe.

Zespół wykorzystał fMRI, ponieważ wychwytuje zmiany przepływu krwi w aktywnych obszarach mózgu, nauka.org raporty.

FMRI może wykrywać cząsteczki tlenu, więc skanery mogą zobaczyć, gdzie w mózgu nasze neurony — komórki nerwowe mózgu — pracują najciężej (i pobierają najwięcej tlenu), gdy mamy myśli lub emocje.

W tym badaniu wzięło udział łącznie czterech uczestników, z których każdy oglądał zestaw 10,000 XNUMX obrazów.

Sztuczna inteligencja zaczyna generować obrazy jako szum podobny do szumu telewizyjnego, który jest następnie zastępowany rozpoznawalnymi cechami, które algorytm widzi w działaniu, odnosząc się do obrazów, na których został przeszkolony, i znajdując dopasowanie.

"Pokazujemy, że nasze proste ramy mogą zrekonstruować obrazy o wysokiej rozdzielczości (512 x 512) z aktywności mózgu z wysoką wiernością semantyczną" - czytamy w artykule.

„Ilościowo interpretujemy każdy składnik LDM z perspektywy neuronauki, mapując określone składniki na różne obszary mózgu.

Przedstawiamy obiektywną interpretację tego, w jaki sposób proces konwersji tekstu na obraz zaimplementowany przez LDM [model ukrytej dyfuzji] uwzględnia informacje semantyczne wyrażone w tekście warunkowym przy jednoczesnym zachowaniu wyglądu oryginalnego obrazu”.

Przeczytaj całą historię tutaj…