Omul electronic

[roadrunner]

Cavit,

 

ai insirat o gramada de termeni care nu prea au legatura unii cu altii. La implentare hardware nu sumele sunt greu de implementat ci inmultirile, tu le numesti ponderi dar de fapt e o multiplicare a datei de intrare cu un coeficient cat si functiile de activare (sigmoid de exemplu) . Sumatoarele digitale nu sunt greu de implementat (de fapt sunt chiar simplu) in schimb multipicatorii (care mai trebuie sa fie si cu semn) nu sunt asa ieftini din punct al resurselor. Stocarea coeficientilor (ponderilor) se face cu ajutorul memoriei distribuite nu in arii de memorie (la fel ca in creier). Functiea de activare sigmoid e dificil de implementat pentru ca se bazeaza e logaritm care e greu de implementat eficient in hrdware, in loc de functia bazata pe logaritm se folosesc bucati de functii liniare grupate pe intervale discrete (piece wise linear)

Cu tehnmologie normala in ziua de azi si anume  FPGA (circuite logice programabile) se realizeaza fara efort neuroni de 24 - 32 biti precizie cu multiplicatori (multiplexati) care ruleaza la 500MHz nemultiplexat. Stocare se face destul de simplu in memorie distribuita (alta proprietate usor de folosit la FPGA care are registrii uniform distribuiti)

Lucrurile devin mai complicate cand in procesul de invatare ai nevoie de propagare inversa dar sunt si acolo o gramada de avantaje arhitecturale al FPGA care pot fi exploatate.

Personal am avantajul ca am folosit FPGA-uri de 20 de ani incoace si cunosc foarte bine structura internal a lor la nivel de constructie pe siliciu. (Am lucrat 7 ani in cea mai mare firma producatoare de FPGA care le-a si inventat in 1994 si am si un patent inregistrat in USA in domeniu FPGA-urilor) asta e motivul pentru care am infiintat o firma aici in Irlanda in domeniul retelelor neuronale in hardware. Din pacate nu putem vorbii prea mult in spatiul public despre asta. Sunt cateva lucrari stiintifice bune scrise de romani (Universitatea Babes Bolyay din Cluj) despre retele neuronale in hardware unde se vorbeste si de efectele preciziei la implementarile digitale (cu 8 biti nu faci nici o treaba ai nevoie de la 16 biti in sus si e demonstrat practic, deci ce afirmi mai sus ca precizia pe 8 biti ar fi suficenta nu e adevarat si e demonstrat practic)

 

RR

Editat Aprilie 10, 2016 de roadrunner

[cavit]

 Mai la inceputuri se credea ca ajung si 8 biti, asta cu retele neuronale nu e pe toate gardurile,  in acest caz care varianta crezi ca e mai buna un numar mai mare de biti sau un numar mai mare de neuroni ambele cresc numarul de grade de libertate dar umfla si hardwarele.

 

 Reteaua neuronala care o prezinti aici pare avea un avantaj fata de creier privitor la viteza de invatare si flexibilitate sinapsele necesita timp lung sa se formeze.

 

 Fiindca lucrezi cu acest hardware am si eu o nelamurire cum creste marimea hardului cu numarul de neuroni :liniar, exponential sau logaritmic, eu banuiesc ca ar creste exponential deoarece numarul de grade de libertate creste expponential cu numarul de neuroni dar poate ma insel.

 

 Nu am pomenit nimic derele neuronale electronice analogice, nici nu stiu sa se fi incercat vreodata asa ceva.

 

 Probabil ca asta nu face obiectul tau de activitate dar sunt curios de o metoda de a afla cat este de mare creierul in realitate, numarul brut de neuroni nu spune singur mare lucru.

 

 Numarul brut de neuroni e simplu de aflat cu un simplu spectrofotometru se extrage ADN ul din tot creierul si se masoara cantitatea, fiecare celula are o cantitate fixa astfel se poate determina destul de exact numarul de celule.

 

 Greu de aflat este numarul total al conexiunilor.

 

Oare e posibil cu tehnica de calcul de azi sa fie stocate toate acele sectiuni micronice printr-un creier si sa fie reconstruit 3D la nivel de neuron pentru a se evidentia toate conexiunile.

 doar o astfel de reconstruire ar putea determina cat de mare este creierul in realitate.

 

 La om se extimeaza a fi in jur de 86x10 la puterea 9 cu un numar de 10 la puterea 15 sinapse dar la elefant sunt 267x10 la puterea 9, care creier e mai mare in fapt?

 

 numarul de sinapse poate fi si el estimat prin masurarea cantitatii unor proteine receptori specifici care se afla intr-o cantitate fixa la nivelul unei sinapse.

[gsabac]

?n acest domeniu nu putem fi dec?t observatori ?i chibi?ari.

 

Se lucreaz? puternic la ?narmarea inteligent?.

 

Oamenii de ?tiin?? de la Universitatea din Zurich ?i de la ETH Zurich, al?turi de colegi din SUA ?i Germania,

au conceput sisteme electronice comparabile cu un creier uman at?t ?n dimensiuni, c?t ?i ?n vitez? ?i ?n consumul de energie,

a anun?at Universitatea ?ntr-un comunicat de pres?.

Precum creierul, aceste cipuri supranumite ?neuromorfice? sunt capabile de procesarea informa?iei ?i de generarea

unei reac?ii ?n timp real.

Folosind cipurile neuromorfice ca neuroni artificiali, cercet?torii au construit re?ele care pot efectua sarcini ce necesit?

memorie pe termen scurt ?i abilit??i decizionale ?i analitice. Vezi articolul:

http://www.descopera.ro/dnews/11149270-microcipurile-care-imita-creierul-uman-cea-mai-noua-inventie-a-cercetatorilor-elvetieni

 

O hart? a conexiunilor creierului uman se prefigureaz? dup? cum arat? pozele de mai jos.

http://www.gandul.info/magazin/galerie-foto-harta-3d-a-creierului-uman-creata-de-savantii-americani-9705132

 

Nu m-am ab?inut ?i am postat toate pozele pentru a vedea m?re?ia uman?. Pozele sunt reale.

 

 

 

 

 

 

 

 

 

 

 

Vai ce de?tep?i suntem. Vedem ?i admir?m ce a f?cut natura.

 

@gsabac

[roadrunner]

sunt doua felri derele neuronale hardware unele analogice care sumeaza ponderile analogic asa cum fac cele biologice si altele numerice in care starile sunt reprezentate pe o magistrala fuzzy logic digital air sumarea se face numeric.

 S-a constat ca 8 bit sunt suficienti pentru cao rtea neurala digitala sa performeze cam la fel cu una analogica.

 

 

probabil ca incurci termenii, ca sa insumezi ceva analogic ai nevoie de amplificatoare operationale, ca sa insumezi digital (adica numeric) ai nevoie de sumatoare digitale (realizate cu porti logice)

 

numarul de multiplicatoare digitale si de registrii (flip flops) limiteaza numarul de neuroni (nemultiplexati) intr-o structura pe FPGA, avantajul masiv al implementarii pe FPGA vine de la faptul ca neuronii (artificiali) pot fi cuplati si lateral (in mod dinamic) folosind resursele de rutare de pe FPGA ceea ce poate emula plasticitatea retelor biologice.

Un alt mare avantaj in favoarea FPGA e ca procesarea e paralela (deci daca ai 2000 de multiplicari de facut si ai 2000 de multiplicatoare pe cip operatia se se executa pe un tact la 500Mhz, deci in 2ns) si datele se pot prezenta in paralel (de exemplu poti prexenta toti pixelii dintr-o imagine intr-un singur tact daca sunt disponibili)

 

 

Numarul necesari de neuroni dint-o retea e dat de aplicatie nu de modele biologice (la fel cum in toate manualelel de inteligenta artificiala e prezentat cel mai simplu model de retea cu doua straturi a cate 2 neuroni minim necesari pentru a invata functia XOR logica)

Hartile si pozele alea colorate sum interesante pentru biologi si anatomisti mai putin pentu ingineri ca mine.

Termenul de grade de libertate se foloseste in mecanica eu nu l-am auzit/citit niciodata in literatura de specialitate legate de ANN deci nu stiu exact la ce te referi.

 

deci nu exista raspuns la cum creste numarul nuronilor, care e determinat de functia care vrei s-o obtii, la forma in care sunt prezentati stimulii (datele de intrare) la modul cum exploatezi resursele de stocare a coeficientilor (daca multiplexezi in timp multiplicatoarele trebuie sa rotesti si coeficientii in memorie) deci nu e un model simplu pentru estimare. (daca ai prea multe straturi reteaua nu invata si oscileaza prinsa in minime locale, daca are prea putini nu invata, sunt o gramada de parametrii nu depinde doar de numarul de neuroni)

 

RR

Editat Aprilie 10, 2016 de roadrunner

[cavit]

 Hartile nu le-am pus eu ca stiu ca lea sunt doar vazute de pe luna imaginea detailata e posibil sa nu incapa in toata capacitatea de stocare  pe care o avem azi in tot internetul.

 Pe de alta parte desi putem face sectiuni micronice printr-un creier congelat nu cred avem deocamdata puterea de calcul si stocare sa reconstruim 3d la nivel de sinapsa.

 

 Ideeea este ca se poate determina in mod brut numarul de neuroni si de sinapse dintr-un sistem nervos biologic prin masurarea concentratlei unor componente specifice care se gasesc in cantitate fixa per unitate adica neuron sau sinapsa si nu sunt intilnite in alte structuri.

 Determinarile arata ca numarul total de neuroni din sistemul nervos respectiv cortexul cerebral are o variabilitate redusa in cadrul unei specii primele doua cele mai semnificative cifre ramin neschimbate.

 

 Desi nu se cunoaste in profunzime structura se crede ca creierele biologice opereaza analogic neuronii sunt sumatoare analogice si ponderile sunt definite prin cablare si prin controlul neurotransmitatorilor.

 

 Se cunosate ca la nivelul creierului uman neocortexul are 6 straturi si palocortexul numai 2 deci nu sunt asa de multe.faptul ca ca @roadrunner lucreza in domeniu stie ce vorbeste si asta ma face sa mi dau seama cat de putine stim despre retelele neuronale biologice.

 

 Fiind verificat experimental ca precizia neuronilor trebuie sa fie de cel putin 16 bit adica 65253 de stari distincte dar se folsesc curent neuroni pe 20 bit adica 1000000 de stari disticte, analogic nu se poate obtine in ruptul capului asta mai ales cu sisteme biologice care sunt susceptibile la drift si la zgomot.

 

 singura modalitate de a obtine biologic asta este impartirea pe domenii ca la un aparat de masura analogic, daca are trei domenii 100 mv 10v si 1kv se poate obtine o resolutie de 20 bit de la 1 mv la 1kv.

 

 Este foarte probabil ca si creierul sa functioneze in felul asta: sa aiba sinapse cu trei neurotransmitatori diferiti care sa aibe ranguri de semnificatie diferita astfel se poate obtine precizia necesara.

 

 Asta merita verificat caci e foarte probabil sa fie asa.

 

 Cat despre retele neuronale electronice au fost construite numai numerice, nu stiu cata lume dezvolta asa ceva pe FPGA dar e foarte posibil sa fi nimerit intr-un cerc select cu topicul asta.

 

 Totusi limitarea generala la siliciu este faptul ca structura activa e dispusa intr-un singur strat epitaxial si are o dispunere bidimensionala, daca ar putea fi crescute mii de straturi suprapuse treaba s-ar schimba dar tot nu stiu cum ar pute fi creata o structura trei 3d intre aceste straturi.

 

 Nitrura de galiu promite mai mult din acest punct de vedere, poate fi organizata mai usor in structuri 3d si e mai rapida si consuma mai putin.

 

 Data fiind aceasta dispunere 2 d a partii active la dispozitivele electronice numarul de neuroni care poate fi creat este totusi limitatat chiar daca am putea face treaba cu 100 000 neuroni echivalentul a 10 la puterea7 neuroni biologici tot e foarte putin fata de ce inseamna un creier de om chiar si cu cat de putin il cunoastem sunt totusi aproape 10 la puterea10 neuroni mai exact 86x10 la puterea 9 din care numai in neocortex sunt 23x10la puterea 9.

 

 Retelele astea se pot compara cu un creier de soarece cel mult.

[gsabac]

Omul electronic actual a intrat intr-o noua faza, pe care nu o cunosteam.

Experimenteaza prin diverse gadgeturi stimularea neurologica.

 

La ?nceputul acestei luni, Gy?rgy Buzs?ki de la Universitatea New York (NYU)

a ar?tat un diapozitiv care a st?rnit controverse la Grand Ballroom din New York

Midtown Hilton ?n cadrul reuniunii anuale a Societ??ii Neuro?tiin?ifice Cognitive.

Informa?iile prezentate de Buzs?ki includeau imagini dezgust?toare ale unui

cadavru uman, cu mai mult de 200 de electrozi introdu?i ?n creier, dar ?i rezultatul

experimentului s?u - ce a detectat el prin acei electrozi sau ceea ce

nu au reu?it s? detecteze.

Buzs?ki ?i colegul s?u, Antal Ber?nyi, de la Universitatea din Szeged (Ungaria)

au mimat cea mai popular? form? de stimulare a creierului.

Ei au aplicat curent electric alternativ la exteriorul craniului cadavrului,

iar electrozii din interiorul craniului au ?nregistrat foate pu?in.

Aproape toate fluxurile de curent au intrat ?n creier,dar ?ntr-o cantitate redus?.

??ntr-un studiu mai am?nun?it, am descoperit c? p?n? la 90% din curent

a fost redirec?ionat de c?tre pielea care acoper? craniul.

Pielea a ac?ionat ca un "?unt" ?n acest caz?, a declarat Buzs?ki.

 

Studiul neobi?nuit a sporit ?ndoielile multor participan?i la conferin??

cu privire la mecanismul ?i eficacitatea transcranian? ?n ce prive?te

stimularea direct? curent? (tDCS). Aceast? metod? reprezint? un

tratament experimental, neinvaziv, care folose?te electrozii cu scopul

de a oferi curen?i slabi ?n fruntea unei persoane.

 

 

.

Studiul neobi?nuit a sporit ?ndoielile multor participan?i la conferin??

cu privire la mecanismul ?i eficacitatea transcranian? ?n ce prive?te

stimularea direct? curent? (tDCS). Aceast? metod? reprezint? un

tratament experimental, neinvaziv, care folose?te electrozii cu scopul

de a oferi curen?i slabi ?n fruntea unei persoane.

Aceast? metod? e aferent? metodei TAC, care utilizeaz? curentul alternativ

Se cunosc pu?ine lucruri despre modul ?n care aceste tehnici ar putea influen?a creierul. Cu toate acestea, numeroase lucr?ri ?tiin?ifice au sus?inut c? aceste tehnici pot stimula starea de spirit, pot atenua durerea cronic? ?i chiar pot ?mbun?ti?i capacit??ile oamenilor la matematic?, fiindc? afecteaz?, ?n mod direct, activitatea neuronal?. Aceste afirma?ii au dus la dezvoltarea unui nou val de gadget-uri, care promit s? fac? oamenii mai inteligen?i ?i mai ferici?i.

?Noile date, ob?inute ?n urma studiului cadavrului arat? c? aceste metode au efecte dramatice asupra neuronilor?, afirm? Buzs?ki.

Cele mai multe dispozitive tDCS ?i TACS livrez? aproximativ 1-2 miliamperi de curent. ?ntre timp, realiz?nd m?sur?tori ale electrozilor din interiorul mai multor cadavre, Buzsaki a calculat c? cel pu?in 4 miliamperi (ceea ce e echivalent cu desc?rcarea unui pistol cu ??electro?ocuri) ar fi necesar pentru a stimula ativitatea neuronilor care tr?iesc ?n interiorul craniului.

Buzs?ki a men?ionat c? dup? ce a ?ncercat 5 miliamperi pe propriul scalp s-a sim?it ame?it. "Era alarmant", spune el, avertiz?nd oamenii s? nu ?ncerce o astfel de stimulare intens? la domiciliu.

?Cercetarea realizat? pe cadavre ar trebui s? enerveze mul?imea care favorizeaz? tDCS ?i TACS", afirm? David Poeppel, neurolog ?i psiholog de la Universitatea din New York.

Cercet?torul ?n domeniul Neuro?tiin?ei, Vince Clark, de la Universitatea din New Mexico (Albuquerque) a constatat, de exemplu, c? aplicarea a 2 miliamperi de curent pe scalpul unei persoane timp de doar 30 de minute poate dubla viteza cu care persoana va ?nva?? un joc sau ?n care gamerii ar detecta o "amenin?are ascuns?", prcum o bomb? sau un lunetist.

Marom Bikson, un inginer biomedicale de la City College din New York, care utilizeaz? modele computerizate ?i creierele de ?obolan pentru a studia mecanismele de tDCS ?i TACS, spune c? mul?i din domeniu deja au acceptat c? 1 sau 2 miliamperi nu declan?eaz? ?n mod direct sporirea activit??ii.

?Folosirea cadavrelor pentru a testa aceste metode este o "alegere complicat?", deoarece ?esutul mort conduce electricitatea ?n mod diferit de ?esutul viu?, a explicat Marom Bikson.

 

Ce sunt aceste dispositive tDCS ?i TACS mentionate in studiu ?

Cum influenteaza activitatea cerebrala ?

Pentru ce or fi bune ?

Am vazut preturi de la 100$ la 500$.

 

Expunerea completa este luata de la adresa:

 

http://www.descopera.ro/stiinta/15268890-studiul-unor-cercetatori-unguri-pe-un-cadavru-arata-ce-efecte-dramatice-au-asupra-creierului-o-serie-de-dispozitive-considerate-benefice-foto

Editat Aprilie 25, 2016 de gsabac

[cavit]

 Astea sunt tehnici de stimulare care pot ajuta in anumite suferite neurologice sau psihiatrice, modifica patternul activitatii cerebrale, dar nu prea au legatura cu repreducerea unui creier pe suport electronic.

 

 Abordarea mea intiala este transferul gradual al unui om de pe creierul biologic pe unul electronic , printr-o interfata neurono electronica.

 

 limitarile sunt sectiunea mica a unor astfel de interfete, ar fi necesare cel putin 10 la puterea 6 conexiuni, dupa aia in partea electronica poate fi multiplexat si facut si Wireless.

 

Marimea redusa a retelelor electronice.

 

 Practic la momentul actual nu dispunem de retele neuronale suficient de mari sa suporte complexitatea unui om.

 

 Creierul se degradeaza in timp si la un moment dat nu mai poate sutine complexitatea psihicului uman, nu poate fi reparat se incearca tehnici de regenerare cu celule stem, dar au avut rezultate neconcludente.

 

 Probabil ca in incercarea de a realiza omul electronic ar trebui studiate astfel de creiere degradate si vazut care este structura minimala care inca poate sustine ceea ce numim om.

Editat Aprilie 29, 2016 de cavit

[gsabac]

 Abordarea mea intiala este transferul gradual al unui om de pe creierul biologic pe unul electronic , printr-o interfata neurono electronica.

 

 limitarile sunt sectiunea mica a unor astfel de interfete, ar fi necesare cel putin 10 la puterea 6 conexiuni, dupa aia in partea electronica poate fi multiplexat si facut si Wireless.

 

Marimea redusa a retelelor electronice.

 

 

Conectarea treptata la creierul uman se face pornind de la interfatare mai simpla care se cerceteaza in zilele noastre.

Povesti SF deocamdata, nu este vorba de creier uman nici macar de vietuitoare evaluate, dar se fac cercetari pe creiere de vietuitoare simple, care au citeva sute de neuroni, in vivo sau in vitro.

 

Pornind de la postarea #21  si cei 200 de electrozi introdusi in creier se poate extrapola in felul urmator:

- in practica fiecare electrod ar contine sute sau mii de sonde diferentiale (realizate in tehnologii de citiva microni),

   fiecare cu transmisii seriale spre exterior;

- prin metode de cercetare actuale s-a dovedit afinitatea Axon-Dendrite-Sinapse de a se auto-conecta la electrozi de aur,

    prin stimularea cu semnale electrice;

- se aleg anumite zone de culegere a semnalelor, dintre care unele pot fi noduri de comunicatie;

In acest mod s-ar interconecta sute de mii sau chiar milioane de sinapse la un sistem de calcul, unele cu rol regional sau chiar global.

 

In articolul de mai jos sunt prezentate realizari de interconectare neuronala pe electrozi de aur porosi.

https://www.llnl.gov/news/implantable-electrode-coating-good-gold

 

 

Cercetari cu electrozi de interconectare neuronala de 100um.

http://www.ncbi.nlm.nih.gov/pmc/articles/PMC3707475/

 

Structuri neuronle crescute pe microelectrozi la distante de 180um si rezultatele masuratorilor electrice

 

 

 

Nivelul semnalelor este extrem de mic si este de intensitati variabile. In descriere se spune ca s-au facut milioane de acumulari

  de date si sunt prezentate statistici de evolutie a semnalelor.

 

Aplicatiile imediate sunt in domeniul medicinei, de uz general sau chiar militare. De exemplu o musca care recunoaste adversarul

 il poate anihila cu toxine neurologice.

 

Mai studiem !

 

@gsabac

Editat Aprilie 30, 2016 de gsabac

[cavit]

 Sunt doua conditii aici ca transferul sa fie posibil interfata trebuie sa fie suficient de mare din considerente entropice, ea nu trebuie sa constituie un bottle neck si dincolo de ea ea sa fie o structura de tip retea neuronala.

 

 Un exemplu natural in acest sens este al omului cu doua capete doua creiere conectate la aceesi maduva a spinarii ele comunica intre ele prin partea comuna a sistemului nervos dar sectiunea interfetei este relativ mica cele doua creiere gazduiesc personalitati disticte in loc sa fie o singura persoana.

 

 Dat fiind faptul ca aceste malformatii sunt extrem de rare nu se pot face studii care sa arate daca instruirea diferita, poate duce la formarea unui singur om cu doua creiere sau a doi indivizi distincti.