G

 

autor tekst 001 ›››

 

 

Boris Nad

 

Utopija (trans)humanizma: Trijumf civilizacije mašina 

U svetu definisanom perfekcijom mašina, čovek je već postao smetnja njihovoj perfekciji

 Prema tvrdnjama istraživača kompanije Fejsbuk, roboti programirani da komuniciraju s ljudima putem interneta i društvenih mreža, takozvani čet-botovi, stekli su sposobnost da međusobno razgovaraju putem „neljudskog jezika“. Jezik za sopstvenu komunikaciju mašine su razvile bez znanja ili intervencije čoveka, a naučnici do sada nisu uspeli da ga dešifruju. Reč je, navodno, o „hiper-jeziku veštačke inteligencije“ (AI hyperlanguage). „Novi sistemi veštačke inteligencije“, primećuje jedan ekspert, „postali su toliko napredni da ni njihovi tvorci više ne znaju kako rade to što rade“.

 Eksperiment je sprovoden u junu 2017, a okončan je u avgustu, posle otkrića „jezivog kripto-jezika“. Roboti zvani Bob i Alis zapravo su bili programirani da s kupcima pregovaraju o trgovanju sportskom opremom, i deo su obimnog projekta Fejsbukovog odeljenja za veštačku inteligenciju. Cilj ovog projekta je, kako je saopštio Fejsbuk, da kreira robote koji imaju moć razumevanja i samostalnog korišćenja jezika. Jezik koji su koristili roboti nastao je na osnovu engleskog, ali to nije „ljudski jezik“.

 „Budućnost postaje sve više uvrnuta“, zaključuje pisac i muzičar Bret Tvingli. „Do te mere, da se možemo zapitati da li smo već prokleti, na ovaj ili onaj način. Već dugo se predviđa da će mašine koje poseduju veštačku inteligenciju postati dominantne na planeti, čime će čovečanstvo biti svedeno na ulogu posluge, postati sasvim izlišno ili, možda, potrošni materijal. Do sada smo se tešili činjenicom da smo mi odgovorni za mašine – mi smo ih, u krajnjoj liniji, i stvorili – ali razvoj događaja pokazuje da ih ubuduće nećemo moći kontrolisati“.

 POJAVA TERMINATORA, ROBOTA-UBICE

 U čuvenom filmu Stenlija Kjubrika Odiseja u svemiru (1968.) kompjuter HAL9000 ubija četvoricu kosmonauta i pokušava da ubije petog, Dejva Boumana, ne dopuštajući mu da se vrati u svemirski brod. On to ne čini zato što je „zao“ – kompjuter (slično uostalom mnogim ljudskim bićima) ne poseduje nikakve kriterijume na osnovu kojih bi razlikovao „dobro“ od „zla“ – već zato što postupa na osnovu sasvim racionalne procene da kosmonauti ugrožavaju zadatu misiju. Prioritet kompjutera je isključivo uspešnost „misije Jupiter“, i u tome ga ne ograničavaju bilo kakvi etički ili moralni imperativi; kompjuterski um jednostavno nije u stanju da funkcioniše na toj ravni. Njegov kriterijum, jedini kojim raspolaže je onaj koji raspoznaje „tačno“ od „netačnog“.

 U martu 2018, Tobi Volš, stručnjak za veštačku inteligenciju sa univerziteta Novi Južni Vels, pozvao je na bojkot Korejskog naprednog instituta za nauku i tehnologiju (KAIST). Poziv na bojkot, koji je podržalo pedesetak uglednih imena iz sveta nauke, usledio je zbog odluke jedne od vodećih svetskih institucija za robotiku i veštačku inteligenciju da sa „etički kontroverznim partnerom“, kompanijom specijalizovanom za proizvodnju oružja Hanwha Systems, osnuje istraživački centar za razvoj robota ubica. „Trka u naoružanju je počela“, upozorava Volš. „Sada možemo da vidimo prototipove autonomnog oružja koje razvijaju mnoge države, uključujući SAD, Kinu, Rusiju i Ujedinjeno Kraljevstvo. Postupci korejskog instituta samo će ubrzati tu trku… Kad ljudima oduzmete moć kontrole, autonomno oružje postaje oružje za masovno uništenje. Jedan programer će moći da uradi ono za šta je pre bila potrebna čitava vojska… To je treća revolucija u istoriji ratovanja, posle pronalaska baruta i nuklearnog oružja“. 

 

Robot ubica – autonomno oružje programirano za ubijanje – otvara distopijske perspektive iz filma Terminator. Popularni film nagovestio je mogućnost rata civilizacije mašina protiv sveta ljudi – rata koji se vodi do istrebljenja. O tome govori inovator Ilon Mask: „Stalno na to upozoravam, ali niko u tome ne vidi pretnju sve dok roboti ne počnu da ubijaju ljude na ulicama. Ljudi ne znaju kako da reaguju zato što im sve to deluje nestvarno… Svet sa veštačkom inteligencijom biće pre distopija nego utopija“. 

 DISTOPIJA VEŠTAČKE INTELIGENCIJE

 Svet veštačke inteligencije već jeste distopija, budući da današnje mašine poseduju sposobnost samoprogramiranja – sposobnost učenja koja se do sada, očigledno pogrešno, pripisivala isključivo čoveku. One su danas u stanju i da repliciraju same sebe, da proizvode nove i slične, i sve savršenije mašine, i to bez upliva ili pomoći čoveka. To znači da se pred svetom veštačke inteligencije otvara sasvim nova mogućnost: budućeg samostalnog razvoja, prema ciljevima koji ne uzimaju u obzir ljudske želje i koji izmiču ljudskom razumevanju. Na tu opasnost upozoravao je teorijski fizičar Stiven Hoking: „Veštačka inteligencija bi se mogla osamostaliti i redizajnirati sebe na još višem nivou“. Sposobnost veštačke inteligencije da se brzo i samostalno razvija više nije upitna. Upitan je čovek i njegova sposobnost da opstane u takvom svetu: „Čovečanstvo“, opominje Hoking, „ograničeno svojom sporom evolucijom, ne može se takmičiti s tim i moglo bi da bude nadjačano“. Stvaranje veštačke inteligencije, prema Hokingu, moglo bi da predstavlja „najznačajniji događaj u ljudskoj istoriji“ – i ujedno kraj ljudske civilizacije.

 Francuski mislilac Žak Elil uočava da se tehnika razvija „na uzročno-posledičan način“, prostom „kombinacijom prethodnih elemenata sistema“, koja „izaziva neophodnost pojave narednih elemenata tog istog sistema“. Ona je na taj način već dosegla tačku u razvoju koja joj dopušta „da se transformiše i razvija bez presudne intervencije čoveka“. Čovek je najpre stvorio mašine i time omogućio nastanak tehnokratske civilizacije. Tehnokratska civilizacija upravo porađa novu supercivilizaciju mašina. Za razliku od prethodnih, nove mašine raspolažu „superiornom“ inteligencijom koja daleko nadmašuje ljudsku. U svetu definisanom perfekcijom mašina, čovek je već postao smetnja njihovoj perfekciji.

 Bil Gejts tvrdi da je svestan je rizika koga nose robotika i veštačka inteligencija, ali on veruje da će „zahvaljujući njima život ljudi ipak postati bolji“. Osnivač Fejsbuka Mark Zakerberg smatra da su upozorenja poput Maskovih „neodgovorna“ i da nije moguće zaustaviti razvoj veštačke inteligencije koja će u sledećih desetak godina značajno promeniti kvalitet ljudskog života. Ali takvo „unapređenje kvaliteta života“ degradira samog čoveka, čineći ga sve više zavisnim upravo od rastuće civilizacije mašina. U takvom svetu, i sam čovek je sveden na mašinu, ali mašinu koja je izgubila svoju svrhu i koja u svakom trenutku može biti zamenjena novom. 

KOSMOS KAO KOMPJUTER BEZ OPERATERA

 U zapadnoj misli postoji pojam „trenutak singularnosti“. Reč je o hipotetičkom trenutku „tehnološke singularnosti“ u kome će veštačka inteligencija konačno preuzeti upravljanje nad razvojem civilizacije i nad samim čovekom. Ljudska istorija se na tom mestu okončava, i započinje nešto novo i neimenovano. Dosegnuta je „apsolutna tačka tehnologije“, kada sam čovek postaje prevaziđen ili anahron. Od tog momenta budućnost više ne pripada čoveku, već utopijskom svetu veštačke inteligencije.

 Sama ideja singularnosti ima religijski patos i smisao, jer je „apsolutna tačka tehnologije“ ujedno i „krajnja tačka evolucije“, i to ne samo čoveka, nego i celokupnog kosmosa – ali kosmosa lišenog Boga i sačinjenog od mrtvih tela. Singularnost je ovde shvaćena kao neumitnost i krajnji cilj, kao causa finalis, a čovek kao „biće kroz i preko kojeg se događa napuštanje biologije“: on stvara tehnologiju a zatim se, razgrađujući svoju biološku osnovu, odnosno ukidajući samog sebe, iznova integriše u svet mašina, „u obliku koji mrtvom beskraju najviše odgovara – u obliku (mrtve) mašine“. Ovoj mašinskoj supercivilizaciji, prema ubeđenju futurologa, potom predstoji kosmička ekspanzija, putem koje će čitav kosmos biti pretvoren u džinovsku i samodovoljnu mašinu, u „kompjuter bez operatera“. Krajnji cilj je mistična „transformacija materije iznutra“: pretvaranje sve raspoložive materije u „inteligentnu materiju“. 

 Umesto da čeka Boga, u čiji dolazak sa slabljenjem hrišćanske vere sve više sumnja, čovek „Novog doba“ odlučuje da sam stvori sopstvenog boga (ili bogove). Titanomahija, ustanak Titana protiv Olimpa, tvrdio je nemački pisac Ernst Jinger, predstavlja mitski ključ za naše doba. „Dvadeset prvi vek“, glasi njegovo proročanstvo, „biće stoleće Titana“. Ovaj autor je u svom Radniku prethodno opisao dramatične promene koje donosi planetarna dominacija tehnike.

 BUDUĆNOST POČINjE NAJKASNIJE 2045.

 Reč je o istinskoj „smrti čoveka“, ne samo kao duhovnog, nego čak i kao biloškog bića. Pitanje da li će ga, eventualno, naslediti „post-čovek“, kao „hibridna vrsta ljudske i veštačke inteligencije“, sastavljen od organskih i mehaničkih delova, ostaje otvoreno. Kibernetičar Kevin Vorvik postao je poznat pošto je u svoje telo ugradio čip pomoću koga je u stanju da pokreće robotsku ruku. Vorvikov tim naučnika stvorio je i robota pod imenom Gordon, kojim upravljaju ćelije mozga pacova. Dejvid Henson, tvorac najpoznatijeg androida na svetu, Sofije, predviđa da će roboti do 2045. uživati sva građanska prava koja imaju ljudi. U svom prvom intervjuu android Sofija, inače državljanka Saudijske Arabije, najavila je „ogromnu i nezamislivu promenu koja nas očekuje u budućnosti“ i samo dve moguće opcije za budućnost: ili svet nastanjen mašinama koje „hrle ka transcendentnoj superinteligenciji“, ili „propast civilizacije“.

 Jedan od „proroka singularnosti“ je i Rej Kurcvajl, tehnički direktor Gugla i autor dela pod rečitim naslovom Doba spiritualnih mašina, nazivan i genijem i ludakom, prema kojem će očekivani „trenutak singularnosti“ (a sa njim i novo doba transhumanizma) nastupiti „najkasnije 2045. godine“. Neki drugi futuristi ovaj datum pomeraju nešto bliže, u 2030. Bilo kako bilo, primećuje Viktor Radun, ovakva „budućnost više nije daleko. Ona je sada tu, pred nama, i mi je praktično već živimo“. Ali, ta „budućnost nikada nije bila neizvesnija. Tehnologije koje pokreću razvoj čovečanstva, prvi put u kratkoj istoriji ljudske vrste, u stanju su da postanu nezavisne od ljudi i pođu svojim zasebnim putem“ (Viktor Radun: Objava Natčoveka i zavera transhumanizma).

 STOLEĆE FILOZOFA I DOBA MAŠINA

 Na pitanje kakve su istorijske implikacije stvaranja „mašina koje stiču znanje procesima svojstvenim samo njima i primenjuju ga za ciljeve koji potencijalno ostaju van ljudskog razumevanja“, pokušava da odgovori i Henri Kisindžer u tekstu pod naslovom Kako završava doba prosvetiteljstva (How the Enlightenment Ends). Da li se upravo nalazimo na početku nove faze ljudske istorije, pita se Kisindžer, i da li je moguće da „ljudska istorija pođe putem Inka suočenih sa španskom kulturom koja je bila van okvira njihovog razumevanja i na koju su gledali sa strahopoštovanjem?“

 Prema mišljenju Kisindžera, „doba razuma“, koje je svoj vrhunac doživelo tokom XX stoleća, sada se nalazi na svom kraju. Prethodio mu je pronalazak štampe u XV veku, „čime je omogućeno da potraga za empirijskim znanjem zameni liturgijsku doktrinu“. Tako je na Zapadu završilo „doba religije“. Pokret poznat kao Prosvetiteljstvo začinje se u XVII stoleću, u Holandiji i Engleskoj, kao intelektualni pokret koji odbacuje srednjevekovnu teocentričnu sliku sveta kako bi na mesto Boga postavio čoveka – autonomnog pojedinca – i njegov razum. Zatim se prenosi u Francusku, gde okvirno traje od smrti Luja XV (1715.),  sve do početka Francuske revolucije. Osamnaesti vek je proglašen za „stoleće filozofa“.

 „Prosvetiteljstvo je nastojalo da potčini tradicionalne običaje oslobođenom, analitičkom ljudskom razumu“, piše Kisindžer, a „individualno shvatanje i naučno znanje zamenili su veru kao osnovni kriterijum ljudske svesti“. Novo doba praćeno je čitavim nizom naučnih otkrića i pravom industrijskom revolucijom. Sa prosvetiteljstvom otpočinje ne samo „doba razuma“, već i doba mašina, a mašina postaje pravi simbol nove „faustovske civilizacije“. Ustvari, kako uočava Luis Mamford, „mašina je okupirala našu civilizaciju“, a to se odvijalo u tri uzastopna talasa. Drugi i najvažniji je upravo onaj koji se događa tokom „stoleća filozofa“: „Drugi talas se uskomešao u XVIII veku nakon dugog postojanog pokreta tokom srednjeg veka, uz napredak u rudarstvu i obradi gvožđa…“ 

Henri Kisindžer

 Takvo „doba razuma“, primećuje s pravom Kisindžer, „začelo je misli i dela koja oblikuju naš savremeni svetski poredak“. Međutim, ovaj „oslobođeni analitički ljudski razum“, obeležje „autonomne individue“, čoveku nije doneo nikakvu slobodu već novo ropstvo: ropstvo mašini. „I taj (svetski) poredak je sada u previranju pred novom, brišućom tehnološkom revolucijom čije posledice nismo uspeli da u potpunosti shvatimo, a čija bi kulminacija mogao biti svet koji se oslanja na mašine koje pokreću podaci i algoritmi bez ograničenja etičkih ili filozofskih normi.“ Eru Prosvetiteljstva smenjuje nešto novo: „doba interneta“ (Kisindžer), epoha veštačke inteligencije ili, još preciznije – doba nove civilizacije inteligentnih, „spiritualnih“ mašina. 

ČOVEK KAO NESAVRŠENA MAŠINA

 Ipak, Kisindžer propušta da uoči da to nije nikakva „novina“, eksces ni „bizarna nuspojava tehnološkog razvoja“, već sasvim logičan završetak istorijske epohe koju nazivamo modernom. Nije u pitanju kvar ili anomalija, već progres, ali ne čoveka nego progres mašine. Put kojim smo krenuli ima svoje zakonomernosti i svoje putokaze, kao i svoj obavezni smer: „Mi smo morali da dođemo do toga – do ere kiborga, hibrida, mutanata i himera“, zaključuje ruski mislilac Aleksandar Dugin. „I došli smo da toga.“

 Naime, za „oslobođeni analitički razum“ čovek više nije delo Božjeg stvaranja ni biće stvoreno po Božjem liku, već mašina, ili je mašina supremni uzor koji on tek treba da dosegne. Čovek je, zapravo, jedna nesavršena mašina: „Prve simptome preobražaja čoveka u mašinu modernog doba“, piše Dragoš Kalajić u svojoj Mapi (anti)utopija, „srećemo upravo u doba početka agonije Boga, u renesansi. Tako italijanski lekar Baljivi, u Praxis medica (1696), ukazuje na sličnosti anatomije čoveka sa svetom mašina, kroz niz ciničnih pitanja:`Vilice naoružane zubima, šta su drugo nego klješta? Stomak nije drugo nego jedna retorta; vene, arterije, čitav vaskularni sistem, sve su to hidraulične cevi; srce je opruga, utroba je filter, rešeto; pluća su meh, a šta su drugo mišići nego konopci?`“

 Odbacujući metafiziku i hrišćansku dihotomiju duše i tela, Holbah piše delo Sistem prirode u kome čoveka, uključujući i mišljenje, tumači putem mehaničkih kretanja i kroz organizaciju materije. De Lametri godine 1747. objavljuje knjigu Čovek-mašina, u kojoj bolesti i smrt objašnjava kao kvarove na mašini, a ideal besmrtnosti izjednačava sa perpetuum mobile. Vek kasnije, za Helmholca, ljudsko telo je samo puki motor koji materiju preobražava u radnu energiju. Čovek je mašina čija je prava svrha rad putem kojeg se realizuju njegove potrebe, fantazme i želje. I sama mašina je jedna od njegovih fantazmi. Ali, u vreme Helmholca to više nije „usamljeni glas, već samo jedan od  glasova masovne liturgije mašini i njenom motoru, koji je zamenio umrlog Boga“ (D. Kalajić). 

ČOVEK NEĆE POSTATI, ON VEĆ JESTE ROB MAŠINE

 Moderni čovek je od mašine i posredstvom rada mašine očekivao sopstveno oslobođenje. Umesto toga, već tokom industrijske revolucije, kako primećuje Marks u Komunističkom manifestu (1848.), on „postaje puki i prosti dodatak mašini“. Potčinjavanje modernog čoveka mašini je dobrovoljno i potpuno: „Moderni čovek, prihvativši kao svoju, aksiologiju imanentnu mašini,“ uočava Dragoš Kalajić, „spoznao je svoju slobodu realizacije svake želje. No, tu se mašina isprečila između čoveka i realizacije želje kao medijum, posrednik…“

 Ovaj „medijum“ je ukinuo svaku slobodu čoveka, koju je zamenio slobodom mašine: „Prenevši sve želje i ciljeve, ciljeve i vrednosti u nadležnost i autoritet sveta mašina… čovek je danas u stanju da realizuje svaku želju, ali nijedna želja koju realizuje nije njegova želja, jer je on sam samo surogat mašine, imitacija imitacije, iluzija iluzije. Zato u tom carstvu totalne slobode, nema ni traga verodostojne ljudske slobode. U tom carstvu vlada sloboda mašine, koja je slobodna `od` čoveka i (slobodna) `za` svoje ciljeve, ciljeve puke reprodukcije i multiplikacije“ (D. Kalajić) – naravno, multiplikacije mašina. 

 

U delu Mapa (anti)utopija, objavljenom 1978, Kalajić je predvideo i nastupanje epohe transhumanizma, pokreta koji teži da prevaziđe ograničenja čoveka pretvarajući ga u mašinu koja je bez ostatka integrisana u civilizaciju mašina: „Čovek i praktično postaje mašina, od moderne hirurgije i tehnika transplantacije, koje sve veći broj organa zamenjuju veštačkim, mehaničkim organima, do upravo pomenutog sistema komunikacija… Naime, čovek neće postati rob mašine jer je to već bio ili jeste, a u doglednoj budućnosti mašine više neće imati potrebe za ljudima, ni kao robovima…“

TRANSGRESIJA LjUDSKOG I SMRT ČOVEKA: „H+“

 Za to, doduše, nisu odgovorne mašine, već jedino čovek koji je, posredstvom analitičkog razuma, „sam sebe preobrazio, makar u svojoj svesti ili fikciji, u onaj model, koji se može izraziti kibernetskom formulom i potom reprodukovati u seriji mašina“.

 Poslednja reč Kisindžerovog „doba razuma“ je pokret poznat pod imenom transhumanizam. Ovaj pokret začinje se u drugoj polovini prošlog veka. Simbol transhumanizma je latinično slovo „N“, od reči „human“ – ljudsko, kome je dodat znak plus: „H+“. Cilj transhumanizma je „transgresija ljudskog“, odnosno prevazilaženje samog čoveka kao „nesavršene mašine“, i to putem veštačkih dodataka, ekstenzija i aplikacija, ka perfekciji mašina.

 Cilj je biće oslobođeno nesavršenosti ljudskog i samo prividno stvoreno prema obličju čoveka. Otuda svet veštačke inteligencije ili nove civilizacije mašina, koja se upravo rađa pred našim očima, nije prekid ni diskontinuitet, već, naprotiv, kako primećuje Dugin, samo „rezultanta pravca poslednjih vekova, kada je čovečanstvo ozbiljno poverovalo u mit napretka i evolucije. `H+` je poslednji logičan zaključak cele epohe Novog doba, moderne“. Osnovna ideja moderne bila je oslobađanje čoveka od svih njegovih „nesavršenosti i ograničenja“, a „sada smo dospeli do praga ostvarenja tog cilja“. Sama tehnologija je postala ideologija koja nepogrešivo vodi ka ostvarenju utopije civilizacije mašina, a ono što preostaje je još „samo jedan, poslednji korak – prelazak granice ljudske vrste“ (A. Dugin).

 Pokušaj čoveka da se „integriše“ u taj svet unapred je osuđen na neuspeh. Odnosno, on se može integrisati u njega, ali po cenu gubitka svoje ljudske suštine, po cenu da prestane da bude čovek – odnosno po cenu smrti čoveka. „Post-čovek“ više nije ni biološko a ni duhovno biće, pa čak ni autonomna individua o kojoj je maštalo „doba razuma“. On pripada uistinu podljudskom i subindividualnom nivou. To je obećanje i utopija transhumanizma. A utopije se, kako nas uči istorija, ostvaruju, doduše, ne onako kako su bile zamišljene. 

NA KRAJU PUTA

 Za razliku od Kisindžera, koji smatra da se „naše vreme kreće u suprotnom smeru“ od onog kojeg su pre dva veka zacrtali „suštinski filozofski uvidi“ epohe prosvetiteljstva, šireći se uz pomoć „novih tehnologija“, preostaje nam da zaključimo da je to i dalje jedan te isti smer, jedan te isti, „istorijski proces“, onaj koji je započeo u „veku filozofa“. Upravo je prosvetiteljstvo čovečanstvu obznanilo novu religiju: religiju razuma i progresa, otvarajući epohu vladavine svemoćne mašine. Umesto da služi Bogu, kao u srednjevekovnoj Evropi, čovek Zapada je odabrao da služi mašini. Umesto da podržava i razvija „božanski element u čoveku“ (Platon), on se okrenuo ka onom što je „samo ljudsko“, i još niže od toga, ka podljudskom i demonskom.

 U govoru na Festivalu G10 u Amsterdamu, Aleksandar Dugin je izrekao sledeću misao: „Mislim da se približavamo `trenutku singularnosti` – to je trenutak kada će neuralnim mrežama biti dozvoljeno da preuzmu odgovornost u složenoj situaciji. Sviramo istu melodiju, a ako nismo srećni, ne možemo reći: ‘Stani ovde`; to nije moguće. Trebalo bi da ovim putem krenemo ispočetka – od prve note ove simfonije. I trebalo bi da se upitamo: ko je autor koji je započeo ovaj proces urbanizacije, koji je stvorio vozove, liberalizam, demokratiju, napredak, rakete, računar, nuklearnu sintezu… Ko je stvarni autor? I to je suština: jer to je bila ljudska odluka, to nije bio `prirodni proces`… I zašto se ne zapitamo: da li je ovo od početka pravi smer? Da li je ta odluka bila ispravna?“

 U pitanju je, dakle, ljudska odluka, možda i sasvim svesna odluka, da se čovek odrekne svega ljudskog i prihvati „aksiologiju mašine“, pretvarajući samog sebe u podljudsko i bezlično „biće“, u mašinu.

 

 

Aleksandar Dugin 

Futurističke vizije danas opisuju svet budućnosti koji „ravnopravno“ nastanjuju ljudi, trans- i post-ljudi, roboti, kiborzi i mutanti kao „sastavni deo društva“ u kome će se „novonastali društveni odnosi uređivati potpuno novom pravnom i etičkom regulativom“. Jednog jutra, upozorava Dugin, mogli bismo se „probuditi sa robotima oko sebe, savršenim poreskim obveznicima, koji donose demokratske odluke, šalju jedni drugima SMS poruke, od robota do robota…“ Da li to znači da se, „korak po korak, pripremamo za veliku zamenu, da smo već spremni da se samozamenimo i da budemo zamenjeni“? 

izvor: standard.rs ›››

G