entropija?

Drugi zakon termodinamike iskazan matematički uključuje fizikalnu veličinu nazvanu entropija. Njen smisao često izaziva nedoumice, osobito uslijed dvojbenog povezivanja sa svakodnevnim pojmom ”nereda”. One su pojačane nakon što je na začetcima matematički stroge teorije informacije (1948.), uočeno da jedna formula ima točno jednak matematički oblik kao fizikalna formula za entropiju.

Najveću mi je brigu zadavao naziv [te nove veličine]. Mislio sam je nazvati “informacija”, ali ta se riječ već suviše koristila, pa sam je odlučio nazvati “neodređenost”. Kad sam o tome razgovarao s Von Neumannom, on je imao bolju zamisao. Rekao mi je: “Trebaš je nazvati entropija… Nitko ne zna što je zapravo [fizikalna] entropija, pa ćeš u raspravama uvijek imati prednost.” (Claude Shannon)

Izbjeći ćemo formule, ali recimo da se informacija mjeri kvantitativno kao količina novosti koju primamo nekim komunikacijskim kanalom. Ako kanalom primimo šum (nešto posve neodređeno) to očito nije neka informacija. Ali, kada npr. u engleskom tekstu nakon slova ”q” uslijedi slovo ”u”, ni to nije neka informacija – jer već unaprijed znamo da u riječima engleskog jezika nakon ”q” redovito slijedi ”u”. Utoliko mjerenje informacije počiva na opreci određeno-neodređeno (koja je bliska antičkim metafizičkim koncepcijama, recimo pitagorejskoj peras-apeiron), ali i na subjektivnijoj opreci očekivano-neočekivano – kao u poslovici ”nije vijest kad pas ujede čovjeka, nego kad čovjek ujede psa”. Naime, za nekoga tko ne zna da u engleskom nakon ”q” redovito slijedi ”u”, prijam slova ”u” nakon ”q” ima informacijsku vrijednost sličnu onoj koju bi imao prijam slova ”i” nakon ”q” (jer su njemu ”i” i ”u” otprilike podjednako (ne)očekivani nakon ”q”). Obrnuto, nekome tko zna da u engleskom nakon ”q” redovito slijedi ”u”, prijam slova ”u” nakon ”q” ima vrlo malu a neočekivani prijam ”i” nakon ”q” značajnu informacijsku vrijednost. Ta se prethodna očekivanja mogu na razne načine kvantificirati i učiniti što manje proizvoljnima (u našem primjeru statističkom analizom učestalosti pojedinog slova nakon ”q” u riječima engleskog jezika).

Shannonova entropija mjeri, dakle, količinu neodređenosti neke poruke s obzirom na prethodna očekivanja. Njena kvantitativnost trebala je odgovoriti ”objektivnom” karakteru informacije; ta su očekivanja, dodatno potaknuta spomenutom vezom s fizikalnom entropijom, ipak iznevjerena upravo strožom pojmovnom analizom te veze, provedenom od E. T. Jaynesa od 1959. nadalje. Dapače, prije je poljuljan ”objektivni” karakter fizikalne entropije.

Što je fizikalna entropija? Pojavila se kada su u 19. stoljeću strojari postali bolno svjesni ograničenja mogućnosti toplinskih strojeva. Prvi zakon termodinamike kaže da od nekoga stroja ne možemo dobiti više rada nego što smo uložili energije u njega, drugi zakon kaže da za toplinske strojeve ne možemo dobiti niti toliko koliko smo uložili, nego uvijek manje, jer će dio topline neizbježno spontano prelaziti na hladniju okolinu stroja pa time postajati neiskoristiv. Pri matematičkoj analizi idealno najkorisnijeg mogućeg stroja, i manje korisnih realnih strojeva, pojavljuje se jedna matematička veličina koja je nazvana entropijom. Njeno je važno svojstvo da se ne može smanjivati, nego ili ostaje stalno jednaka (npr. kod onog idealnog stroja) ili raste (npr. kod realnih strojeva). U statističkoj mehanici su mjerljive termodinamičke makroskopske veličine (poput tlaka ili temperature) objašnjene kao prosječne vrijednosti nemjerljivih mikroskopskih veličina (poput položaja i brzine) ogromnog broja (npr. 10²³) čestica; stoga je i uloga entropije objašnjena statistički. Naime, svakom makroskopskom stanju temperature, tlaka itd. odgovara mnoštvo različitih mikroskopskih stanja položaja i brzina čestica. Dakle, termodinamika svodi mnoštvo različitih mikroskopskih stanja na jednaka makroskopska stanja (očito, time se gubi informacija o različitostima tih stanja). Svako mikroskopsko stanje predstavlja točku u apstraktnom mnogodimenzionalnom tzv. ”faznom prostoru”, a skup svih različitih mikroskopskih stanja koja odgovaraju jednakom makroskopskom stanju daju tzv. ”fazni volumen”, označen s W. Entropija je zapravo isto što i taj W, dakle jedna funkcija broja mogućih mikroskopskih stanja koja ostvaruju dano makroskopsko stanje. Smjer termodinamičkih procesa je prema onom makroskopskom stanju koje je vjerojatnije, i to zato što je ostvarivo na više različitih mikroskopskih načina (vidi ovdje); taj broj mjeri upravo W, odnosno entropija. Smjer termodinamičkih procesa je, dakle, prema većoj entropiji.

Moramo jasno razumjeti osnovni fizikalni razlog zašto postoji ograničenje preko drugog zakona… Drugi zakon izniče iz duboke međuigre između epistemološkog makroskopskog stanja (dakle varijabli poput tlaka, volumena, magnetizacije koje neki eksperimentator mjeri i koje stoga predstavljaju naše znanje o sustavu) i ontološkog mikroskopskog stanja (koordinata i količina gibanja pojedinačnih atoma koji određuju što će se sa sustavom zapravo događati). [Većina fizičara samorazumljivo smatra čestice i njihovo gibanje prvenstvenom realnošću, pa Jaynes tu mehaničku razinu opisa naziva ”ontološkom”, i razlikuje od ”epistemološke” termodinamičke razine na kojoj više trebamo biti svjesni svoje uloge u procesu stjecanja znanja o prirodi. Naravno, nije nužno prihvatiti takvo ontološko prvenstvo (vidi čestice?) da bismo shvatili ”epistemološko” određenje termodinamičkih veličina. (op. davor)] Primjerice, i u toplinskom stroju i u mišiću cilj je pohvatati energiju koja je raspršena na nepoznat i nenadziran način … i usredotočiti je natrag u jedan jedini stupanj slobode kretanja, naime kretanje klipa ili tetive. Što je ona raspršenija, to će biti teže ovo ostvariti.

Mi smatramo da temeljna ključna riječ koja opisuje drugi zakon nije ”nered” nego ponovljivost (reproducibility). Temeljni razlog ograničenja korisnosti putem drugog zakona je taj da stroj mora raditi ponovljivo; neki stroj koji bi obavio rad samo prigodno, slučajno (kada se dogodi da je početno mikroskopsko stanje spremnika i stroja baš kako treba) bio bi podjednako neprihvatljiv u strojarstvu kao i u biologiji.

Početno mikroskopsko stanje je nepoznato jer ga ne nadziremo bilo kojim makroskopskim uvjetima. Početno mikroskopsko stanje može biti bilo gdje u nekom velikom faznom volumenu W_početno i stroj mora ipak raditi… Fizikalni nam zakon ne dopušta da koncentriramo konačna mikroskoskopska stanja u volumen manji od W_početno. Nejednakost W_konačno ≥ W_početno [što je formulacija drugog zakona termodinamike] nužan je uvjet da bi bilo koji makroskopski proces bio ponovljiv za sva početna mikroskopska stanja u W_početno… Bliska je analogija to da možemo upumpati svu vodu u veći volumen a ne možemo u manji od početnoga. Stoga bilo koja molekula koju pratimo može biti ponovljivo premještena u veći a ne može u manji volumen. Naravno, slučajno se može dogoditi i nešto što nije ponovljivo. Ti volumeni predstavljaju fazne volumene W, molekula koju pratimo nepoznato mikroskopsko stanje, a činjenica da je voda nestlačiva spomenutom fizikalnom zakonu.

Preciznije iskazano, mislimo ”ponovljiv za nekog eksperimentatora koji može nadzirati samo skup makroskopskih veličina {X_i} koje definiraju određeno makroskopsko stanje”. Ovo je potrebno da drugi zakon ne bi bio narušen od nekog pametnog eksperimentatora. Npr. gdin. A definira svoja makroskopska stanja veličinama {X₁… X_n} koje nadzire, i entropija je funkcija tih n veličina. Ako sad gdin. B, bez da to zna gdin. A., može manipulirati novom veličinom X_n+1  koja je izvan skupa onoga što nadzire i/ili opaža gdin. A, tad on može dovesti do stanja, i to ponovljivo, u kojem se entropija (kako je definirao gdin. A) spontano smanjuje, mada se ne smanjuje entropija definirana kao funkcija n+1 veličine. Tada bi se gdin. B doimao gdin.-u A kao magičar koji prozvodi spontana narušavanja drugog zakona, kako mu se prohtije.

Može biti šokantno da termodinamika ne zna za nešto poput ”entropije fizičkog sustava”. Termodinamika ima pojam entropije termodinamičkog sustava; ali zadani fizički sustav odgovara mnogim različitim termodinamičkim sustavima. Na primjer … u jednom skupu pokusa radimo s temperaturom, tlakom i volumenom. Entropija može biti iskazana kao funkcija tih veličina. U drugom skupu pokusa radimo s temperaturom, tenzorom deformacije i jednom komponentom električne polarizacije; entropija je u tim pokusima funkcija tih veličina. Očito je besmisleno pitati ”što je entropija kristala?” bez da odredimo skup parametara koji definiraju njegovo termodinamičko stanje.

Moglo bi se odgovoriti da smo u svakom od navedenih pokusa koristili samo dio mogućih parametara, te da postoji ”istinska” entropija koja je funkcija svih tih parametara istodobno. Ali uvijek možemo uvoditi nove parametre … i tome nema kraja, sve dok ne dođemo do toga da nadziremo svaki atom zasebno. Ali, to je upravo točka gdje se pojam entropije urušava, jer više se ne radi o termodinamici!

Sad se moramo suočiti s dvojbenošću u definiciji i značenju W; čini se da on ima različite aspekte. Fazni volumen W(X₁… X_n)  koji odgovara danom skupu makroskopskih veličina {X₁… X_n} jedna je određena, izračunjiva veličina koja s jedne strane predstavlja stupanj nadzora eksperimentatora nad mikroskopskim stanjem kada može upravljati samo tim makroskopskim veličinama; pa se W doima ontološkim. S druge strane W podjednako predstavlja stupanj našeg neznanja o mikroskopskom stanju kada znamo samo te makroskopske veličine i ništa drugo. Ali, kao što je prikazano scenarijem s gdin.-om A i gdin.-om B, stvar je naše slobodne odluke to koje ćemo makroskopske veličine koristiti da definiramo makroskopska stanja; stoga se također doima antropomorfnim! … Što je onda značenje drugog zakona? Je li to ontološki zakon fizike, ili jedno epistemološko ljudsko predviđanje, ili neka antropomorfna umjetnička forma?

Dio odgovora je to da ga nije moguće shvatiti ontološki (to jest deduktivno izvedenim iz zakona fizike) budući da pri izračunu W ne koristimo jednadžbe gibanja [čestica] koje jedine predodređuju koje će se makroskopsko stanje zapravo razviti iz mikroskopskih stanja W_početno… Buduće ponašanje sustava jednoznačno je predodređeno, prema zakonima mehanike, samo kad su određeni možda 10²⁴ mikroskopskih koordinata i količina gibanja; nemoguće je da bude predodređeno mjerenjm tri ili četiri veličine u tipičnim termodinamičkim pokusima.

S druge strane, uvijek je epistemološki, jer uvijek je istina da W mjeri stupanj našeg neznanja o mikroskopskom stanju kada znamo samo makroskopsko stanje… Stoga drugi zakon … predstavlja najbolje predviđanje koje možemo načiniti uz informaciju koju imamo…

Umjesto da griješimo pretpostavljajući da dani fizički sustav ima jednu i samo jedno ”istinitu” ontološku entropiju, priznajemo da možemo imati mnoštvo različitih stanja znanja o njemu, što vodi mnogim različitim entropijama koje se odnose na isti fizički sustav (kao u gornjem scenariju s gdin.-om A i gdin.-om B), koje mogu služiti mnogim različitim svrhama. Baš kao što klasa pojava koje neki eksperimentator može pobuditi iz nekog danog sustava ovisi o vrsti uređaja koje ima (odnosno kojim makroskopskim varijablama može upravljati), tako i klasa pojava koje možemo predvidjeti pomoću termodinamike za dani sustav ovisi o znanju koje imamo o njemu. To nije paradoks, nego bogatstvo; zapravo pri svakom znanstvenom pitanju to što možemo predvidjeti ovisi, očito, o podatcima koje imamo.

Važno je priznati da ”entropija fizičkog sustava” nije smislen pojam bez daljnjih određenja da bismo razjasnili mnoga pitanja o ireverzibilnosti i drugom zakonu. Na primjer, u više sam navrata upitan predstavlja li, po mom mišljenju, neki biološki sustav, recimo mačka, koji pretvara neživu hranu u visoko organizirane strukture i ponašanje, narušavanje drugog  zakona. Uvijek odgovaram da, sve dok ne odredimo skup parametara koji definiraju termodinamičko stanje mačke, još nije postavljeno nikakvo određeno pitanje. (E. T. Jaynes)

S ovakvog ”epistemološkog” gledišta, već u termodinamici trebamo prihvatiti neke osobitosti koje su inače u fiziku ušle tek s kvantnom teorijom: upotreba vjerojatnosti, neizbrisiva uloga postavljača pokusa na njegov ishod, i nužno razlikovanje prošlosti od budućnosti.

Ako pojam entropije time gubi na ranije pretpostavljenoj ”objektivnosti”, pa se pokazuje doslovno kao sjena redukcije termodinamike na mehaniku (jer je, poput sjene, ne samo neizbježna nego i ovisi o načinu na koji osvijetlimo predmet), ipak je na drugoj strani stekao izuzetnu čast. Naime, Jaynes je pokazao da ga ne treba shvatiti niti kao prvenstveno fizikalni niti kao prvenstveno informacijsko-teorijski pojam, nego kao općeniti pojam, čak aksiom, teorije vjerojatnosti koji definira koju razdiobu vjerojatnosti je razumno pretpostaviti na nekom uzorku, ako je naše znanje o njemu nepotpuno.

Tijekom potresa 100 prozora je razbijeno na 1000 dijelova. Koja je vjerojatnost da je neki prozor razbije na točno m dijelova? Preformulirajmo taj problem: prosječni je prozor razbijen na 10 dijelova. Kad bismo zaključili da je svaki prozor razbijen na 10 dijelova to bi bilo u potpunom skladu sa svim dostupnim informacijama. Ipak, zdrav razum nam kaže da to ne bi bila razumna raspodjela vjerojatnosti; time bismo pretpostavili više nego je zadano postavljanjem problema. Razumnije je pretpostaviti vjerojatnost 1:5 da je prozor razbijen na m dijelova gdje je m = 8, 9, 10, 11, 12. Ali to i dalje pretpostavlja više nego nam pruža zadana informacija. Po tome bi, na primjer, bilo nemoguće da je prozor razbijen na 13 dijelova… Da skratimo priču, potrebna nam je raspodjela vjerojatnosti koja ne pretpostavlja ništa osim onoga što je zadano postavljanjem problema. Shannonov teorem nam kaže da je entropija dosljedna mjera ”količine nesigurnosti” u nekoj raspodjeli vjerojatnosti, te da trebamo odabrati onu raspodjelu koja ima maksimalnu entropiju, uz uračunata ograničenja [onoga što već znamo]. Svaka druga raspodjela bi značila neku proizvoljnu pretpostavku o nekoj informaciji koja nam nije dana. Raspodjela koja ima maksimalnu entropiju je maksimalno nepristrana s obzirom na nedostajuće informacije. (E. T. Jaynes)

Informacija je, dakle, u nekom smislu suprotna entropiji: što imamo više informacije o nečemu, to će biti oštrija spomenuta ograničenja a time i manje raspršena raspodjela vjerojatnosti onoga što možemo očekivati. I informacijsko-teorijska i fizikalna entropija su onda posebne primjene tog principa maksimalne entropije iz teorije vjerojatnosti. (Primjenjuje se uspješno, npr. i pri rekonstrukciji fotografija i mnogočemu drugome.) Pri tom je nužno (poput Weizsäckera) prihvatiti da se pojam vjerojatnosti odnosi prvenstveno na još neodređenu (barem ”za nas”) budućnost, a tek posredno na učestalost nekog ishoda u prošlosti.

Razmotrimo sada … primjedbu da neka vjerojatnost koja je puko subjektivna i različita za različite ljude ne može biti relevantna za primjene. Ovome se piscu čini da je to upravo suprotno od istine: samo subjektivna vjerojatnost može biti relevantna za primjene. Koja je svrha bilo koje primjene teorije vjerojatnosti? Naprosto pomoći nam da oblikujemo razumne prosudbe u situacijama u kojima nemamo potpunu informaciju. Ima li netko drugi potpunu informaciju, to je prilično irelevantno za naš problem. Mi trebamo učiniti najbolje što možemo s informacijom koju imamo, i samo kad je ona nepotpuna ima ikakve potrebe za teorijom vjerojatnosti. Jedine ”objektivne” vjerojatnosti su one koje opisuju učestalosti opažene u pokusima koji su se već dogodili. Njih je potrebno, prije nego posluže za bilo kakvu primjenu, prevesti u subjektivne prosudbe o drugim situacijama u kojima ne znamo odgovor…

Pretpostavimo da osoba, za koju se zna da je vrlo nepoštena, baca kocku. Promatraču A dopušteno je da ispita kocku, i na raspolaganju ima sva sredstva Nacionalnog ureda za standarde. Napravi tisuće mjerenja različitih svojstava … i na kraju zaključi da kocka jest savršeno simetrična. Promatraču B to nije rečeno; on zna samo da kocku baca neki sumnjivi lik. Pretpostavlja da je kocka pristrana, ali ne zna u kojem pravcu… Obojica će pripisati vjerojatnost 1:6 svakoj strani kocke. Ista raspodjela vjerojatnosti može opisati bilo znanje ili neznanje. To izgleda paradoksalno: zašto dodatno A-ovo znanje ne mijenja ništa?

Zapravo mijenja, ali je potrebno vrijeme da se razlika ”razvije”. Pretpostavimo da prvo bacanje da ”3”. Za promatrača B to doprinosi dokazu da je kocke pristrana ka broju 3, pa će sljedećem bacanju pridružiti različite vjerojatnosti koje će to uzeti u obzir. Promatrač A će, pak, nastaviti pridruživati vjerojatnost 1:6 svakoj strani, jer njemu dokazi o simteriji imaju veću težinu nego dokaz jednoga bacanja… Oba su dosljedno i razložno razmatrala na temelju njima dostupnih informacija…

Ipak, tu razliku ne uvažava nikakva teorija koja vjerojatnost definira preko učestalosti, jer u tom slučaju … sve što Nacionalni ured za standarde ima za reći treba zanemariti jer to ne možemo interpretirati preko učestalosti.

Slično tome, ako medicinski istraživač kaže ”ovaj novi lijek je učinkovit u 85% slučajeva”, misli tek da je ta učestalost opažena u prošlim pokusima. Ako zaključuje da će se to zadržati i u budućnosti, tad čini  subjektivnu prosudbu koja bi mogla biti (i često jest) posve pogrešna. Unatoč tome, to je najbolja prosudba koju bi mogao napraviti na temelju informacije koju ima… a isključiva svrha statističke analize prošlih događaja bila je stjecanje te prosudbe. (E. T. Jaynes)

Čini mi se da je od svih velikih znanstvenih doprinosa u 20. stoljeću filosofski najznačajnija presudna uloga koju je zadobila vjerojatnost,  u fizici i u  drugim znanostima. Time je započet obrat od pokušaja uvida u ”um Boga” (što je plodno određivalo fiziku od Keplera do Einsteina) ka shvaćanju naše uloge kao suigrača u spoznajnom procesu.

Literatura:

1. M. Tribus, E. C. McIrvine, Energy and information, Scientific American, 224 (September 1971), pp. 178–184
2. E. T. Jaynes, Clearing Up Mysteries – The Original Goal, članak  iz 1989. ovdje, preveo: ja i E. T. Jaynes, Gibbs vs. Boltzmann Entropies, članak  iz 1965. ovdje, preveo: ja
3. E. T. Jaynes, How Does the Brain Do  Plausible Reasoning?, članak iz 1988., ovdje, preveo: ja