| Autorka: dr Agnieszka Sikora |
Termin entropia wprowadził niemiecki fizyk i matematyk Rudolf Clausius w 1865 roku. Słowo to wywodzi się z greckiego tropē (τροπή) oznaczającego „zwrot”, „przemianę” lub „przekształcenie”. Już sama etymologia tego terminu sugeruje, że chodzi o pojęcie opisujące kierunek i charakter zachodzących procesów.
Od termodynamiki się zaczęło
Entropia pojawiła się wraz z narodzinami termodynamiki – dziedziny fizyki, która powstała jako odpowiedź na potrzeby epoki rewolucji przemysłowej. W XIX wieku rozwój maszyn parowych i cieplnych postawił przed nauką nowe wyzwania. Dotychczasowe prawa mechaniki klasycznej – rozwijane od starożytności, a następnie sformalizowane w XVII wieku przez Isaaca Newtona – okazały się niewystarczające do opisu procesów związanych z przepływem ciepła i zamianą energii cieplnej na pracę mechaniczną. W ten sposób wyłoniła się termodynamika – dział fizyki zajmujący się opisem procesów cieplnych, równowagi energetycznej i granic efektywności przemian energii. Jej rozwój doprowadził do sformułowania fundamentalnych praw. Prawo zerowe wprowadziło pojęcie temperatury i równowagi cieplnej: jeśli dwa układy mają tę samą temperaturę, pozostają w równowadze. Pierwsza zasada termodynamiki to zasada zachowania energii. Kluczowe znaczenie miała jednak druga zasada termodynamiki – i to właśnie w niej pojawiło się pojęcie entropii.
– Drugą zasadę można sformułować na wiele sposobów – tłumaczy prof. dr hab. Jerzy Dajka, fizyk z Instytut Fizyki Uniwersytetu Śląskiego w Katowicach. – Jedno z najbardziej obrazowych ujęć mówi, że nie da się zbudować maszyny cieplnej, która pobierałaby ciepło wyłącznie z jednego termostatu i w całości zamieniała je na pracę. Innymi słowy: sama obecność energii cieplnej nie wystarcza, by wykonać użyteczną pracę. Klasycznym przykładem jest statek płynący po oceanie. Woda zawiera ogromną ilość energii wewnętrznej, a mimo to nie jesteśmy w stanie jej wydobyć i bezpośrednio wykorzystać do napędu statku. Aby statek mógł płynąć, konieczny jest drugi termostat i przepływ ciepła między co najmniej dwoma zbiornikami o różnych temperaturach.
W tym kontekście entropia pojawia się jako wielkość porządkująca kierunek procesów termodynamicznych. W klasycznej termodynamice jest ona funkcją stanu, której zmiana pozwala odróżnić procesy możliwe od niemożliwych. Zgodnie z drugą zasadą entropia układu izolowanego – czyli takiego, który nie wymienia ani energii, ani materii z otoczeniem – nigdy nie maleje. Może pozostać stała (w procesach idealnie odwracalnych), ale w rzeczywistych procesach rośnie.
Istnienie entropii ma konsekwencje. To ona wyznacza strzałkę czasu w fizyce makroskopowej, tłumacząc, dlaczego pewne procesy zachodzą spontanicznie tylko w jednym kierunku.
– Wyobraźmy sobie dwa zdjęcia. Jedno przedstawia jajko rozbite, a drugie jajko całe. Intuicyjnie wszyscy potrafimy wskazać, które zdjęcie zostało wykonane jako pierwsze – wyjaśnia prof. dr hab. Jerzy Dajka. – Entropia jest wielkością, która pozwala porządkować chronologię zdarzeń. W przypadku jajka nierozbitego entropia jest mniejsza, a w przypadku rozbitego jest większa, a zatem dostrzegamy, że entropia ma związek z nieporządkiem. Innymi słowy jest wielkością, którą możemy używać do szacowania nieporządku w układzie. Co więcej, wiemy, że ten nieporządek może jedynie narastać. To jeszcze nie wszystko: układy same z siebie nie są w stanie się uporządkować, czyli wspomniane rozbije jajko nie może samo doprowadzić się do stanu sprzed rozbicia. Dopiero narodziny mechaniki statystycznej pozwoliły nam powiązać entropię ze statystycznymi własnościami układów złożonych, zaś opisujący to słynny „wzór na entropię” widnieje na nagrobku jego odkrywcy – wielkiego Ludwika Boltzmanna.
Co entropia ma wspólnego z informacją?
Choć pojęcie entropii narodziło się w kontekście maszyn cieplnych i procesów energetycznych, z czasem okazało się, że ma ono znacznie szersze znaczenie – sięgające teorii informacji, informatyki, biologii, a nawet kosmologii.
W latach 40. XX wieku amerykański inżynier i matematyk Claude Shannon stworzył matematyczne podstawy teorii informacji. W swojej pracy z 1948 roku wprowadził miarę niepewności związaną z przekazem informacji (sygnału) przekazywanej z punktu A do punktu B, którą nieprzypadkowo nazwał entropią. W ujęciu Claude’a Shannona entropia pojawiła się jako miara kodowania i transmisji informacji. Shannon rozważał źródło informacji jako proces losowy, który generuje symbole – na przykład litery alfabetu – z określonymi prawdopodobieństwami. Pokazał, że entropia informacyjna jest miarą średniej ilości informacji przypadającej na jeden symbol, a zarazem miarą nieprzewidywalności takiego procesu. Jeśli wszystkie litery pojawiają się z jednakowym prawdopodobieństwem, entropia jest maksymalna; jeśli natomiast niektóre symbole są znacznie częstsze od innych, entropia maleje, co oznacza, że przekaz zawiera mniej informacji na znak. To właśnie ta wielkość wyznacza granicę kompresji danych: entropia określa minimalną średnią długość kodu potrzebną do bezstratnego zapisu komunikatu. W ten sposób Shannon powiązał abstrakcyjne pojęcie informacji z praktycznymi problemami kodowania, transmisji i efektywnego określania pojemności informacyjnej kanałów komunikacyjnych.
– Entropia i różne jej wariacje zaczęły mieć zastosowanie w kodowaniu i w przesyle informacji. Szczególnym przypadkiem tych zagadnień jest kryptografia – dodaje fizyk. – Jedna z entropii, entropia wzajemna, w kryptografii odgrywa kluczową rolę jako miara informacji, którą można pozyskać z zaszyfrowanego tekstu. Prowadzi to do szeregu ciekawych entropowych kryteriów bezpieczeństwa i bezpośrednio przekłada się na odporność systemu kryptograficznego na ataki.
Entropia może być również miarą oceny zachowania procesów dynamicznych, czyli takich, które przebiegają w czasie. Z punktu widzenia fizyki bardzo istotną cechą takich procesów jest ich ergodyczność, gdy obserwację pojedynczego układu przez długi czas można zastąpić krócej trwającą obserwacją wielu jego kopii.
– Miary bazujące na entropii mogą być wykorzystywane w zagadnieniach związanych z oceną ryzyka, predykcją przyszłych zachowań i przede wszystkim w odróżnianiu procesów, które są naprawdę chaotyczne, od tych, które mają w sobie pewien porządek lub komponent losowy – wyjaśnia naukowiec.
W tym ujęciu entropia nie opisuje już „nieporządku” w potocznym sensie, lecz stopień naszej niewiedzy o stanie systemu. Im więcej możliwych konfiguracji jest zgodnych z obserwowanymi danymi, tym większa entropia – a tym samym mniejsza ilość informacji, jaką faktycznie posiadamy. Informacja okazuje się więc w pewnym sensie „ujemną entropią”: jej przyrost oznacza redukcję niepewności.
Entropia tłumaczy, dlaczego widzimy rozbijające się jajka, ale już nigdy tego, by rozbita skorupka ponowie się połączyła | Fot. Freepik AI
Ogromny wir gorącego gazu wskazuje przybliżoną lokalizację supermasywnej czarnej dziury Sagittarius A* w centrum Drogi Mlecznej. Obraz w podczerwieni uchwycony przez Kosmiczny Teleskop Hubble’a | fot. NASA, ESA, SSC, CXC, STScI
Informacja również podlega prawom
Fizyka pokazuje, że przetwarzanie informacji ma realne konsekwencje energetyczne. Kluczową rolę odgrywa tu sformułowana w 1961 roku zasada Landauera, zgodnie z którą usunięcie nawet jednego bitu informacji z pamięci fizycznego układu musi wiązać się z minimalnym wydzieleniem ciepła, a więc ze wzrostem entropii otoczenia. Innymi słowy: informacja nie jest bytem abstrakcyjnym oderwanym od materii – zawsze musi być zapisana, przetwarzana i kasowana w fizycznym nośniku podlegającym prawom termodynamiki.
– De facto każde zjawisko, z jakim mamy do czynienia w świecie fizycznym, jest procesem termodynamicznym – tłumaczy fizyk. – A zatem wszystkie te zjawiska, w których entropia malałby spontanicznie, należy odrzucić jako niefizyczne. W przeciwnym razie mielibyśmy do czynienia z czymś, co fizycy nazywają perpetuum mobile drugiego rodzaju.
Z tej perspektywy druga zasada termodynamiki nabiera nowego znaczenia. Nie tylko ogranicza sprawność maszyn cieplnych, lecz także wyznacza granice przetwarzania informacji. Każde obliczenie, każda operacja logiczna i każdy akt zapominania mają swój koszt. Współczesne badania pokazują, że granice te zaczynają mieć praktyczne znaczenie w komputerach kwantowych. W ten sposób entropia staje się pojęciem łączącym energię, informację i czas. To nie tylko miara fizycznej nieodwracalności, lecz także ilości informacji potrzebnej do opisu świata. Współczesna fizyka coraz częściej traktuje informację jako jedną z fundamentalnych kategorii opisu rzeczywistości – a entropię jako jej naturalną miarę.
Entropia w kwantowej komunikacji
Współczesna komunikacja coraz częściej jest kwantowa, zaś kwantową „kuzynką” entropii informacyjnej Shannona jest entropia von Neumanna, która pozwala ocenić nie tylko, jak pojemny informacyjnie jest kwantowy kanał komunikacyjny, ale czy jest on w swej naturze prawdziwie kwantowy, a zatem bezpieczny, czy też tylko się pod takowy podszywa i jest podatny na klasyczne ataki. Kwantowe entropie są użyteczne w certyfikacji kwantowości kanałów informacyjnych, pozwalają m.in. ocenić, czy kanał nie gubi istotnego komponentu informacyjnego związanego ze kwantowym splątaniem.
Entropia we wszechświecie
Entropia odgrywa ważną rolę także w wielu naszych próbach opisu ewolucji Wszechświata. Nie tylko wyznacza termodynamiczną strzałkę czasu, ale podpowiada kierunek zachodzących procesów od hipotetycznego Wielkiego Wybuchu po możliwe scenariusze przyszłości. Wczesny Wszechświat był bardzo gęsty i charakteryzował się niską entropią. Z biegiem czasu entropia rośnie, a materia i energia ulegają coraz większemu rozproszeniu, zaś Wszechświat staje się termodynamicznie martwy.
O tym, że podobne rozumowanie dalekie jest od pewnego, przekonuje obecność czarnych dziur, przez które informacja zdaje się, jak sugerowali Bekenstein i Hawking, dokądś (?) z naszego Wszechświata „wyciekać”, by później wrócić. Problem pozostanie nierozstrzygnięty przynajmniej do czasu, gdy nie tylko uda się nam w końcu sformułować ogólnie akceptowalną teorię kwantowej grawitacji, ale i termodynamikę układów kwantowych dalekich od równowagi.
Zanim Claude Shannon wprowadził na naukowy rynek nową miarę informacji i chciał nadać jej chwytną nazwę, odwiedził wielkiego Johna von Neumanna, który doradził, aby nową miarę nazwać entropią, gdyż, jak argumentował: „I tak nikt nie wie, czym entropia jest, a to daje przewagę w każdej dyskusji”.
– Dziś – jak przekonuje Jerzy Dajka – nasza wiedza jest pełniejsza, a entropia z intuicyjnego pojęcia używanego przez dawnych fizyków, stała się dobrze ugruntowanym pojęciem matematycznym o własnościach udokumentowanych twierdzeniami. Wciąż jednak pojęcie entropii bywa nadużywane przez tych, którzy zapominają, że tezy nawet najpotężniejszych twierdzeń, aby zajść, wymagają spełnienia założeń.
Artykuł pt. „Fizyka informacji, czyli po co nam entropia?” ukazał się w numerze 1(13)/2026 „No Limits”.