Wprowadzenie
Poniższy tekst stanowi szczegółowe opracowanie rozmowy z Remigiuszem Kinasem, współtwórcą polskiego modelu językowego Bielik oraz badaczem AI w firmie biotechnologicznej Inenic AI. Wywiad, przeprowadzony w ramach programu „Didaskalia”, dotyczy kulis powstawania polskiej sztucznej inteligencji, technicznych aspektów trenowania dużych modeli językowych (LLM), kwestii suwerenności technologicznej oraz przyszłości AGI (Artificial General Intelligence).
Bielik kontra globalni giganci – sens suwerenności
Rozmowa rozpoczyna się od fundamentalnego pytania: po co tworzyć polski model językowy, skoro istnieją potężne narzędzia takie jak ChatGPT czy Gemini?
- Bezpieczeństwo i prywatność: Bielik jest modelem, który można zainstalować lokalnie („on-premise”). Jest to kluczowe dla instytucji takich jak banki, wojsko czy administracja, które ze względów regulacyjnych i bezpieczeństwa nie mogą wysyłać wrażliwych danych do chmury zewnętrznych dostawców (np. Microsoftu czy Google).
- Dostosowanie kulturowe: Modele globalne, trenowane głównie na danych anglojęzycznych, posiadają „błąd poznawczy” (bias). Bielik, trenowany na polskim korpusie, lepiej rozumie niuanse językowe i kulturowe (przykład cytatu Ireny Kwiatkowskiej z „Czterdziestolatka”, którego zagraniczne modele nie potrafiły poprawnie dokończyć).
- Koszty i dostępność: Bielik jest darmowy (open source) i nie posiada limitów tokenów, co odróżnia go od płatnych rozwiązań komercyjnych.
- Suwerenność technologiczna: Kinas podkreśla wagę budowania kompetencji wewnątrz kraju. Nie chodzi tylko o posiadanie narzędzia, ale o utrzymanie w Polsce talentów i wiedzy („know-how”), co jest niezbędne w kontekście przyszłych „fabryk AI”.
Proces trenowania modelu – od „czytania książek” do „wychowania”
Remigiusz Kinas szczegółowo opisuje etapy powstawania modelu językowego, demistyfikując ten proces:
- Pre-training (Wkuwanie wiedzy): Model „czyta” ogromne ilości tekstu (książki, internet) i uczy się przewidywać kolejny fragment słowa (token). Na tym etapie model „coś mówi”, ale jest to często nieuporządkowane.
- Pre-training kontynuowany: Zamiast trenować model od zera (co wymaga gigantycznych zasobów), polskie zespoły (Bielik, PLLuM) często adaptują istniejące modele (np. Mistral) douczając je na mieszance danych polskich i angielskich.
- SFT (Supervised Fine-Tuning – Uczenie nadzorowane): Uczenie behawioralne. Modelowi pokazuje się pary pytań i poprawnych odpowiedzi (np. rozwiązywanie zadań matematycznych), aby nauczył się konkretnych umiejętności.
- Alignment (Wychowanie/Dostosowanie): Kształtowanie stylu odpowiedzi i blokowanie treści niepożądanych (np. instrukcji budowy bomby). Model uczy się preferencji twórców.
- RL (Reinforcement Learning – Uczenie przez wzmocnienie): Najbardziej zaawansowany etap, w którym model jest nagradzany za poprawne rozumowanie.
- Ciekawostka badawcza: Kinas opisuje sytuację, w której model początkowo rozwiązywał zadania matematyczne po angielsku (bo tak było mu łatwiej/krócej), ale po wprowadzeniu dodatkowej nagrody za język polski, „przełączył się” i zaczął generować znacznie dłuższe, bardziej rozbudowane łańcuchy myślowe (Chain of Thought) w języku polskim, aby zmaksymalizować nagrodę.
Infrastruktura i wyzwania sprzętowe
Projekt Bielik jest ściśle związany z infrastrukturą obliczeniową dostępną w Polsce, w szczególności z superkomputerem Helios w Cyfronecie AGH.
- Technologia: Helios oparty jest na architekturze Grace Hopper od NVIDIA, łączącej CPU i GPU na jednej płycie, co zapewnia szybki transfer danych.
- Skala: Mimo że Helios (ponad 400 kart) jest potężną maszyną w skali Polski, w skali globalnej (gdzie trenuje się na dziesiątkach tysięcy kart) jest to zasób skromny. Wymaga to od polskich inżynierów ogromnej optymalizacji kodu i procesów.
- Współpraca z NVIDIA: Zespół Bielika współpracował z Nvidią przy projekcie „Minitron” (zmniejszanie modelu z 11 miliardów parametrów do 7 miliardów przy zachowaniu jakości poprzez tzw. pruning i destylację wiedzy).
Dane – paliwo dla AI
Jakość modelu zależy bezpośrednio od jakości danych („Garbage In, Garbage Out”).
- Selekcja i czyszczenie: Zespół stosuje zaawansowane klasyfikatory do oceny jakości tekstu. Wiele popularnych zbiorów danych (np. Fineweb) zawierało „śmieciowe” dane polskie, które musiały zostać odrzucone.
- Deduplikacja: Kluczowe jest usuwanie powtórzeń (zarówno dokładnych kopii, jak i tekstów semantycznie tożsamych), aby model nie uczył się na pamięć, lecz generalizował.
- Dane syntetyczne: Wobec wyczerpywania się zasobów naturalnego tekstu w internecie, coraz częściej stosuje się dane generowane przez inne modele AI, choć niesie to ryzyko małej różnorodności semantycznej.
Przyszłość AI: AGI, Multimodalność i Biotechnologia
Rozmowa wykracza poza obecne modele językowe (LLM), które Kinas uważa jedynie za etap, a nie ostateczną drogę do AGI.
- Ograniczenia LLM: Modele tekstowe operują na „skompresowanym” obrazie świata (język jest uproszczeniem rzeczywistości).
- Multimodalność: Prawdziwy przełom przyniesie łączenie różnych zmysłów i danych (obraz, dźwięk, ale też dane multispektralne, biologiczne, kwantowe).
- Interakcja ze światem: Aby powstała ogólna sztuczna inteligencja (AGI), systemy muszą wyjść z „pudełka” i wejść w fizyczną interakcję ze światem (robotyka, symulatory świata).
- Biotechnologia: W firmie Inenic AI Kinas pracuje nad modelowaniem biologii na wielu skalach (od molekuły po ekosystem). Biologia jest trudniejsza do modelowania niż język ze względu na ogromny szum, ale zastosowanie AI pozwala na symulowanie procesów komórkowych i przyspieszenie odkrywania leków.
Filozofia: Świadomość i „Latent Space”
Kinas podchodzi do AI z perspektywy matematycznej, dystansując się od przypisywania maszynom ludzkiej świadomości.
- Antropomorfizacja: Szukanie ludzkich cech (ból, emocje) w AI jest błędem. AI może mieć „swoją formę świadomości”, opartą na wielowymiarowych przestrzeniach wektorowych (latent space), która jest dla człowieka niepojmowalna (tysiące wymiarów vs nasze trzy).
- Tokenizacja: Obecny sposób dzielenia tekstu na tokeny jest „ślepą uliczką” i ograniczeniem. Przyszłość należy do modeli „token-free”.
- Wyjaśnialność (XAI): Kluczowym wyzwaniem jest zrozumienie, dlaczego model podjął daną decyzję. Bez tego, wpuszczenie samouczących się systemów do świata rzeczywistego jest niebezpieczne.
Wnioski:
- Polska posiada kompetencje i talenty (algorytmicy, inżynierowie), by tworzyć zaawansowane modele AI, mimo mniejszych zasobów sprzętowych niż giganci z USA czy Chin.
- Bielik nie jest konkurencją dla ChatGPT w sensie ogólnym, ale specjalistycznym narzędziem zapewniającym bezpieczeństwo danych i suwerenność dla polskich instytucji.
- Trenowanie AI to skomplikowany proces inżynieryjny, w którym optymalizacja sprzętowa i jakość danych są ważniejsze niż sama „czysta” moc obliczeniowa.
- Język polski jest trudniejszy dla modeli optymalizowanych pod angielski, ale odpowiednie techniki (RL) pozwalają na skuteczne „nauczenie” modelu myślenia po polsku.
- Przyszłość AI leży w wyjściu poza tekst (multimodalność) i zastosowaniach w naukach ścisłych (biotechnologia), a nie tylko w chatbotach.
Tezy:
- LLM (duże modele językowe) nie są prostą drogą do AGI; potrzebna jest interakcja ze światem fizycznym i ciągłe uczenie się.
- Suwerenność technologiczna wymaga posiadania własnych modeli i infrastruktury, aby nie uzależniać kluczowych sektorów państwa od zewnętrznych korporacji.
- „Tokenizacja” tekstu jest technologicznym ograniczeniem, które w przyszłości zostanie wyeliminowane.
- Sztuczna inteligencja operuje w „przestrzeniach ukrytych” (latent space) o tysiącach wymiarów, co czyni jej procesy myślowe fundamentalnie odmiennymi od ludzkich.
- Dane dostępne w internecie są już „skompresowaną” wersją rzeczywistości, co ogranicza możliwości poznawcze modeli uczonych tylko na tekście.
Dlaczego warto zapoznać się z filmem?:
- Unikalna perspektywa praktyka – twórcy modelu, a nie tylko teoretyka czy komentatora.
- Szczegółowe wyjaśnienie procesu powstawania polskiego modelu AI „od kuchni” (problemy z chłodzeniem superkomputera, czyszczenie danych).
- Zrozumienie, dlaczego „polski ChatGPT” jest potrzebny bankom i urzędom.
- Fascynujący wątek o tym, jak model AI „oszukiwał” system nagród, przechodząc na język polski, by dostać więcej punktów.
- Głęboka refleksja nad przyszłością AI w biotechnologii i medycynie.
- Trzeźwe, inżynieryjne spojrzenie na kwestię „świadomości” maszyn, wolne od medialnej sensacji.