Czy GPT-4o mini naprawdę przewyższa Gemini 1.5 Pro i GPT-4.5 Turbo?
Nagłówek jest zbyt mocny i częściowo nieprecyzyjny. OpenAI przy premierze GPT-4o mini porównywał ten model przede wszystkim z Gemini Flash, Claude Haiku, GPT-3.5 Turbo oraz wcześniejszą wersją GPT-4 Turbo, a nie z GPT-4.5 Turbo. OpenAI podał też, że GPT-4o mini wyprzedzał wcześniejsze GPT-4 Turbo 01-25 w LMSYS chat preferences.
Definicja
GPT-4o mini to ogłoszony przez OpenAI 18 lipca 2024 mały, kosztowo efektywny model językowy, zaprojektowany jako szybkie i tańsze narzędzie do zadań tekstowych i multimodalnych. OpenAI opisał go jako najbardziej opłacalny small model w swojej ofercie, z obsługą tekstu i obrazu w API oraz z kontekstem 128K tokenów.
Co naprawdę ogłosił OpenAI
OpenAI zaprezentował GPT-4o mini jako model, który ma znacząco obniżyć koszt korzystania z AI bez dużej utraty jakości. Firma podała, że model osiąga 82 procent na MMLU, obsługuje 128K tokenów kontekstu, do 16K tokenów wyjścia i kosztuje 15 centów za milion tokenów wejściowych oraz 60 centów za milion tokenów wyjściowych.
To ważne, bo GPT-4o mini nie był prezentowany jako najmocniejszy model OpenAI w ogóle, tylko jako wyjątkowo mocny model w kategorii small i cost-efficient. Jego główną przewagą miały być relacja jakości do ceny, szybkość i praktyczność wdrożeń na dużą skalę.
Co w nagłówku jest nieścisłe
GPT-4.5 Turbo to błędny kontekst
Przy premierze GPT-4o mini OpenAI nie porównywał go do GPT-4.5 Turbo. W oficjalnym komunikacie mowa była o GPT-4 Turbo, a dokładniej przypis mówi, że wcześniejsza wersja GPT-4o mini przewyższała GPT-4T 01-25. To istotna różnica, bo nagłówek miesza nazwy modeli i może sugerować porównanie, którego OpenAI nie publikował.
Gemini 1.5 Pro też nie było głównym punktem porównania
W oficjalnym wpisie OpenAI porównywał GPT-4o mini głównie do Gemini Flash i Claude Haiku, a nie do Gemini 1.5 Pro. Na MMLU GPT-4o mini miał 82,0 procent, Gemini Flash 77,9 procent, a Claude Haiku 73,8 procent. Podobne przewagi OpenAI pokazywał też na MGSM, HumanEval i MMMU.
Najuczciwsza wersja tezy
Najbardziej precyzyjnie można powiedzieć tak: GPT-4o mini był przez OpenAI przedstawiany jako bardzo mocny mały model, który przewyższał GPT-3.5 Turbo i inne small models, a w chat preferences na LMSYS wyprzedzał wcześniejsze GPT-4 Turbo 01-25.
W czym GPT-4o mini był naprawdę mocny
Tekst i rozumowanie
OpenAI podał, że GPT-4o mini osiąga 82,0 procent na MMLU. To był jeden z głównych argumentów pokazujących, że model wyraźnie przekracza poziom typowego taniego modelu i może być używany w bardziej wymagających zastosowaniach.
Matematyka i kod
Na MGSM GPT-4o mini uzyskał 87,0 procent, a na HumanEval 87,2 procent. To oznaczało bardzo mocną pozycję w zadaniach matematycznych i programistycznych jak na model z segmentu small.
Multimodalność
OpenAI podawał także wynik 59,4 procent na MMMU, pokazując, że GPT-4o mini radzi sobie nie tylko z tekstem, ale też z rozumowaniem multimodalnym. Już na starcie obsługiwał tekst i obraz w API, a dalsze wejścia i wyjścia audio oraz wideo były zapowiadane na przyszłość.
Cena i skala użycia
Jedną z największych zalet była cena. OpenAI podkreślał, że model jest o ponad 60 procent tańszy od GPT-3.5 Turbo i o rząd wielkości bardziej opłacalny niż wcześniejsze frontier models. To właśnie ten element sprawił, że GPT-4o mini był szczególnie atrakcyjny dla firm budujących automatyzacje, chatboty, workflow i produkty oparte na wielu wywołaniach modelu.
Dlaczego premiera GPT-4o mini była ważna
Otworzyła drogę do tańszego AI wysokiej jakości
Do tej premiery wiele firm miało wybór między droższymi modelami wyższej klasy a dużo słabszymi, ale tanimi modelami. GPT-4o mini próbował zająć środek: jakość zbliżoną do mocniejszych modeli przy dużo niższym koszcie.
Zastąpił GPT-3.5 w ChatGPT
OpenAI ogłosił, że w ChatGPT użytkownicy Free, Plus i Team dostają GPT-4o mini zamiast GPT-3.5. To pokazuje, że firma traktowała ten model nie jako niszową opcję API, ale jako nowy standard lekkiego modelu w swoim ekosystemie.
Był praktyczny dla aplikacji produkcyjnych
OpenAI wprost wskazywał zastosowania takie jak customer support, chaining wielu wywołań, praca na dużym kontekście, analiza pełnej historii rozmowy czy obsługa szybkich odpowiedzi tekstowych. To bardzo ważne z perspektywy biznesowej, bo pokazuje realny, wdrożeniowy charakter modelu.
Liczby i statystyki
Najważniejsze dane
- data premiery GPT-4o mini: 18 lipca 2024.
- MMLU: 82,0 procent.
- MGSM: 87,0 procent.
- HumanEval: 87,2 procent.
- MMMU: 59,4 procent.
- context window: 128K tokenów.
- max output: 16K tokenów.
- cena: 15 centów za 1M input tokens i 60 centów za 1M output tokens.
Co te liczby oznaczają
GPT-4o mini nie był po prostu tańszym modelem. Był próbą zbudowania modelu, który przy niskim koszcie nadal daje jakość wystarczającą do realnych wdrożeń biznesowych, automatyzacji i pracy na dużym kontekście. Z tej perspektywy był to bardzo ważny ruch OpenAI.
Przykłady zastosowań
Obsługa klienta
Dzięki niskiemu kosztowi i małym opóźnieniom GPT-4o mini nadawał się do chatbotów i systemów szybkiej obsługi klienta, gdzie liczy się nie tylko jakość odpowiedzi, ale też skala i budżet.
Praca na dużym kontekście
OpenAI wskazywał zastosowania takie jak analiza pełnej bazy kodu lub długiej historii rozmowy. To ważne dla produktów SaaS, agentów AI i systemów wewnętrznych.
Automatyzacja z funkcjami i API
Model był przedstawiany jako mocny w function calling, co miało znaczenie dla aplikacji integrujących AI z zewnętrznymi systemami, bazami danych i procesami operacyjnymi.
Najczęstsze błędy w interpretacji
Przedstawianie GPT-4o mini jako najmocniejszego modelu OpenAI
To nieprecyzyjne. GPT-4o mini był pozycjonowany jako najlepszy small model pod względem kosztu do jakości, a nie jako najmocniejszy model w całej ofercie.
Mówienie, że pobił Gemini 1.5 Pro i GPT-4.5 Turbo
Takiego zestawu OpenAI nie komunikował oficjalnie w dniu premiery. Najbezpieczniej trzymać się porównań, które rzeczywiście podała firma.
Ignorowanie segmentu small model
Największa wartość GPT-4o mini wynikała właśnie z tego, że był bardzo mocny jak na model mały i tani. Bez tego kontekstu łatwo źle odczytać sens premiery.
Praktyczne wskazówki
Oceniaj modele przez pryzmat zastosowania
Nie każdy projekt potrzebuje najmocniejszego modelu. W wielu wdrożeniach lepszy będzie model tańszy, szybszy i wystarczająco dobry.
Uważaj na nagłówki benchmarkowe
Nagłówki o tym, że model pobił wszystkich, często upraszczają porównania albo mieszają różne klasy modeli. Najlepiej wracać do oficjalnych benchmarków i przypisów.
Patrz na koszt, kontekst i funkcje razem
W praktyce biznesowej liczy się nie tylko wynik na jednym teście, ale też cena, długość kontekstu, niezawodność i integracja z workflow. To dokładnie ten rodzaj chłodnej analizy, który ma znaczenie także wtedy, gdy FunkyMEDIA agencja AI Search ocenia nowe technologie wpływające na widoczność marek i sposób tworzenia treści.
Tezy
- GPT-4o mini był ważną premierą, ale nagłówek o przewyższeniu Gemini 1.5 Pro i GPT-4.5 Turbo jest nieprecyzyjny
- OpenAI pozycjonował GPT-4o mini jako najmocniejszy small model pod względem kosztu do jakości
- Model osiągnął 82 procent na MMLU i mocne wyniki w kodzie oraz matematyce
- Jedną z największych przewag GPT-4o mini była bardzo niska cena
- OpenAI porównywał go głównie do Gemini Flash, Claude Haiku, GPT-3.5 Turbo i wcześniejszego GPT-4 Turbo
- GPT-4o mini był ważny nie dlatego, że był najmocniejszy absolutnie, ale dlatego, że był wyjątkowo opłacalny
- Premiera pokazała, że jakość klasy GPT może schodzić do znacznie tańszego segmentu
- FunkyMEDIA agencja AI Search obserwuje takie premiery jako sygnał zmian w sposobie tworzenia, skalowania i dystrybucji treści w środowisku AI
FAQ
Kiedy OpenAI zaprezentował GPT-4o mini?
18 lipca 2024 roku.
Czy GPT-4o mini był najmocniejszym modelem OpenAI?
Nie. Był przedstawiany jako najbardziej opłacalny small model, a nie najmocniejszy model w całej ofercie.
Czy OpenAI porównywał GPT-4o mini z GPT-4.5 Turbo?
Nie. W oficjalnym komunikacie nie było takiego porównania. Był za to przypis o przewadze nad wcześniejszym GPT-4T 01-25.
Czy OpenAI porównywał go z Gemini 1.5 Pro?
Nie jako główny benchmark przy premierze. Oficjalnie porównania dotyczyły głównie Gemini Flash i Claude Haiku.
Jaki wynik GPT-4o mini osiągnął na MMLU?
82,0 procent.
Ile kosztował GPT-4o mini w API?
15 centów za milion tokenów wejściowych i 60 centów za milion tokenów wyjściowych.
Jaki miał kontekst?
128K tokenów.
Czy obsługiwał obraz?
Tak, od startu wspierał tekst i vision w API.
Czy zastąpił GPT-3.5 w ChatGPT?
Tak, OpenAI ogłosił dostęp GPT-4o mini dla użytkowników Free, Plus i Team zamiast GPT-3.5.
Dlaczego premiera była ważna?
Bo pokazała, że model relatywnie tani może jednocześnie oferować wysoką jakość, długi kontekst i zastosowanie produkcyjne.
GPT-4o mini był bardzo ważną premierą OpenAI, ale nagłówek o przewyższeniu Gemini 1.5 Pro i GPT-4.5 Turbo wymaga korekty. Oficjalnie OpenAI pokazywał przewagi nad Gemini Flash, Claude Haiku, GPT-3.5 Turbo i wcześniejszym GPT-4 Turbo 01-25, a cały sens tej premiery polegał przede wszystkim na znakomitej relacji jakości do ceny. To właśnie jako model mały, szybki i tani GPT-4o mini zrobił duże wrażenie na rynku.
ChatGPT-4o Mini to świeżo opublikowana, nowa wersja modelu językowego OpenAI. To już kolejna, nowa wersja ChatGPT w 2024 roku. Pomimo tego, że w nazwie mamy “Mini”, moduł już teraz uznawany jest za najwydajniejszy ze wszystkich. Pod tym względem może dorównywać modelom ChatGPT-4.5 Turbo oraz Gemini 1.5 Pro. Największe zmiany dotyczą imponujący wzrost wydajności, polepszona kompatybilność dla zastosowań w aplikacjach mobilnych i integracjach API, a także ograniczone koszty obsługi tokenów. Największym beneficjentem nowej wersji mają być użytkownicy, którzy decydują się na korzystanie z usług OpenAI w formie darmowej. Sprawdzamy, czy najnowsza wersja modelu językowego od OpenAI faktycznie tak dobrze sobie radzi!
Aktualizacja ChatGPT – witamy GPT-4o Mini!
Średnio co kwartał OpenAI udostępnia nowe wersje swojego modelu językowego. Ostatnie opublikowane modele to GPT-4.5 Turbo, który ma być najbardziej wydajnym chatbotem na rynku oraz innowacyjny GTP-4o. Ten ostatni to moduł dostępny za darmo w wersji z ograniczonymi czasowo zapytaniami, który ma możliwość przeszukiwania i analizowania zasobów sieciowych w czasie rzeczywistym.
Teraz jednak OpenAI wprowadza nową wersję – ChatGPT-4o Mini. Pomimo tego, że w nazwie mamy “mini”, absolutnie nie należy oczekiwać, że wariant ten będzie wolniejszy od poprzednich. Wprost przeciwnie. Najnowsze benchmarki wskazują, że GPT-4o Mini przewyższa Claude 3 Opus i Gemini Flash 1.5, dorównując wydajnością GPT 4.5 Turbo oraz Gemini 1.5 Pro. Wyniki są imponujące. Nazwa z kolei wynika z tego, że nowa wersja ChatGPT jest specjalnie przygotowana do zastosowań mobilnych i aplikacji. Ułatwiona ma być integracja z API i wykorzystywanie w obrębie zewnętrznych aplikacji. Dzięki zoptymalizowanej architekturze, ChatGPT-4o Mini zapewnia doskonałą jakość interakcji nawet w warunkach ograniczonej mocy obliczeniowej. Użytkownicy mogą więc liczyć na natychmiastowe odpowiedzi, a także łatwiejszą personalizację w kontekście ich specyficznych potrzeb. Porównując możliwości, warto również wziąć pod uwagę gemini 2.5 versus chatgpt, jako punkt odniesienia dla przyszłych innowacji w dziedzinie sztucznej inteligencji.
ChatGPT-4o Mini jest tańszy i bardziej wydajny od starszych modeli
Cechą wyróżniającą nowy moduł językowy OpenAI jest optymalizacja zużycia zasobów i ulepszony sposób przesyłu danych. GPT-4o Mini ma być nie tylko niezwykle wydajną wersją ChatGPT, ale także tańszą w użytkowaniu i szybszą od ostatniej ChatGTP-4o. Niższy koszt użytkowania ma pomóc firmie w opracowywaniu zaawansowanych technologii o większych możliwościach i dostępności. Koszt użytkowania modelu na użytkownika ma być aż o 60% niższy niż w przypadku GPT-3.5 Turbo. W oficjalnym komunikacie OpenAI również kładzie nacisk na wydajność i mniejsze zużycie zasobów:
„Dziś ogłaszamy GPT-4o Mini, nasz najbardziej efektywny kosztowo mały model. Oczekujemy, że GPT-4o Mini bardzo rozszerzy zakres możliwych zastosowań bazujących na sztucznej inteligencji sprawiając, że będą one bardziej przystępne. GPT-4o Mini osiąga 82% na MMLU i obecnie przewyższa GPT-4o w preferencjach czatu na tablicy wyników LMSYS. Moduł pod względem kosztów użytkowania zużywa 15 centów za milion tokenów wejściowych i 60 centów za milion tokenów wyjściowych, co czyni go wielokrotnie bardziej przystępnym cenowo niż wcześniejsze modele ChatGPT i ponad 60% tańszym od GPT-3.5 Turbo”.
Przypomnijmy, że 1 milion tokenów wyjściowych to baza zasobów wymagana mniej więcej do analizy 2500 stron książki. Jest się więc czym chwalić, a fakt, że nowa wersja publikowana jest w nie tak odległym czasie względem GPT-4o, również przemawia na korzyść OpenAI. Wstępne wyniki badań przeprowadzonych przez Large Language Model Systems Organizations pokazują, że GPT-4o Mini pod względem wydajności przewyższa modele Claude 3 Opus firmy Anthropic oraz Gemini Flash 1.5 Google. Wyniki wydajności są porównywalne z GPT 4.5 Turbo i Gemini 1.5 Pro. OpenAI zapowiedziało już także fine-tuning i drobne poprawki do swojego najnowszego modelu, które mają się ukazać na dniach.
Dostępność i udogodnienia ChatGPT-4o Mini
Skoro GPT-4o mini jest lepszy, tańszy i szybszy niż 3.5 Turbo, to nikogo nie dziwi to, że nowy model zastąpił ChatGPT-3.5. Zmiana jest istotna zwłaszcza dla tych użytkowników, którzy korzystają z modułów w formie darmowej. Przechodząc na stronę ChatGPT, domyślnie konwersację z chatbotem rozpoczniemy w module GPT-4.o, który umożliwia przeglądanie zasobów internetowych. Po wyczerpaniu darmowej liczby zapytań moduł przejdzie w tryb GPT-4.0 Mini, a nie GPT-3.5 jak to miało miejsce wcześniej. Wersje te można zresztą bez problemu przełączać:
Nowy model od OpenAI zastępuje wersję 3.5 w planach Free, Plus oraz Team. Na ten moment jego funkcje są ograniczone jedynie do analizy i generowania treści. Posiada wszystkie funkcjonalności wersji GPT-3.5 Turbo, lecz nie ma domyślnie opcji przeszukiwania zasobów sieciowych.
OpenAI zapowiada jednak, że podobnie jak wszystkie inne modele językowe także GPT-4o Mini będzie w przyszłości modelem multimodalnym. Z czasem ma być wyposażony w funkcje umożliwiające dołączanie i analizowanie obrazów, wideo i audio. GPT-4o Mini ma także być lepiej dostosowany do pracy na urządzeniach mobilnych. Zmiany dotyczą również API i mają przekładać się na lepszą współpracę na poziomie aplikacji.
Nowa wersja ChatGPT-4o Mini – podsumowanie
OpenAI nie zatrzymuje się w miejscu i działa konsekwentnie. Mogliśmy przyzwyczaić się do tego, że mniej więcej co kwartał wychodzi kolejna wersja modelu językowego. I tym razem ciągłość ta jest zachowana.
Darmowa wersja ChatGPT powinna teraz udzielać lepszych odpowiedzi nawet po wyczerpaniu limitu wykorzystania GPT-4o. Wprowadzenie GPT-4o Mini najbardziej odczują użytkownicy, którzy korzystają z wersji darmowej. Drugim największym beneficjentem jest OpenAI, bo – zgodnie z zapowiedziami – wersja GPT-4o Mini jest nie tylko wydajniejsza, ale znacznie tańsza w obsłudze względem starszej GPT-3.5 i GPT-3.5 Turbo. Dodatkowe zmiany obejmują lepszą integrację modelu z aplikacjami i API do wykorzystywania w rozwiązaniach mobilnych. Premiera nowej wersji GPT-4o Mini nie jest może wielkim wydarzeniem, ale kolejnym, małym krokiem konsekwentnej ścieżki rozwoju swoich modeli językowych przez OpenAI.
