AI Pioneer's Deepseek zaprezentował: Odsłonięcie prawdziwych kosztów rozwoju

Zaskakująco niedrogie modele AI Deepseeka rzuca wyzwanie normom branżowym. Firma twierdzi, że przeszkoliła swoją potężną sieć neuronową Deepseek V3 za zaledwie 6 milionów dolarów, wykorzystując tylko 2048 procesorów graficznych, znacznie podcinając konkurentów. Jednak liczba ta jest myląca.

Obraz: engame.com

DeepSeek V3 wykorzystuje innowacyjne technologie: Prognozowanie wielofunkcyjne (MTP) w celu zwiększenia dokładności i wydajności; Mieszanka ekspertów (MOE) , wykorzystująca 256 sieci neuronowych, w celu przyspieszenia szkolenia i poprawy wydajności; oraz Wielowłótniego ukrytą uwagę (MLA) Aby skupić się na kluczowych elementach zdań, minimalizując utratę informacji.

Obraz: engame.com

W przeciwieństwie do ich początkowego roszczenia, semianaliza ujawniła, że ​​faktyczna infrastruktura Deepseek obejmuje około 50 000 GPU Nvidia Hopper, co stanowi całkowitą inwestycję około 1,6 miliarda dolarów i koszty operacyjne w wysokości 944 mln USD. Ta ogromna inwestycja, w połączeniu z wysokimi wynagrodzeniami dla swoich badaczy (przekraczających 1,3 miliona dolarów rocznie), jest sprzeczna z narracją o niskich kosztach szkolenia.

Obraz: engame.com

Unikalna struktura Deepseeka, jako spółka zależna Funduszu Hedgingowego o wysokiej zawartości flyer, pozwala na bezpośrednie własność centrów danych i samofinansowanie, wspieranie zwinności i szybkiej innowacji. Kontrastuje to z konkurentami zależnymi od przetwarzania w chmurze. Liczba 6 milionów dolarów odzwierciedla jedynie koszty GPU przed treningiem, z wyłączeniem badań, udoskonalania, przetwarzania danych i infrastruktury. Całkowita inwestycja Deepseek w rozwój sztucznej inteligencji przekracza 500 milionów dolarów.

Obraz: engame.com

Podczas gdy sukces Deepseeka pokazuje potencjał dobrze finansowanej niezależnej firmy AI, roszczenie „rewolucyjne budżet” stanowi nadmierne uproszczenie. Ich przewagę konkurencyjną wynika ze znacznych inwestycji, przełomów technologicznych i wysoko wykwalifikowanego zespołu. Jednak nawet przy tych znacznych wydatkach koszty Deepseek nadal pozostają znacznie niższe niż koszty jego konkurentów, z poprzednimi kosztami szkolenia modelu wynoszącym 5 milionów dolarów (R1) w porównaniu z 100 milionami dolarów Chatgpt (Chatgpt4o).