„Nvidia“ generalinis direktorius Jensenas Huangas sako, kad jo įmonės AI lustų našumas tobulėja greičiau nei istoriniai tempai, nustatyti Moore'o įstatyme, rubrikoje, kuri dešimtmečius lėmė skaičiavimo pažangą.
„Mūsų sistemos tobulėja daug greičiau nei Moore'o įstatymas”, – sakė Huangas antradienį interviu „TechCrunch”, ryte po to, kai perskaitė pagrindinį pranešimą 10 000 žmonių CES Las Vegase.
„Intel“ įkūrėjo Gordono Moore'o 1965 m. sukurtas Moore'o įstatymas numatė, kad tranzistorių skaičius kompiuterių lustuose kasmet padvigubės ir iš esmės padvigubės tų lustų našumas. Ši prognozė dažniausiai pasiteisino ir sukūrė sparčią pajėgumų pažangą ir smuko sąnaudas dešimtmečius.
Pastaraisiais metais Moore'o įstatymas sulėtėjo. Tačiau Huangas tvirtina, kad „Nvidia“ AI lustai juda spartesniu tempu; Bendrovė teigia, kad jos naujausias duomenų centro superlustas yra daugiau nei 30 kartų greitesnis dirbtinio intelekto išvadų darbo krūviams vykdyti nei ankstesnės kartos.
„Mes galime sukurti architektūrą, lustą, sistemą, bibliotekas ir algoritmus vienu metu”, – sakė Huangas. „Jei tai padarysite, galėsite judėti greičiau nei pagal Moore'o dėsnį, nes galite diegti naujoves visame kame.
Drąsus „Nvidia“ generalinio direktoriaus teiginys kyla tuo metu, kai daugelis abejoja, ar dirbtinio intelekto pažanga sustojo. Pirmaujančios dirbtinio intelekto laboratorijos, tokios kaip „Google“, „OpenAI“ ir „Anthropic“, naudoja „Nvidia“ AI lustus savo AI modeliams mokyti ir valdyti, o šių lustų pažanga greičiausiai lemtų tolesnę AI modelių pažangą.
Tai ne pirmas kartas, kai Huangas užsiminė, kad „Nvidia“ viršija Moore'o įstatymą. Lapkričio mėnesio podcast'e Huangas pasiūlė, kad dirbtinio intelekto pasaulis žengia į „hiper Moore'o dėsnio“ tempą.
Huangas atmeta mintį, kad AI pažanga lėtėja. Vietoj to jis teigia, kad dabar yra trys aktyvūs DI mastelio dėsniai: išankstinis mokymas, pradinis mokymo etapas, kai AI modeliai mokosi modelių iš didelio duomenų kiekio; po treniruotės, kuri tiksliai suderina AI modelio atsakymus naudojant tokius metodus kaip žmonių grįžtamasis ryšys; ir bandymo laiko skaičiavimas, kuris vyksta išvados fazėje ir suteikia AI modeliui daugiau laiko „mąstyti“ po kiekvieno klausimo.
„Moore'o įstatymas buvo toks svarbus kompiuterijos istorijoje, nes sumažino skaičiavimo išlaidas“, – Huangas sakė „TechCrunch“. „Tas pats nutiks darant išvadas, kur mes padidiname našumą, todėl išvados kaina bus mažesnė.
(Žinoma, „Nvidia“ tapo vertingiausia įmone Žemėje, įveikusi AI bumą, todėl Huangui naudinga tai pasakyti.)
„Nvidia“ H100 buvo pasirinktas lustas technologijų įmonėms, norinčioms mokyti dirbtinio intelekto modelius, tačiau dabar, kai technologijų įmonės daugiau dėmesio skiria išvadoms, kai kurios suabejojo, ar brangūs „Nvidia“ lustai vis tiek išliks pirmaujantys.
AI modeliai, kuriuose naudojamas bandymo laiko skaičiavimas, šiandien yra brangūs. Kyla susirūpinimas, kad OpenAI o3 modelis, kuriame naudojama padidinta bandymo laiko skaičiavimo versija, daugeliui žmonių būtų per brangu. Pavyzdžiui, OpenAI išleido beveik 20 USD už užduotį, naudodamas o3, kad pasiektų žmogaus lygio balus atliekant bendro intelekto testą. „ChatGPT Plus“ prenumerata kainuoja 20 USD už visą naudojimo mėnesį.
Pirmadienio pagrindiniame pranešime Huangas kaip skydą scenoje laikė naujausią Nvidia duomenų centro superlustą GB200 NVL72. Šis lustas yra 30–40 kartų greitesnis atliekant AI išvadų darbo krūvius nei ankstesni geriausiai parduodami „Nvidia“ lustai H100. Huangas sako, kad šis našumo šuolis reiškia, kad dirbtinio intelekto modeliai, tokie kaip OpenAI o3, kurie išvados fazėje naudoja daug skaičiavimų, laikui bėgant atpigs.
Huangas sako, kad apskritai daugiausia dėmesio skiria našesnių lustų kūrimui, o našesni lustai ilgainiui sukuria mažesnes kainas.
„Tiesioginis ir neatidėliotinas bandymo laiko skaičiavimo sprendimas tiek našumo, tiek kainos požiūriu yra padidinti mūsų skaičiavimo pajėgumus“, – Huangas sakė „TechCrunch“. Jis pažymėjo, kad ilgalaikėje perspektyvoje AI samprotavimo modeliai galėtų būti naudojami siekiant sukurti geresnius duomenis, skirtus AI modelių paruošimui ir mokymui po jų.
Neabejotinai matėme, kad AI modelių kainos per pastaruosius metus smuko, iš dalies dėl kompiuterių proveržių iš techninės įrangos kompanijų, tokių kaip „Nvidia“. Huangas sako, kad tai yra tendencija, kurią jis tikisi ir toliau naudoti AI samprotavimo modelius, nors pirmosios „OpenAI“ versijos buvo gana brangios.
Žvelgiant plačiau, Huangas teigė, kad jo AI lustai šiandien yra 1000 kartų geresni nei prieš 10 metų. Tai daug greitesnis tempas nei Moore'o dėsnio nustatytas standartas, vienas Huangas sako nematantis ženklų, kad greitai sustotų.
