Quando si parla di parole chiave come AI, modelli di grandi dimensioni e potenza di calcolo, se si vogliono menzionare prodotti hardware, molte persone diranno NVIDIA senza pensarci.
Un analista di Wall Street una volta ha commentato:
C’è una guerra in corso nel campo dell’intelligenza artificiale e Nvidia è l’unico trafficante d’armi.
In effetti, nell'era dell'intelligenza artificiale, la posizione di NVIDIA è unica e difficile da scuotere. Ma ora un uomo coraggioso è pronto a sfidare ufficialmente la situazione.
Nel 2022, Gavin Uberti e Chris Zhu hanno fondato Etched.ai. Fin dall'inizio hanno ricevuto 5,36 milioni di dollari in investimenti iniziali, incluso l'ex CEO di Ebay Devin Wenig.
Dopo aver appena annunciato un finanziamento di 120 milioni di dollari, Etched ha rilasciato il chip AI più veloce attualmente: Sohu.
Questo Sohu non è quel Sohu che afferma di essere in grado di elaborare migliaia di parole in millisecondi. Può elaborare più di 500.000 token al secondo ed eseguire il modello Llama 70B.
Quale concetto? Ciò equivale a scrivere la Bibbia in due secondi o a scrivere 15 trilioni di gettoni in un anno.
Secondo il sito ufficiale Etched, Sohu integra l'architettura Transformer a livello hardware ed è il primo chip dedicato (ASIC) progettato specificamente per il modello Transformer.
È questa specializzazione che porta a Sohu un enorme miglioramento delle prestazioni. Rispetto a NVIDIA H100, la velocità di inferenza di Sohu è aumentata da 8 a 10 volte.
Un server dotato di otto chip Sohu può sostituire ben 160 GPU NVIDIA H100.
Per gli scenari di programmazione, Sohu può rispondere a centinaia di risultati in parallelo attraverso la ricerca ad albero Monte Carlo per fornire la risposta migliore.
Che si tratti di un assistente vocale o di un servizio clienti intelligente, Sohu può analizzare migliaia di parole in millisecondi.
E Sohu supporta anche molteplici decodifiche speculative, che possono generare nuovi contenuti in tempo reale a velocità estremamente elevate.
Essendo il primo chip ASIC (circuito integrato specifico per l'applicazione) Transformer al mondo, ogni chip Sohu ha un solo core, utilizza il processo di produzione a 4 nm di TSMC ed è dotato di memoria HBM3E da 144 GB a larghezza di banda elevata.
Rispetto alla GPU Blackwell (B200) di nuova generazione di Nvidia, Sohu è molto più veloce ed economica.
In soli due anni, Etched è cresciuta da zero fino a diventare quello che è adesso, il che è davvero un "miracolo".
I fondatori di Etched, Gavin Uberti e Chris Zhu, sono entrambi di origine cinese ed entrambi hanno un ricco background.
Gavin Uberti e Chris Zhu hanno entrambi frequentato l'Università di Harvard e hanno trascorso un periodo della loro vita universitaria. Successivamente, per alcuni motivi, hanno scelto di prendersi un anno di pausa e hanno trovato uno stage presso OctoAI.
Il contenuto lavorativo delle due persone a quel tempo era principalmente responsabile dello sviluppo del compilatore open source e del microkernel ApacheTVM. Ma durante il tirocinio, hanno scoperto che alcuni progetti nel set di istruzioni di Arm erano molto inefficienti, rendendo la loro efficienza lavorativa molto scarsa.
Gavin Uberti ha dichiarato: "Questo problema non può essere risolto. Devo affrontarlo ogni volta che lavoro, il che fa sì che Chris e io sentiamo che dobbiamo fare meglio".
Pensando a come risolvere questo problema, hanno improvvisamente scoperto che avrebbero potuto utilizzare questa idea per progettare un chip di accelerazione AI.
Quindi i due scelsero di abbandonare Harvard e fondarono una società di startup di chip AI focalizzata su LLM – Etched.
Dal punto di vista di Gavin Uberti, il design della versione pubblica non può portare miglioramenti rivoluzionari delle prestazioni, quindi hanno sviluppato un chip di accelerazione dedicato sotto l'architettura Transformer.
Gavin Uberti una volta disse:
Dobbiamo fare grandi sforzi su un'unica architettura per consentire al chip di gestire i compiti dell'intelligenza artificiale. L'obiettivo è troppo grande e il chip deve essere progettato per compiti più specifici… Pensiamo che Nvidia prima o poi lo farà.
Gli attuali prodotti AI tradizionali come ChatGPT, Claude, Gemini e Sora sono tutti guidati dall'architettura Transformer.
In quanto primo chip ASIC Transformer al mondo e con risultati così eccezionali, Etched ha naturalmente attirato molta attenzione.
Il 25 giugno, Etched ha annunciato il completamento di un finanziamento di serie A da 120 milioni di dollari. Il finanziamento è stato co-gestito dalle società di venture capital di New York Primary Venture Partners e Positive Sum Ventures.
Anche la sua formazione di angel investor è molto forte, tra cui il venture capitalist Peter Thiel, il CEO di GitHub Thomas Dohmke, il co-fondatore della società di guida autonoma Cruise Kyle Vogt e il co-fondatore di Quora Charlie Cheever.
Quando è stata fondata nel 2022, Etched immaginava un futuro in cui Transformer avrebbe dominato. Gavin Uberti ha dichiarato: "Stiamo facendo la scommessa più grande nel campo dell'intelligenza artificiale".
Se facciamo bene la nostra scommessa, Sohu cambierà il mondo. Ecco perché osiamo scommettere.
# Benvenuto per seguire l'account pubblico WeChat ufficiale di aifaner: aifaner (ID WeChat: ifanr) Ti verranno forniti contenuti più interessanti il prima possibile.
Ai Faner |. Link originale · Visualizza commenti · Sina Weibo