Qualcomm har på teknologimessen Snapdragon Summit på Hawaii præsenteret sin nye chip-familie, Snapdragon Elite Gen 6 og Elite Extreme Gen 6. Den store nyhed er, at telefoner med chippen kan køre egne AI-agenter direkte på enheden — uden at sende brugerens data til skyen først.
Det skriver Computerworld.
Op til 30 milliarder parametre lokalt på telefonen
Ifølge Qualcomms executive VP for datacenter- og edge-løsninger, Durga Malladi, har chippen fået en revideret NPU-delchip kaldet "Hexagon", der kan køre sprogmodeller på op til 30 milliarder parametre. Sammen med såkaldte "Mixture of Experts"-modeller leverer chippen 30 tokens i sekundet og understøtter et kontekstvindue på 32.000 tokens — svarende til adskillige dusin sider tekst.
På en prototype-mobil er det ifølge Malladi allerede lykkedes at køre en lokal 8B-model med 25 tokens i sekundet.
Ambitionen er, at AI-agenter fremover kan trække på mobilens egne data — fotos, apps, vaner — og løse opgaver lokalt, uden at følsomme oplysninger skal behandles i skyen. Hvor nyttige agenterne bliver i praksis, afhænger dog i høj grad af, om softwaren rent faktisk får adgang til at arbejde på tværs af telefonens funktioner.
Qualcomm har indgået samarbejde med Liquid AI, der bidrager med et hukommelseslag, som lokalt lagrer brugerens vaner og præferencer — og som ifølge selskabet også kan trække kontekst fra andre enheder, fra smarture til smartbriller. Hugging Face bidrager med optimering af de lokale sprogmodeller på Qualcomms hardware, herunder hybride løsninger hvor nogle opgaver klares på enheden og andre i skyen.
2 nanometer og hurtigste mobilchip til dato
De nye chips er fremstillet med 2 nanometer-litografi hos taiwanske TSMC og når en topfrekvens på 5,0 GHz — ifølge Qualcomm den hurtigste, en mobilchip nogensinde har kørt med. Chippen bliver desuden den første til at understøtte den kommende hukommelsesstandard LPDDR6, som giver op til 114 GB/s båndbredde og op til 24 GB RAM. Af hensyn til de aktuelle RAM-priser understøtter platformen dog fortsat også LPDDR5X og mindre hukommelsesmængder.
Chippen rummer flere AI-komponenter i form af mikro-NPU'er, blandt andet i grafikchippen og i en "Sensing Hub", der indsamler og behandler mobilens lyd- og sensordata med lavt strømforbrug for at lære brugerens vaner. Samlet giver det 13 procent højere rå ydelse og op til 44 procent højere grafisk ydelse i spil. Nye matrix-optimerede kerner i grafikchippen understøtter desuden AI-drevne effekter á la Nvidias DLSS-teknikker — frame-generation og AI-upsampling — som Qualcomm siger giver "konsollignende kvalitet" i spil.
Xiaomi og Motorola først ude — men uden agent-markedsføring
De første telefoner med chippen bliver Xiaomis netop offentliggjorte 18 Pro-serie og Motorolas Signature 27, som begge ventes at debutere til efteråret.
Ingen af producenterne markedsfører foreløbig deres nye modeller på de indbyggede agent-løsninger. Hvor meget af chippens AI-evner der reelt bliver til brugbare funktioner, afhænger derfor i høj grad af, hvad Xiaomi og Motorola vælger at bygge oven på hardwaren.