Överblick

Google gjorde den 15 september två nya audio-till-audio-modeller allmänt tillgängliga i Gemini API: gemini-3.8-live och gemini-3.8-live-extended-thinking. Den första är avsedd för dialog med låg latens. Den andra kan resonera och köra verktyg i bakgrunden medan röstsamtalet fortsätter. Båda tar emot text, bild, ljud och video och kan lämna text eller ljud. Kontextgränsen är 131 072 token och maximal utdata 65 536 token.

Det praktiskt viktiga är att realtidsagenten inte längre måste välja mellan att tala och att vänta på ett långsamt verktyg. Standardmodellen har asynkrona funktionsanrop som normalläge. Extended Thinking kan lämna ett kort talat statusbesked, fortsätta resonera, anropa flera verktyg och senare leverera ett slutligt svar. Det passar teknisk support, bokningsflöden och andra uppgifter där flera datakällor måste kontrolleras utan lång tystnad.

Allmän tillgänglighet gäller modellerna, men Googles dokumentation märker fortfarande själva Live API som preview. Driftteam bör därför skilja mellan en stabil modellidentifierare och plattformens övergripande API-mognad.

Två modeller för olika väntetider

gemini-3.8-live har interfolierat resonemang men ingen valbar thinking_level. Den är tänkt för snabb turtagning, enkla kommandon och verktyg som svarar snabbt. Den stöder både blockerande och icke-blockerande funktionsanrop, där NON_BLOCKING nu är standard. Befintliga integrationer som förutsätter sekventiell verktygskörning kan därför behöva ange BLOCKING uttryckligen.

gemini-3.8-live-extended-thinking är byggd för mer komplex planering. Den stöder low, medium och high som resonemangsnivå, men inte minimal, och verktygsanrop måste vara asynkrona. Modellen kan tala ett mellanbesked medan den arbetar vidare. Det minskar upplevd väntetid, men gör också att ett talat svar inte längre säkert betyder att uppgiften är klar.

Google beskriver modellerna som optimerade för stora, latenskänsliga arbetslaster. Det är ett leverantörspåstående. Några oberoende, jämförbara latens- eller kvalitetsmätningar som motiverar en generell prestandaranking ingår inte i denna bedömning.

Standardmodellen prioriterar snabb turtagning; Extended Thinking kräver att klienten följer bakgrundsarbetet ända tills interaktionsstatus blir ledig.

Ny tillståndsmodell är den verkliga migrationsfrågan

I en vanlig realtidssession kan turnComplete: true användas som signal för att ett svar är färdigt och klienten kan återgå till lyssningsläge. I Extended Thinking kan samma signal bara betyda att ett mellanbesked har avslutats. Bakgrundsarbetet kan fortfarande pågå. Klienten måste därför följa interaction_status och först betrakta sessionen som ledig när statusen är IDLE; IN_PROGRESS betyder att resonemang eller verktyg fortfarande körs.

Detta påverkar mer än användargränssnittet. Timeoutlogik, avbrytknappar, loggkorrelation, debiteringsmätning och återförsök behöver knytas till hela interaktionen, inte till en enskild ljudsekvens. Om en användare börjar tala när ett verktygsflöde fortfarande arbetar måste systemet ha en tydlig policy för avbrott, parallell körning och vilka resultat som får visas.

Migrering från gemini-3.1-flash-live-preview till standardmodellen kräver att modellsträngen byts och att thinking_level eller thinking_config tas bort. Google rekommenderar den nya 3.8-modellen som ersättare för den äldre preview-modellen, men har ännu inte angett något avstängningsdatum för 3.1 Flash Live Preview. Det ger tid att köra dubbla tester i stället för att göra ett omedelbart produktionsbyte.

Kostnad och kapacitet måste begränsas

Standardpriset för Gemini 3.8 Live är 0,75 dollar per miljon texttoken in och 4,50 dollar per miljon texttoken ut. Ljud kostar 3 dollar per miljon indatatoken, motsvarande cirka 0,005 dollar per minut, och 12 dollar per miljon utdatatoken, motsvarande cirka 0,018 dollar per minut. Extended Thinking använder samma publicerade prisrad. Transkribering debiteras dessutom med textens utpris när den aktiveras.

En viktig detalj är att proaktivt ljud alltid är aktiverat för båda 3.8-modellerna. Google anger att indata debiteras under hela tiden som Live API lyssnar, medan utdata debiteras när modellen svarar. Långa öppna sessioner blir därför både en integritets- och kostnadsfråga. Dokumentationen rekommenderar kontextkomprimering med ett tröskelvärde och ett glidande fönster för att äldre historik inte ska göra varje ny tur successivt dyrare.

För företagsdrift bör varje session ha maximal livslängd, inaktivitetsgräns och kostnadsbudget. Ljudströmmen ska stängas när användaren lämnar flödet, och transkribering bör bara aktiveras när den faktiskt behövs. Kostnadsmätning per interaktion och verktyg är mer användbar än enbart totalsummor per API-nyckel.

Säkerhet för röststyrda verktyg

Asynkrona verktyg gör röstagenten mer användbar men ökar risken för att en gammal avsikt lever vidare efter att samtalet ändrat riktning. Varje verktygsanrop bör därför bära sessions- och interaktionsidentifierare, begränsad behörighet och en tydlig giltighetstid. Skrivande åtgärder bör kräva bekräftelse nära själva utförandet, särskilt när agenten har hunnit tala flera mellanbesked.

Klienter som ansluter direkt bör använda kortlivade autentiseringsuppgifter i stället för permanenta API-nycklar. Ljud, transkript och verktygsresultat behöver separata regler för lagring och gallring. Loggar bör visa skillnaden mellan vad användaren sade, vad modellen svarade, vilket verktyg som anropades och vilket system som faktiskt genomförde förändringen.

Sökgrundning finns enligt modellinformationen, men code execution, file search, URL context och strukturerade svar stöds inte av dessa Live-modeller. Team bör inte anta att funktioner från vanliga Gemini-modeller automatiskt finns i realtidsgränssnittet.

Rekommenderade nästa steg

  1. Kör en parallell testmiljö med gemini-3.8-live och den befintliga modellen. Mät svarstid, avbrott, verktygsfel och faktisk minutkostnad.
  2. Välj Extended Thinking endast för arbetsflöden där bakgrundsplanering ger ett tydligt värde. Enkla kommandon får mindre tillståndsyta med standardmodellen.
  3. Ändra klientlogiken så att interaction_status styr Extended Thinking-sessionens livscykel. Testa flera turnComplete-händelser före IDLE.
  4. Sätt tids-, token- och kostnadsgränser samt stäng mikrofonströmmen vid inaktivitet. Verifiera separat kostnaden för transkribering.
  5. Lägg skrivande verktyg bakom minsta privilegium, idempotensnycklar och mänsklig bekräftelse. Logga modellens och verktygens händelser med samma korrelations-id.

LabOps IT:s bedömning

Den stora nyheten är inte att en röstmodell låter mer naturlig, utan att realtidsdialog och långsamt agentarbete kan köras samtidigt i ett officiellt GA-modellpar. Det gör röst till ett mer realistiskt gränssnitt för teknisk support och operativa arbetsflöden.

Samtidigt flyttas komplexiteten till klienten. Extended Thinking kräver en riktig tillståndsmaskin och tydliga avbrottsregler; annars kan gränssnittet visa att agenten är färdig medan verktyg fortfarande arbetar. Eftersom Live API fortfarande anges som preview bör införande ske med mätbar återställningsväg, begränsade behörigheter och små produktionsdomäner. För de flesta team är standardmodellen rätt första steg. Extended Thinking bör reserveras för flöden där parallella kontroller och flera sekunders verktygslatens verkligen motiverar den extra kostnaden och styrningen.

Källor