Senior LLM Inference Engineer / AI Infrastructure Architect

Uppdragsbeskrivning Vi söker en Senior LLM Inference Engineer / AI Infrastructure Architect till ett uppdrag med fokus på att optimera drift, prestanda och kostnad för AI-tjänster baserade på språkmodeller och AI-agenter. I rollen analyserar du hur språkmodeller används i befintliga lösningar och identifierar flaskhalsar kopplade till bland annat tokenförbrukning, svarstider, samtidighet och minnesanvändning. Du arbetar både med själva inferensen och med hur applikationer och agentflöden använder modellerna, med målet att skapa en snabbare, mer resurseffektiv och ekonomiskt hållbar lösning utan att försämra svarskvaliteten. Du utvärderar modellval, användning av mindre modeller för enklare uppgifter och optimeringstekniker som prompt caching, batchning och kvantisering. Rollen omfattar även lasttestning, kapacitetsplanering och jämförelse mellan modell-API, egen drift i molnet och lokal infrastruktur. En viktig del av uppdraget är att ta fram ett konkret beslutsunderlag för framtida driftstrategi, inklusive rekommendationer kring GPU-kapacitet, skalning och vid vilka användningsvolymer olika alternativ blir ekonomiskt motiverade. Du ansvarar även för dokumentation och kunskapsöverföring till utvecklingsteamet. Förväntat resultat Vid uppdragets slut ska det finnas en dokumenterad bild av flaskhalsar och kostnadsdrivare, verifierade förbättringar av kostnad, svarstid eller kapacitet samt ett konkret beslutsunderlag för fortsatt drift och skalning. Kvalifikationer Du har praktisk erfarenhet av att driftsätta och optimera språkmodeller i produktion. Du har god förståelse för sambandet mellan modellstorlek, kontextlängd, GPU-minne, samtidighet, svarstid och kostnad. Du har erfarenhet av Python, Linux och containerbaserad drift. Du har arbetat med inferensramverk som vLLM, TensorRT-LLM eller motsvarande. Du har erfarenhet av prestandamätning, lasttestning och kapacitetsplanering för AI-lösningar. Du kan utvärdera och implementera optimeringar som caching, batchning och kvantisering. Du kan omsätta tekniska resultat till tydliga rekommendationer och affärsmässiga beslutsunderlag. Meriterande Det är meriterande om du har erfarenhet av AI-agenter och agentbaserade arbetsflöden. Ett plus är erfarenhet av distribuerad inferens och skalning över flera GPU eller noder. Erfarenhet av att jämföra molndrift, egen drift och hybridlösningar ur både tekniskt och ekonomiskt perspektiv är meriterande. Arbetsform: Hybrid