Senior Platform Engineer | LLM Serving & Operations
O pozici
Praha, Strahov
Jsme CRA. Nad vlastní cloudovou a datacentrovou infrastrukturou budujeme AI managed services pro reálné zákazníky. Hledáme specialistu, který převezme klíčovou roli v provozu AI runtime platformy: LLM serving, routing, vektorové databáze, observability a automatizace. Nejde o čistý research ani prompt engineering, ale o spolehlivý provoz modelů v produkci. Dostanete prostor technologicky ovlivnit platformu, nastavit provozní standardy a předávat know-how týmu, který bude AI služby dlouhodobě rozvíjet.
Jaká práce Vás čeká
Provoz AI managed services: LLM serving, vektorové databáze, monitoring a routing požadavků.
Nasazování a provoz modelů a AI služeb v kontejnerech nad Linuxem.
Vývoj automatizačních nástrojů v Pythonu.
Budování a údržba CI/CD pipeline a Infrastructure as Code.
Observability AI služeb: metriky, logy, dashboardy, alerting a routing tokenů.
Bezpečnost a spolehlivost provozu a ochrana citlivých dat.
Incident management, kapacitní plánování a průběžná optimalizace nákladů a výkonu.
Tvorba runbooků, mentoring a transfer znalostí.
Zapojení do pohotovostí pro AI managed services a navazující cloudové komponenty.
Co od Vás potřebujeme
Pokročilou správu Linuxu, automatizaci a Bash scripting.
Python pro automatizaci a práci s AI/ML platformami.
Kubernetes a Docker v produkčním nebo blízko produkčním prostředí.
Praktickou zkušenost s LLM servingem nebo AI inference workloady.
Znalost alespoň části stacku: vLLM, Triton Inference Server, Ollama nebo Hugging Face.
Observability či routing: Prometheus, Grafana, InfluxDB, LiteLLM, Langfuse nebo Helicone.
Databázový základ: PostgreSQL a/nebo vektorové databáze.
Troubleshooting distribuovaných služeb, incident management a zkušenost s produkční podporou či on-call.
Alespoň 3 roky relevantní praxe, samostatnost a schopnost mentoringu.
Co jsme v CRA připravili pro Vás
Práce s moderními technologiemi a velkou infrastrukturou, ke které se běžně nedostanete.
Technologický ownership oblasti model servingu a AI observability s možností převést moderní LLM stack do komerčního produkčního provozu.
Možnost ovlivnit návrh řešení od začátku, nejen přebírat hotové zadání.
Menší tým zkušených lidí, minimum zbytečné byrokracie a prostor pro vlastní iniciativu.
Kombinace práce z domova a z kanceláře, flexibilní začátek a konec pracovní doby.
Smlouva na dobu neurčitou a transparentní bonusové schéma.
5 týdnů dovolené + 5 MyDays, kafeterie, stravenkový paušál, parkování a firemní rekreační objekty.
Kanceláře na Strahově u parku Ladronka.