Agent Reliability Engineer (AI / LLM)
Posted
Description
Şirket Hakkında
Orbislabs AI Teknoloji A.Ş., bankacılık, sigortacılık, havacılık ve üretim gibi regüle sektörlerde faaliyet gösteren kurumlara yönelik kurumsal yapay zekâ ajan orkestrasyon platformu OrbisAgents'ı geliştirmektedir. Bulut ve şirket içi (on-premise) kurulum seçenekleri sunan platformumuz; veri egemenliği, insan onaylı (HITL) iş akışları, denetim izleri ve çoklu ajan orkestrasyonu yetkinlikleriyle kurumların yapay zekâyı güvenli ve kontrollü biçimde kullanmasını sağlamaktadır.
Görev ve Sorumluluklar
- OrbisAgents üzerinde geliştirilen yapay zekâ ajanlarının kalite standartlarının belirlenmesi ve canlıya çıkış kararlarının verilmesi
- Çok adımlı ajanlar için değerlendirme (eval) yöntemlerinin tasarlanması; deterministik kontroller, LLM-as-judge ve insan incelemesiyle görev tamamlama, araç çağrısı doğruluğu ve güvenliğin ölçülmesi
- Ekibin ajan testlerini yazıp çalıştıracağı test framework'ünün kurulması ve sürdürülmesi
- Her ajan için normal senaryoları, eksik veya hatalı veriyi, uç durumları, insan onayı (HITL) adımlarını ve zorlayıcı girdileri kapsayan test suite'lerinin ve golden dataset'lerin oluşturulması ve güncel tutulması
- Prompt injection koruması, kişisel veri (PII) maskeleme, politika ve uyum kontrollerini içeren girdi/çıktı guardrail'lerinin tasarlanması ve test edilmesi
- Değerlendirme sonuçlarının CI/CD süreçlerine entegre edilerek kalite eşiklerini karşılamayan sürümlerin otomatik olarak durdurulması
- Ajanların bulut ve müşteri şirket içi (on-premise) ortamlarına versiyonlama ve geri alma (rollback) desteğiyle kurulması
- İzleme (observability), tracing, loglama ve alarm altyapısının kurulması; regüle sektör müşterilerinin ihtiyaç duyduğu denetim izlerinin desteklenmesi
- Ajan ve model bazında kalite, gecikme, maliyet ve hata oranlarının takip edilmesi; model ve prompt karşılaştırmalarının yapılması, gerileme ve sapmaların (drift) tespit edilerek raporlanması
Aranan Nitelikler
- Üniversitelerin Bilgisayar Mühendisliği veya ilgili bölümlerinden mezun
- Yazılım geliştirme alanında 2–4 yıl profesyonel deneyime sahip; bu sürenin en az 1 yılında üretim ortamında LLM uygulamaları veya yapay zekâ ajanlarıyla çalışmış
- Python konusunda yetkin, temel düzeyde SQL bilgisine sahip
- LLM değerlendirme süreçleri (rubric, LLM-as-judge, golden dataset, regresyon testleri) tasarlama deneyimi olan
- LangSmith, Langfuse, Arize Phoenix, DeepEval, Ragas, Promptfoo gibi değerlendirme veya gözlemlenebilirlik araçlarından en az biriyle deneyimli
- LLM sistemleri için guardrail yaklaşımları (girdi/çıktı doğrulama, prompt injection koruması, kişisel veri yönetimi) konusunda bilgi sahibi
- CI/CD, Docker ve Git konularına hâkim
- Detay odaklı, analitik düşünme ve problem çözme becerisi gelişmiş, uzaktan çalışma disiplinine sahip
- İyi derecede İngilizce bilen
Tercih Sebepleri
- Kubernetes, GPU sunucuları ve izole ağ ortamlarında şirket içi kurulum deneyimi
- Şirket içi LLM servis altyapıları (vLLM, Ollama vb.) konusunda deneyim
- LangGraph gibi çoklu ajan çerçeveleri ile MCP ve A2A protokollerine aşinalık
- Prometheus, Grafana, OpenTelemetry gibi gözlemlenebilirlik araçlarıyla çalışmış olmak
- Bankacılık veya sigortacılık gibi regüle sektörlerde proje deneyimi; ISO 27001, BDDK ve KVKK gereksinimlerine aşinalık
- Türkçe LLM çıktılarının değerlendirilmesi konusunda deneyim
- Red-teaming veya yapay zekâ güvenlik testleri konusunda deneyim
Sunduklarımız
- Kurumsal yapay zekâ alanında yenilikçi bir ürünün çekirdek ekibinde yer alma fırsatı
- Canlıda çalışan 42'den fazla ajanın kalite süreçlerinde uçtan uca sorumluluk
- Önde gelen finans ve sigorta kuruluşlarının projelerinde deneyim kazanma imkânı
- Rekabetçi ücret ve tamamen uzaktan çalışma modeli
- Eğitim ve mesleki gelişim desteği
Skills
Sign in to read and join the discussion.