AI Waifu AI Systems Engineer (LLM Optimization & Serving)

AI Waifu AI Systems Engineer (LLM Optimization & Serving)
We are seeking a AI Waifu AI systems Engineer, Machine Learning Systems Engineer who is passionate about delivering fast, efficient, and reliable LLM inference on real products. This role is dedicated to optimizing and serving large language models (and other ML models) through pruning, quantization, KV-cache/memory optimization, and inference stack improvements across diverse hardware. This position does not focus on training models or preparing training data — instead, you will make models run better and prove it with rigorous performance measurement.

Responsibilities
Model Pruning & Compression: Prune LLMs and other ML models to reduce latency/memory while preserving quality, and implement repeatable compression pipelines suitable for production deployments.
Quantization & Numerical Optimization: Apply and improve quantization approaches (e.g., INT8/INT4, mixed precision) and manage accuracy/performance tradeoffs for real-world serving. KV Cache & Context Optimization: Optimize
KV cache memory usage and behavior (allocation strategies, paging/offloading, cache formats), and tune serving context length and generation efficiency under real constraints.
Serving Infrastructure & Runtime Modifications: Modify inference/serving infrastructure (scheduler, batching, streaming, token generation loop, memory management) to improve throughput, tail latency, and stability.
Framework Feature Development: Add features and upstream-quality improvements to llama.cpp, vLLM, and Ollama to support our new model (operators, kernels, model formats, routing, runtime features, or platform integrations).
Multi-Hardware Deployment: Serve models across different hardware targets (GPU/CPU and other accelerators as applicable), and build/maintain portability layers and hardware-specific optimizations.
Custom Offload Logic (GPU/CPU/RAM/SSD): Design and implement custom logic to offload compute or memory (e.g., GPU → CPU, KV cache → RAM, weights/cache → SSD) to fit constrained devices while retaining performance.
Performance Measurement & Regression Control: Build benchmarks and profiling workflows to measure the impact of architecture/runtime changes (latency, throughput, memory footprint, quality deltas) and prevent regressions with automated testing. Innovation & Collaboration: Work closely with product, platform, and model teams to translate requirements into system-level improvements. Propose practical solutions and iterate quickly with high engineering rigor.

+++++ Be proactive — we love people who take initiative and suggest solutions to improve the team’s work! +++++

AI 彼女 機械学習システムエンジニア（LLM最適化・サービング）
当社は、実製品でLLM推論を 高速・軽量・安定 に動かすことに情熱を持つ 機械学習システムエンジニア を募集しています。本ポジションは 学習や学習データ作成が主業務ではなく、剪定（pruning）・量子化（quantization）・KVキャッシュ/メモリ最適化・推論/配信基盤の改善 を通じて、さまざまなハードウェア上でモデルを最適に動作させます。変更の効果は、必ず計測・検証して品質と性能を担保します。

Responsibilities（業務内容）
Model Pruning & Compression: LLM および各種 MLモデルの剪定（pruning）により、レイテンシ/メモリを削減しつつ品質を維持できる本番向けパイプラインを構築する。
Quantization & Numerical Optimization: INT8/INT4 や混合精度などの量子化を適用・改善し、精度と性能のトレードオフを設計・管理する。
KV Cache & Context Optimization: KV キャッシュのメモリ使用量と挙動（割当戦略、ページング/オフロード、形式）を最適化し、サービング時のコンテキスト長（最大長）や生成効率 を現実的な制約下で調整する。
Serving Infrastructure & Runtime Modifications: スケジューラ、バッチング、ストリーミング、トークン生成ループ、メモリ管理など推論/配信基盤を改修し、スループットとテールレイテンシ、安定性を改善する。
Framework Feature Development: 新モデル対応のため llama.cpp / vLLM / Ollama に機能追加・改善（演算/カーネル、モデル形式、ランタイム機能、プラットフォーム統合など）を行う。
Multi-Hardware Deployment: 複数のハードウェア（GPU/CPU等）上でモデルをサーブできるようにし、移植性とハードウェア別最適化を整備する。
Custom Offload Logic（GPU/CPU/RAM/SSD）: GPU→CPUの計算オフロード、KVキャッシュ→RAM、重み/キャッシュ→SSDなど、制約デバイス向けに性能を維持するための独自オフロードロジックを実装する。
Performance Measurement & Regression Control: 剪定/量子化/ランタイム変更の効果をベンチマークで計測し（速度・メモリ・安定性・品質差分）、自動化された回帰防止の仕組みを整える。
Innovation & Collaboration: 要件をシステム改善に落とし込み、チームと連携して素早く高品質に反復する。曖昧で難しい性能問題を主体的に解決へ導く。
+++++ 主体的に提案し、チームの改善に貢献できる方を歓迎します！ +++++