#caching
3 discoveries · Hand-picked discoveries from the open web, newest first.
-
Uber Cuts Translation Cache Memory by up to 90% While Keeping P99 Latency Below 1 MS
Uber redesigned its Go-based translation cache to reduce its initial memory footprint by more than 90% while maintaining a cache hit rate above 99.9% and p99 disk-backed cache miss latency below 100 microseconds. The hybrid architecture combines in-memory keys and frequently accessed values with disk-backed storage, reducing garbage-collection overhead and memory consumption. By Leela Kumili
InfoQ · EN
-
新機能、ElastiCache の distributed KV caching を GPU 2 台の vLLM で試す
2026 年 11 月に、Amazon ElastiCache for Valkey で distributed KV caching が使えるようになりました(AWS の What's New)。セルフホストした LLM の推論サーバーが計算した KV を ElastiCache のクラスタに置き、複数の GPU サーバーで共有する機能です。What's New によると、GPU サーバーごとの小さなキャッシュでは、AI エージェントやチャットのように同じ文脈を何度も送り直す使い方で、同じ計算を繰り返すことになります。共有のティアを足すと、別のセッション、振り分け先の変...
Zenn · JA
-
Choosing the Right Caching Strategy on AWS
Caching can make an AWS application faster and cheaper, but the wrong cache can serve stale or private data. Learn where each AWS caching option fits and what it costs you in complexity.
Andrew Gilliland · EN