低延迟系统与架构

The Tail at Scale

**内容类型：**论文导读 · 作者： Jeffrey Dean、Luiz André Barroso · 机构： Google · **年份：**2013

“Tail latency is often a major contributor to the overall latency of a service.”

中文译文：尾延迟往往是服务整体延迟的重要组成部分。

文章讨论分布式服务中尾延迟（tail latency）如何影响整体响应时间。当一次请求需要等待多个并行子请求时，即使每个子服务只有很小概率变慢，整体请求出现长尾的概率也会迅速上升。作者总结了复制请求、超时、优先级和隔离等降低尾延迟的方法。

低延迟系统不能只观察平均值。行情分发、风控和交易链路需要关注 P99、P99.9 等尾部指标，并区分网络抖动、队列等待、线程调度和下游阻塞等原因。论文中的分布式服务方法不能直接等同于交易系统方案，但提供了分析尾延迟的通用框架。

本文为公开论文导读，实验数据和完整论证请阅读原文。与安湖产品的关联仅限于低延迟和确定性系统的通用背景知识。

**内容类型：**工程资料 · 作者： Ulrich Drepper · 机构： Red Hat · **年份：**2007

“The speed of the memory subsystem is often the limiting factor for the performance of applications.”

中文译文：内存子系统的速度常常是应用性能的限制因素。

这份长篇资料介绍 CPU Cache、内存层次、TLB、预取、NUMA 以及内存带宽对程序性能的影响。它帮助读者理解为什么数据布局、访问局部性和线程与内存的绑定，会影响高吞吐、低延迟程序的表现。

行情对象布局、订单簿数据结构、内存分配策略和线程绑核都应结合实际工作集与负载测量。资料中的建议属于通用体系结构知识，不能脱离硬件型号、编译器和程序负载直接套用。