已成为最普遍的人工智能应用之一。它存在于我们的手机、汽车、呼叫中心——我们需要快速、自然的人机界面的任何地方。训练实现此目的的模型是一个云规模的 GPU 问题，但在生产环境中日复一日地运行这些模型就是推理。这就是经济开始重要的地方。

　　语音识别的推理既是吞吐量驱动的，也是延迟敏感的。您需要实时处理大量音频流，每个响应只需几十毫秒即可传递。如果管道停滞，用户会立即注意到。延迟是自然交互的大敌：延迟使语音系统感觉像机器人、脆弱和令人沮丧。GPU 可以处理大量工作负载，但它们的批处理策略通常会引入不可预测的延迟。CPU 跟不上。ASIC 需要数年时间来设计，到发货时，模型通常已经发生了变化。这就是FPGA适合的差距。

　　FPGA在这里特别引人注目的是它们的适应性。语音识别工作负载不需要到处都具有浮点精度。将位宽降低到 16 位或 8 位，您几乎无法触及精度。在某些层中走得更远——低至 4 位甚至三元——模型仍然提供可用的结果。这为自定义数据路径打开了大门，这些数据路径以极小的功率咀嚼推理。由于FPGA逻辑具有确定性和深度流水线化，因此即使在重负载下，它也能以始终如一的低延迟提供结果。

　　在 FPGA 供应商中，Achronix处于一个有趣的位置。与 AMD/Xilinx 或 Intel/Altera 不同，它们并不局限于服务于大型母公司的广泛战略优先事项。这使他们可以自由地在更窄但利润丰厚的机会上加倍努力，例如语音识别。AMD 收购 Xilinx 是为了其数据中心加速和嵌入式产品组合，但语音推理不太可能成为 AMD 产品战略的首位。英特尔对 Altera 的管理经历了多年的干扰，直到现在，该品牌才以更清晰的路线图重新出现。Xilinx 和 Altera 都构建了出色的 FPGA，但它们的组织不可避免地瞄准了广泛的横向市场。

　　Achronix没有这个包袱。他们有能力查看语音识别等应用程序，看到经济最佳点，并为其定制故事。对我来说，这是一个聪明的游戏。在广泛的人工智能加速器市场与英伟达正面竞争将是一场失败的战斗。NVIDIA 拥有这种对话，他们不会轻易被赶走。但语音识别是一个特定的、有限的问题，其中经济性恰好发挥了 FPGA 的优势：降低精度、低功耗、可预测的低延迟、可重构性和部署灵活性。通过倾向于这一点，Achronix可以开辟一个可防御的利基市场。

　　Speedster 7t 架构放大了这些优势。其高性能计算结构、紧密集成的片上网络 （NoC） 以及对高速内存和 I/O 的支持将基于 FPGA 的推理的适应性转化为实际吞吐量。凭借 GDDR6 内存及其确定性 NoC，Speedster 7t FPGA 可以以最小的延迟和最大的并行度流式传输多个并发音频通道和神经网络张量。您不仅可以获得灵活的管道，还可以根据不断发展的模型架构进行调整、重新配置和扩展的管道。无需从头开始。

　　Achronix 还将该技术打包到 VectorPath 815 加速卡中，将 Speedster 7t 性能引入标准 PCIe 外形尺寸。对于数据中心运营商来说，这意味着不需要定制板设计：您可以将卡放入现有服务器中，加载模型，然后开始加速推理。该卡集成了与基础芯片相同的 GDDR6 内存接口和高速 SERDES，为开发人员提供了一种交钥匙方式来大规模评估或部署语音识别，而无需等待 OEM 硬件设计周期。而且，至关重要的是，由于结构是基于 FPGA，因此延迟仍然是确定性的，从而避免了经常困扰 GPU 工作负载的抖动。

　　实际上，这意味着基于 Speedster 7t 构建的语音识别部署（或直接构建在 VectorPath 815 卡上）可以提供与基于 GPU 的系统相同或更好的准确性，同时每次推理使用的瓦数要少得多，并且实时响应更一致。计算、内存和数据流逻辑的更紧密耦合意味着您将更多的功率预算花在实际的数学上，而更少的资源预算用于打乱位。这也意味着，随着模型量化技术的改进，您只需重新编译和重新映射逻辑，就可以将相同的硬件用于模型的更新版本，这比固定架构 ASIC 或灵活性较低的加速器具有明显的优势。

　　电力消耗已成为整个社会的核心问题。目前正在建设的大型人工智能数据中心预计将消耗千兆瓦的电力。从这个角度来看：一个专门用于人工智能训练和推理的超大规模设施可以消耗与中型城市一样多的电力。这些站点附近的社区正在提出关于电力从何而来的尖锐问题。仅冷却就消耗了相当于数千个家庭的水。推理中燃烧的每一焦耳不仅仅是运营支出中的一个项目，还包括碳排放、水压力和本已脆弱的电网的压力。

　　这就是为什么降低精度推理如此重要的原因。降低语音识别的功耗要求不仅使部署成本更低，而且使其更具可持续性。如果您可以将每次推理的瓦数减少一半，您就可以在不增加占用空间的情况下增加服务的用户数量。由于 Speedster 7t FPGA 允许您将精度精确地调整到模型的容差，因此它们可以让您比固定架构替代方案更有效地节省这些成本。

　　架构在这里也发挥着重要作用，Achronix 的高带宽片上网络 （NoC） 结构将计算和内存资源与可预测的确定性延迟连接起来。这对于数据流效率可以决定性能成败的语音工作负载至关重要。NoC 不是在传统 FPGA 路由结构中解决拥塞问题，而是提供专用的高速通道，使管道保持满载并立即响应。

　　内存带宽是推理的另一个限制因素，Achronix 对 GDDR6 的支持是明智之举。虽然一些竞争对手严重依赖 HBM，但 GDDR6 以更低的成本提供出色的带宽，并具有更熟悉的设计和供应生态系统。对于语音等推理任务，精度可能会降低，内存效率为王，带宽和经济性的平衡会得到回报。

　　最后，还有 I/O。语音识别系统通常需要实时摄取和处理大量并行流。Speedster 7t FPGA 提供非常高的 I/O 带宽和 SERDES 速度，这使得将加速器直接连接到网络结构中变得更加容易，而不会出现瓶颈。在毫秒级延迟可以决定自然和笨拙用户体验的应用程序中，这些快速管道很重要。

　　自公司成立以来，我一直在关注和撰写有关 Achronix 的文章，他们表现出了随着市场和技术变化而调整的不可思议的能力。他们一次又一次地设法确定了正确的利基市场——他们不必与最大的参与者正面交锋的地方——并制定可靠的战略来利用。这种关注使他们能够蓬勃发展，而更大的竞争对手往往被公司议程拉向多个方向。

　　当您查看总拥有成本时，所有这些因素加起来。购买硬件是最便宜的部分。在多年的部署中对其进行喂食和冷却是账单增加的地方。您节省的每一瓦特都转化为节省的美元，每年通过重新配置而不是更换来延长硬件的使用寿命是另一个盈利项目。这就是这里的真实故事：大规模语音识别不是谁拥有最大模型的战斗，而是谁能够以最低的功耗、最低的延迟和最长的寿命提供相同的准确性的战斗。

　　这就是为什么我认为 Achronix 的 Speedster 7t 驱动战略值得关注。虽然大型 FPGA 参与者被企业优先事项拉向多个方向，但 Achronix 可以将赌注放在他们的技术齐头并进的应用程序上。他们不需要在整个人工智能领域取代 NVIDIA。他们只需要让语音识别比替代方案更便宜、更快、更可持续地运行。如果他们能做到这一点，他们就会在人工智能市场中分得一块既有意义又可防御的份额。

　　最后，语音识别不仅仅是教机器理解我们。这是关于以一种在经济和环境上都有意义的方式做到这一点。这就是我看到 FPGA（尤其是 Achronix 的 Speedster 7t 设备）脱颖而出的地方：它们不仅能听到文字，还能听到文字。他们倾听资产负债表，甚至可能听取地球的声音。