类似必威好用的平台

类似必威好用的平台

生成式AI的兴起鼓舞了对能在腹地硬件上运行或锤真金不怕火模子的AI职责站的需求。琢磨词,当代PC已被领悟不及以胜任这一任务。典型的条记本电脑唯有饱胀的内存来加载具有80亿到130亿参数的大说话模子,这比据忖度领有向上一万亿参数的前沿模子要小得多,智能过程也低得多。即使是最强壮的职责站PC也难以为领有向上700亿参数的大说话模子提供处事。

Tenstorrent公司的QuietBox 2试图填补这一空缺。尽管它看起来像一台PC职责站,但QuietBox 2包含四个该公司定制的Blackhole AI加快器、128GB的GDDR6内存(GPU中使用的专用内存)和256GB的DDR5系统内存(悉数384GB)。这种建树提供饱胀的内存来加载OpenAI的GPT-OSS-120B,况且不错以接近每秒500个Token的速率运行Meta的Llama 3.1 70B等中等规模模子。手脚参考,这比OpenAI的GPT-5.2或Anthropic的Claude 4.6的平均响应速率快几倍。QuietBox 2的预期零卖价为9999好意思元,琢磨于2026年第二季度发布。

Tenstorrent聚拢独创东谈主兼系统工程师Milos Trajkovic说:"咱们AI加快器所领有的128GB GDDR信得过界说了你能以合理速率运行多大模子。咱们的128GB GDDR6 RAM需要四块Nvidia RTX 5090显卡才能收场。这无法装进今天1600瓦的模式因子中,而且四块RTX 5090 GPU的本钱是雄壮的。"

功耗问题至关垂危

功耗效携带悟是至关垂危的。Nvidia提议单块RTX 5090的系统功率为1000瓦,因此即使是双GPU成立也会向上典型15安培、120伏电路的一语气功耗。配备四块RTX 5090的系统在负载时可能需要4000瓦或更多功率。

另一方面,QuietBox 2在满负荷时仅破钞1400瓦。它不会跳闸,因此不错在典型桌面PC可能插入的任何方位使用,包括家庭办公室。

这并不是QuietBox 2伪装成世俗PC的惟一容颜。该机器的定制机箱专为复旧micro-ATX主板模式因子而构建,主板自己是搭载AMD CPU的AMD芯片组。硬件通过访佛于PC职责站和游戏想象机使用的闭环液冷系统保捏冷却。它以至具有可定制的RGB LED照明和一个展示硬件的大型半透明窗口。

Tenstorrent热机械工程师兼团队恬逸东谈主Chris Goulet说:"咱们的很多里面开发东谈主员齐条目一台QuietBox,因为它们相配容易部署。你只需将开荒输送给他们,他们把它放在桌子上,通电,就不错驱动职责了。"

QuietBox 2与桌面PC的不同之处在于其AI加快器。它配备了四个Tenstorrent的Blackhole专用集成电路,这是专为AI职责负载想象的RISC-V芯片。Blackhole封装在推广卡上;每个卡有120个Tensix AI加快器和32GB GDDR6内存,悉数480个Tensix AI加快器和128GB GDDR6。Blackhole还在每个加快器上有多数片上SRAM,为180MB。

Nvidia的竞争决策

Tenstorrent在这种设施上并不孤独孤身一人。Nvidia客岁发布的DGX Spark将Nvidia的GB10芯片封装在一台饭盒大小的机器中。Spark的升级版DGX Station搭载Nvidia的GB300,于2026年3月16日驱动秉承订单。

DGX Station看起来像桌面PC职责站,变体版块将由Dell和Asus等有名PC品牌制造。Nvidia的家具比QuietBox 2领有更多内存,最高可达748GB,但系统功率标注为1600瓦,这格外接近15安培、120伏断路器能处理的最大值。这响应了他们对机器使用容颜的不同愿景。天然,Nvidia DGX Station的迥殊内存并未低廉。固然大多数DGX Station系统制造商尚未公布订价,但一家零卖商已翌日自PC制造商MSI的DGX Station标价为85000好意思元。

当我在2025年DGX Spark和Station发布后与Nvidia家具营销总监Allyn Bourgoyne交谈时,他说公司瞻望大多数DGX系数者将把这些开荒用作而已造访职责站。"你可能看到的常见情况是,我有我的Windows条记本电脑,我将通过收罗使用我的DGX Spark。我将向它发送任务。"他补充说,公司不错部署DGX Spark和Station系统来同期为多东谈主提供处事。

Tenstorrent QuietBox 2不错这么使用,但该公司也但愿针对东谈主与想象机一双一交互提供雅致无比体验。Trajkovic说:"你无须而已SSH干预该开荒。你通过HDMI运动显现器,它就像你家里的PC雷同。它有Ubuntu桌面和实用设施。"

Nvidia的DGX系统也运行Ubuntu的变体(DGX OS)并包含桌面环境,但细节很垂危。DGX系统使用基于ARM架构的Nvidia CPU和定制芯片组。QuietBox 2使用AMD x86 CPU和兼容芯片组,建树更像传统PC。这对QuietBox 2的软件兼容性应该是一个上风。

Tenstorrent通过专注于开源软件来把握这极少。QuietBox 2的系数这个词软件栈,从TT-Forge(该公司的AI编译器)到TT-Metalium(提供内核级硬件国法的初级软件开发器用包),齐是开源的并在GitHub上可用。Tenstorrent还发布了其Tensix中枢的领导集架构,因此开发东谈主员不错着实地看到他们的职责负载如安在硬件上推论。比拟之下,Nvidia专注于其私有的CUDA生态系统,DGX OS不是开源的。

Goulet说:"咱们的软件栈很大一部分是全齐绽放的,咱们合计从硬件角度来看,咱们也念念走访佛的谈路。"

Q&A

Q1:QuietBox 2和世俗PC比拟有什么上风?

A:QuietBox 2配备了四个定制Blackhole AI加快器和384GB总内存,能以接近每秒500个Token的速率运行Meta的Llama 3.1 70B等大说话模子,比世俗PC的AI处理才调强得多。同期它仅破钞1400瓦功率,可在家庭办公环境日常使用。

Q2:Tenstorrent和Nvidia的AI职责站有什么不同?

A:Tenstorrent QuietBox 2订价9999好意思元,罗致AMD x86架构,软件栈全齐开源;而Nvidia DGX Station订价约85000好意思元,罗致ARM架构,使用私有CUDA生态系统。QuietBox 2更小心个东谈主平直使用体验,DGX Station更偏向而已造访使用。

Q3:这些AI职责站主要惩处了什么问题?

A:主要惩处了腹地运行大说话模子的硬件扫尾问题。世俗条记本只可运行80-130亿参数的模子,而这些AI职责站能运行700亿参数以上的大型模子,为企业和开发者提供了腹地部署高性能AI模子的惩处决策。