918博天堂官方网站|千术光盘|5小时众筹破百万美金Tiiny AI为什么能卖爆

　　3月末ღღ✿，Tiiny AI副总裁兼商业化负责人Eco Lee向虎嗅复盘了这款在Kickstarter上迅速爆火的项目时感慨道ღღ✿。

　　3月中旬ღღ✿，Tiiny AI Pocket Lab小盒子在Kickstarter上线美金起ღღ✿，上线万美元ღღ✿。上一次在该平台跑出同等速度的ღღ✿，还是2022年的拓竹Bambu Lab X1ღღ✿。短短四年间ღღ✿，拓竹已经是营收百亿的独角兽公司ღღ✿。截至发稿日918博天堂官方网站博天堂918AG旗舰ღღ✿，Tiiny AI 项目已经众筹295万美元ღღ✿，拥有2093名支持者ღღ✿。

　　笔者认为用户买单的核心原因是ღღ✿，针对搭建本地AI助手的需求ღღ✿，Tiiny AI Pocket Lab给了一个简单ღღ✿、直接的解决办法ღღ✿。当用户认为额外单独买一台AI PC太贵918博天堂官方网站ღღ✿，部署大模型太麻烦ღღ✿，依赖云端不够私密ღღ✿，算力又需要每月计算token的时候ღღ✿。它不负责用户的日常办公ღღ✿、不负责娱乐ღღ✿，只是一个负责AI需求的外接盒子ღღ✿。

　　这有些类似ღღ✿，当于我们的电脑ღღ✿、手机内存不够ღღ✿，额外买一个移动硬盘的逻辑ღღ✿。Tiiny AI 这款产品不做通用计算ღღ✿，只做100B级别模型本地推理ღღ✿，解决了用户离线隐私ღღ✿、一键部署ღღ✿、本地算力的三个最重要的需求ღღ✿。但这个答案究竟是新品类ღღ✿，还是当下时代的补丁产品ღღ✿，现在还不能下定论千术光盘ღღ✿。

　　虎嗅获悉ღღ✿，Tiiny AI背后公司国内主体为本智激活918博天堂官方网站ღღ✿，孵化自上海交通大学并行与分布式系统研究所（IPADS）ღღ✿。2025年完成数千万人民币种子轮融资ღღ✿，由光启资本领投ღღ✿、BV百度风投ღღ✿、光源L2F创业者基金跟投ღღ✿。团队2024年在GitHub上的PowerInfer（推理加速引擎）开源项目得到了9100个starღღ✿。Tiiny AI项目正是从这个明星项目孵化而来ღღ✿。

　　为什么Tiiny AI Pocket Lab会在这个时间节点火爆？不得不提及的是近期的“龙虾热”ღღ✿。OpenClaw等开源项目的火爆ღღ✿，Ollama下载量的暴增ღღ✿，都在表明ღღ✿，火爆的Jarvis需求和消费者能买到的合适的硬件产品中间ღღ✿，存在着一条市场缝隙ღღ✿。

　　在漫威电影《钢铁侠》中ღღ✿，托尼斯塔克有一个无所不能的AI助手Jarvisღღ✿。它能对话ღღ✿，控制整栋别墅的设备ღღ✿，处理海量信息ღღ✿，还能辅助完成最复杂的技术工作ღღ✿。现在来看ღღ✿，无论是企业级用户ღღ✿，还是极客玩家ღღ✿、专业用户ღღ✿，甚至部分大众用户私募基金ღღ✿！ღღ✿，都在搭建属于自己的“Jarvis”ღღ✿。

　　Eco Lee向虎嗅表示ღღ✿，Tiiny AI的团队看到了这一需求（Local AI）的爆发千术光盘ღღ✿，所以决定下场做一款硬件产品ღღ✿。

　　具体而言ღღ✿，这款硬件产品猜中三个重要的市场缝隙ღღ✿，并同时指向共同的用户痛点ღღ✿：云端成本和隐私焦虑ღღ✿；少折腾ღღ✿、低成本的本地AI入口ღღ✿。

　　首先ღღ✿，云端API足够方便ღღ✿，但长期成本和隐私是问题ღღ✿。许多的金融ღღ✿、法律ღღ✿、科研从业者等职业用户的隐私和敏感数据无法上云ღღ✿。他们强依赖网络环境ღღ✿，但Agent连续工作场景不稳定ღღ✿，因此对Local AI的需求十分强烈ღღ✿。

　　比方说极客用户需求已经出现ღღ✿，但现有方案太别扭ღღ✿。他们已经有一台高性能电脑ღღ✿，既要处理日常任务又要运行大模型ღღ✿。电脑的内存和算力被大量占用ღღ✿，即便搭载了AMD锐龙AI Max 395处理器ღღ✿、64GB内存（国内售价14999-17499元）ღღ✿，如果运行了大模型ღღ✿，打开网页都是一件困难的事情ღღ✿。他们需要额外一台专门为本地大模型推理服务的设备ღღ✿，让主力电脑回归自己的主业ღღ✿。

　　譬如一些已经依赖AI助手的用户关注持续token消耗能力以及长本文积累能力ღღ✿，已经尝试了树莓派ღღ✿，但是算力严重不足ღღ✿，能跑卷积模型（主要用于图像识别等任务的神经网络模型）ღღ✿，但跑大模型基本不可用ღღ✿；使用过专为边缘计算设计的NVIDIA Jetson系列ღღ✿，但高性能如64GB版的AGX Orinღღ✿，开发板本身在美国市场官方定价为1999美元ღღ✿，国内商城报价约17599元人民币ღღ✿，还需要自己额外买SSD存储ღღ✿，价格十分高昂ღღ✿。

　　综合来看ღღ✿，具备一定的算力和内存ღღ✿、一键部署本地模型ღღ✿、还需要有性价比的Agent Boxღღ✿，才能满足当下用户群体的急切需求ღღ✿。

　　因此ღღ✿，Tiiny AI 做了减法ღღ✿，Eco Lee向虎嗅表示ღღ✿，Pocket Lab只运行本地LLMღღ✿，系统完全为AI推理服务ღღ✿，不去预装任何macOSღღ✿、Linux或Windows等传统操作系统ღღ✿。但同时918博天堂(中国)百度百科ღღ✿，ღღ✿，在算力上做加法ღღ✿，Pocket Lab的参数能够媲美AI PCღღ✿。官方参数190TOPS（INT8）AI 峰值算力ღღ✿，已达到当前主流桌面级专业 AI 显卡的性能水平ღღ✿。

　　在操作简易性方面ღღ✿，Tiiny AI Pocket Lab能够一键下载并运行100B以下所有主流开源模型及各类开源AI应用ღღ✿。无论手头的电脑是Macღღ✿、Windows还是自组台式机ღღ✿，只需插入Tiiny设备ღღ✿，下载Tiiny OS客户端就可以使用ღღ✿。

　　换句话说ღღ✿，Tiiny AI的这款产品并不与与AI PCღღ✿、Mac mini等产品直接竞争ღღ✿。它抢到的是产品类目的真空地带ღღ✿，它不是电脑ღღ✿，仅提供了一个类似移动硬盘的外接接口ღღ✿，先针对性高敏感数据用户和高频Agent玩家的本地AI需求ღღ✿。这更像是一个个人AI工作站（类Jarvis）的早期雏形918博天堂官网ღღ✿。

　　Tiiny AI这款产品聪明之处在于ღღ✿，它将一个AI算力硬件包装成了消费级产品ღღ✿。让用户好理解ღღ✿，100Bღღ✿，即插即用ღღ✿。也因此ღღ✿，让用户减少购买决策时间ღღ✿。

　　在这背后ღღ✿，Tiiny AI团队在技术上的核心思考是ღღ✿：什么样的模型能力才能真正满足这些核心用户的使用场景？

　　10B以下的模型价值有限ღღ✿，最多做本地信息检索ღღ✿、短字符汇总ღღ✿，能力大致相当于初高中生水平ღღ✿；30B-70B模型（如Llama-3-70Bღღ✿、Qwen-30B）能胜任每日数据分析汇总ღღ✿，甚至简单代码生成ღღ✿；70B级别模型能力介于大学生与研究生之间ღღ✿，可进行长文本创作ღღ✿、深度调查ღღ✿，并且已经具备了逻辑推理ღღ✿，工具调用的能力ღღ✿，可执行24小时不间断运行的Agent任务ღღ✿。而300B以上模型ღღ✿，目前仍需依赖云端算力ღღ✿。

　　所以Tiiny AI选择了“让100B级别的模型在本地运行”为这款产品的核心目标ღღ✿。主要原因是ღღ✿，100B参数参考了GPT-OS 120Bღღ✿，这是OpenAI推出的第一款开源权重模型ღღ✿，其benchmark表现与闭源的GPT-4o相当ღღ✿。行业普遍认为ღღ✿，GPT-4o开始ღღ✿，AI才真正具备了解决实际问题的能力ღღ✿。

　　从商业化角度考虑ღღ✿，没有那么多用户有预算购买4090或5090这类售价高达几万块的高端显卡ღღ✿。因此ღღ✿，Tiiny AI需要用价格尽可能低的硬件资源博天堂918博天堂918AG旗舰官网ღღ✿，ღღ✿。ღღ✿，运行这样大的模型918博天堂官方网站ღღ✿。

　　解法并非直接采购Nvidia或AMD的芯片适配已有的infra生态ღღ✿。这涉及到Tiiny AI最核心的技术PowerInferღღ✿，一个面向端侧异构算力的推理加速引擎ღღ✿。

　　简单来说ღღ✿。PowerInfer技术是在大模型推理过程中ღღ✿，将不同的参数用不同的芯片存储ღღ✿、调用ღღ✿。参数激活模式会分为两类ღღ✿：“热激活参数”（每次与模型交互都会调用的核心参数ღღ✿，约占20%）和“冷激活参数”（仅在用户问到医学ღღ✿、法律等特定领域问题时激活）ღღ✿。这种冷热激活的特性ღღ✿，恰好适合在端侧异构算力架构下优化分配ღღ✿。

　　其中ღღ✿，GPU（图形处理器）算力强ღღ✿、速度快ღღ✿，但成本高ღღ✿、功耗大ღღ✿；而CPU（即系统级芯片SoC中的通用计算单元）算力相对较弱ღღ✿，但功耗和硬件要求更低ღღ✿。Tiiny的策略是将冷激活参数放在SoC（Armv9.2 CPU+NPU 30TOPS）中处理ღღ✿，将热激活参数放在dNPU（160TOPS）中处理ღღ✿。Tiiny AI 采用的dNPU是专门为Transformer架构设计的ASIC（专用集成电路）918博天堂官方网站ღღ✿，去除了图形渲染等无关电路ღღ✿，专为大模型推理优化ღღ✿。

　　虎嗅获悉一组实测数据ღღ✿：120B模型下ღღ✿，prefill（预填充阶段ღღ✿，即AI“思考”）速度可达300 tokens/sღღ✿，decoding （解码输出阶段ღღ✿，即AI“说线B模型下ღღ✿，prefill约2000 tokens/sღღ✿，decoding可达45 tokens/sღღ✿。作为参照千术光盘ღღ✿，人类阅读速度仅8-12token/sღღ✿。从参数表现来看ღღ✿，这套方案已能媲美高端AI工作站的运行效率ღღ✿。

　　这套方案的核心逻辑是软件调度优于硬件堆料ღღ✿，聪明的软件ღღ✿，能够弥补硬件的不足ღღ✿。Eco Lee解释ღღ✿，这些属于AI Infra层面的技术积累ღღ✿。从芯片层到Agent调度层ღღ✿，再到模型训练层918博天堂官方网站ღღ✿，都需要深厚的knowhow支撑ღღ✿。相比软件实力ღღ✿，硬件在这个赛道已经不算门槛ღღ✿。

　　当功耗变小ღღ✿，它的体积自然变小ღღ✿。但是30W的TDP对于300g的金属机身来说ღღ✿，通常需要小型风扇进行主动散热ღღ✿；如果是纯被动散热ღღ✿，表面温度可能会超过60℃ღღ✿，导致长期使用烫手ღღ✿。对此ღღ✿，Tiiny AI在众筹界面解释千术光盘ღღ✿，专门定制了薄至1.0mm VC 125*45mm + 双胞胎风扇ღღ✿，其FIN与FAN是搭接一体化设计ღღ✿，更利于解决局域化散热千术光盘ღღ✿，静音（35db以内）ღღ✿。

　　从下图可以看到Tiiny这款产品中增加了匀热片配合散热模组一同进行风冷散热ღღ✿。不过目前虎嗅也尚未接触产品实物ღღ✿，尚不清楚其具体表现ღღ✿。

　　在这些参数背后ღღ✿，笔者注意到ღღ✿，海外行业观察者从传统dense模型和单一算力指标的角度提出疑问ღღ✿：

　　例如ღღ✿，Tiiny宣传“120B大模型”ღღ✿，但该模型实际为MoE架构ღღ✿，每个token仅激活约51亿参数ღღ✿。严格来说ღღ✿，这与“运行1200亿参数模型”的技术含义存在距离ღღ✿；其次ღღ✿，关于算力宣传ღღ✿，190TOPS的AI算力ღღ✿，可能是将NPUღღ✿、GPU等不同计算单元的理论峰值简单相加得出的918博天堂官方网站ღღ✿，不同架构的算力不宜直接累加对外宣传ღღ✿。

　　当然ღღ✿，这些问题仅仅涉及MoEღღ✿、异构计算的市场营销表述层面ღღ✿，这类表述已经成为行业惯例ღღ✿，并非否定Tiiny的技术价值ღღ✿。在两个月前的美国CES展ღღ✿，Tiiny AI团队已经展现出技术实力ღღ✿，将Pocket Lab通过USB-C接口ღღ✿，连接到一台2011年生产的老旧电脑ღღ✿。完全离线的情况下ღღ✿，在这台“电子古董”的屏幕上千术光盘ღღ✿，GPT-OSS-120B（int4）以20tokens/s的速度跑起来了ღღ✿。

　　再者ღღ✿，关于内存配置ღღ✿。80GB内存分布在dNPU和SoC两个不同芯片上ღღ✿，并非全部可用于模型推理的统一内存池ღღ✿。主要原因是ღღ✿，质疑者认为ღღ✿，80GB内存分布在两个芯片上ღღ✿，受PCIe带宽限制会影响性能ღღ✿。

　　对此ღღ✿，Tiiny AI在Kickstarter上进行了回复ღღ✿：针对“内存带宽可能成为性能瓶颈”的质疑ღღ✿，Tiiny AI解释ღღ✿，将热激活参数（运行在NPU）与冷激活参数（运行在SoC）进行合并的过程ღღ✿，并不受PCIe带宽的限制ღღ✿。

　　通俗来讲ღღ✿，PCIe相当于芯片之间传输数据的“高速公路”ღღ✿，PCIe Gen4 x4这条“路”的限速约为8 GB/sღღ✿。但Tiiny指出ღღ✿，这个限速只适用于大批量数据传输的场景ღღ✿。而冷热激活参数的合并ღღ✿，实际传输的数据量极小ღღ✿。Tiiny AI以GPT-OSS-120B为例解释ღღ✿，这个模型每次需要跨PCIe传输的数据仅约5.625 KBღღ✿，传输耗时只有毫秒级的一小部分ღღ✿。由于数据量远低于带宽上限ღღ✿，PCIe链路并不会成为合并过程的瓶颈ღღ✿。

　　另外的质疑声来自交付时间ღღ✿。关于为何在8月才能交付ღღ✿，Eco Lee向虎嗅解释ღღ✿，从有Tiiny的想法到3月众筹上线个月了ღღ✿，等众筹结束后马上能进入量产状态ღღ✿；其次ღღ✿，在这期间公司还有一道“认证”的坎要过ღღ✿。比如美国一定要配备的认证FCC ღღ✿，加拿大的ISEDღღ✿、欧洲的CE以及RoHSღღ✿、REACH等认证ღღ✿。公司从1月起就在筹备TIiny的认证和合规ღღ✿，预估在6月底前能完全具备产品交付的合规资质ღღ✿。

　　在生产制造环节ღღ✿， Tiiny AI的合作伙伴是全球PC 制造头部厂商LCFC千术光盘ღღ✿，今年 5 月会在越南LCFC生产ღღ✿。Tiiny AI向虎嗅介绍ღღ✿，LCFC 认可 Tiiny 的产品形态及其代表的端侧 AI 设备发展方向ღღ✿，也正因为有他们成熟的品控和制造能力在ღღ✿，才能稳稳保证Tiiny产品的交付质量ღღ✿。

　　总的来看ღღ✿，Tiiny AI这个小盒子证实了个人AI工作站的真实需求ღღ✿，也摸清了用户场景ღღ✿，本地AI不会先成为大众硬件ღღ✿，而是先成为专业用户的生产工具ღღ✿；AgentBox或许只是窗口期品类ღღ✿，但已经切中了高敏感数据用户和高频Agent玩家的迫切需要ღღ✿，成为今年AI硬件行业的确定性趋势ღღ✿。