律师利用二手V100搭建私有AI，确保绝密文件安全，单卡仅需2880元！

11月10日消息，据报道，一位执业律师为了确保客户的机密法律文件绝不离开办公室，利用8块二手NVIDIA Tesla V100数据中心GPU，搭建了一套性能强悍的私有AI服务器。

这套系统的核心是两块各搭载4颗V100的SXM2 NVLink基板。每颗V100配备32GB HBM2显存，单卡显存带宽达900GB/s，8卡总算力汇聚成256GB的庞大显存池。

律师购入时，每块4卡基板成本约2400美元（注：约合人民币1.73万元），单卡折合仅约400美元（注：约合人民币2880元）。不过目前eBay上同款二手卡已涨至约900美元，翻了一倍多。

硬件搭配同样硬核。主机采用技嘉Threadripper Pro主板，搭载12核的3945WX处理器与256GB DDR4内存，由两颗总功率2800W的电源分别接入办公室的不同电路供电。

整套系统运行的是开源模型DeepSeek V4.1 Flash，权重经压缩后仍达248.8GB。

性能表现足以应对日常法务工作。实测在生成代码时，依托推测解码技术，速度可达215 tokens/s；在专门用于生成法律文书时，速度稳定在118 tokens/s。

尽管处理128K长度的长文档时，首Token延迟约需1分钟，但其上下文窗口高达524K，足以吞下海量卷宗。

律师估计，这套本地系统能接管其50%至60%的AI工作流，涵盖从案件档案中提取事实、日期、生成摘要到起草初稿。所有AI产出均需经过人工复核，在绝对保障数据隐私的同时，大幅降低了对云端API的依赖与成本。

这套方案证明，在内存与算力价格高企的当下，二手企业级硬件依然是极客玩家守住数据主权的一条硬核路径。