潜规则教皇冲潜规则教皇全文阅读冲码字小苹果冲番茄小说网
图九：经过我3个小时的努力，我的卧室才变成这般模样，比昨天要好很多了。
2025年01月13日，耶律齐将黄蓉和郭芙囚于深宫,郭芙大骂其为狼心狗肺之徒。耶律齐反将怨气挞于郭芙,言她十余载未育,致使自己无子无后,遭蒙古人奚落。
潜规则教皇冲潜规则教皇全文阅读冲码字小苹果冲番茄小说网
老黄赢麻了英伟达H100订单排到24年马斯克都坐不住了2023-08-12 12:36·量子位梦晨 克雷西 发自 凹非寺量子位 | 公众号 QbitAI炼大模型最佳GPU英伟达H100全部卖空了即使现在立即订购也要等2024年Q1甚至Q2才能用上这是与英伟达关系密切的云厂商CoreWeave对华尔街日报透露的最新消息从4月初开始供应就变得异常紧张仅仅一周之内预期交货时间就从合理水平跳到了年底全球最大云厂商亚马逊AWS也证实了这一消息CEO Adam Selipsky近期表示：A100和H100是最先进的……即使对于AWS来说也很难获得更早时候马斯克还在一场访谈节目中也说过：GPU现在比d品还难获得如果找黄牛买溢价高达25%如Ebay上的价格已从出厂价约36000美元涨到了45000美元而且货源稀少这种形势下国内的百度、字节、阿里、腾讯等大型科技公司也向英伟达下了总计50亿美元的A800等芯片订单其中只有10亿美元的货能今年内交付另外80%也要等2024年才行那么现有高端GPU都卖给谁了这一波产能又是卡在了哪H100卖给谁老黄说了算ChatGPT爆发以来擅长训练大模型的英伟达A100、H100成了香饽饽甚至H100已经可以作为初创公司的一种资产找投资基金获得抵押贷款OpenAI、Meta为代表的AI公司亚马逊、微软为代表的云计算公司私有云Coreweave和Lambda以及所有想炼自家大模型的各类科技公司需求量都巨大然而卖给谁基本是英伟达CEO黄仁勋说了算据The Information消息H100这么紧缺英伟达把大量的新卡分配给了CoreWeave对亚马逊微软等老牌云计算公司限量供应（英伟达还直接投资了CoreWeave）外界分析是因为这些老牌公司都在开发自己的AI加速芯片、希望减少对英伟达的依赖那老黄也就成全他们老黄在英伟达内部还把控了公司日常运营的方方面面甚至包括审查销售代表准备对小型潜在客户说什么话全公司约40名高管直接向老黄汇报这比Meta小扎和微软小纳的直接下属加起来还多一位英伟达前经理透露在英伟达黄仁勋实际上是每一款产物的首席产物官前阵子还传出老黄干了一件夸张的事：要求一些小型云计算公司提供他们的客户名单想了解GPU的最终使用者是谁外界分析此举将使英伟达更了解客户对其产物的需求也引起了对英伟达可能利用这些信息谋取额外利益的担忧也有人认为还有一层原因是老黄想知道谁真的在用卡而谁只是囤卡不用为什么英伟达和老黄现在有这么大的话语权主要是高端GPU供需太不平衡根据GPU Utils网站的测算H100缺口高达43万张作者Clay Pascal根据各种已知信息和传言估计了AI行业各参与者近期还需要的H100数量AI公司方面：OpenAI可能需要5万张H100来训练GPT-5Meta据说需要10万InflectionAI的2.2万张卡算力集群计划已公布主要AI初创公司如Anthropic、Character.ai、欧洲的MistraAI和HelsingAI需求各自在1万数量级云计算公司方面：大型公有云里亚马逊、微软、谷歌、甲骨文都按3万算共12万以CoreWeave和Lambda为代表的私有云加起来总共需要10万加起来就是43.2万了这还没算一些摩根大通、Two Sigma等也开始部署自己算力集群的金融公司和其他行业参与者那么问题来了这么大的供应缺口就不能多生产点吗老黄也想啊但是产能被卡住了产能这次卡在哪里其实台积电已经为英伟达调整过一次生产计划了不过还是没能填补上如此巨大的缺口英伟达DGX系统副总裁兼总经理Charlie Boyle称这次并不是卡在晶圆而是台积电的CoWoS封装技术产能遇到了瓶颈与英伟达抢台积电产能的正是苹果要在9月发布会之前搞定下一代iPhone要用的A17芯片而台积电方面近期表示预计需要1.5年才能使封装工艺积压恢复正常CoWoS封装技术是台积电的看家本领台积电之所以能击败三星成为苹果的独家芯片代工厂靠的就是它这项技术封装出的产物性能高、可靠性强H100能拥有3TB/s(甚至更高)的带宽正是得益于此CoWoS全名叫Chip-on-Wafer-on-Substrate是一种在晶圆层面上的芯片集成技术这项技术可以将多个芯片封装到厚度仅有100μm的硅中介层上据介绍下一代中介层面积将达到6倍reticle也就是约5000mm?目前为止除了台积电没有哪家厂商拥有这个水平的封装能力虽然CoWoS的确强悍但没有它就不行吗其他厂商能不能代工呢先不说老黄已经表示过不考虑新增第二家H100代工厂从现实上看可能也真的不行英伟达此前曾和三星有过合作但后者从未给英伟达生产过H100系列产物甚至其他5nm制程的芯片据此有人推测三星的技术水平可能无法满足英伟达对尖端GPU的工艺需求至于英特尔……他们的5nm产物好像还迟迟没有问世既然让老黄换生产厂家行不通那用户直接改用AMD怎么样AMDYes如果单论性能的话AMD倒的确是慢慢追上来了AMD最新推出的MI300X拥有192GB的HBM3内存、5.2TB/s的带宽可运行800亿参数模型而英伟达刚刚发布的DGX GH200内存为141GB的HBM3e带宽则为5TB/s但这并不意味着AMD能马上填补N卡的空缺——英伟达真正的护城河在于CUDA平台CUDA已经建立起一套完整的开发生态意味着用户要是购买AMD产物需要更长时间来进行调试一名某私有云公司的高管表示没人敢冒险花3亿美元实验部署10000个AMD GPU这名高管认为开发调试的周期可能至少需要两个月在AI产物飞速更新换代的大背景下两个月的空档期对任何一家厂商来说可能都是致命的不过微软倒是向AMD伸出了橄榄枝此前有传闻称 微软准备和AMD共同开发代号为雅典娜的AI芯片而更早之前MI200发布时微软第一个宣布采购并在其云平台Azure上部署比如前一阵MSRA的新大模型基础架构RetNet就是在512张AMD MI200上训练的在英伟达占据几乎整个AI市场的格局下可能需要有人带头冲锋先整个大型AMD算力集群打样才有人敢于跟进不过短时间内英伟达H100、A100还是最主流的选择One More Thing前一阵苹果发布最高支持192GB内存新款M2 Ultra芯片的时候还有不少从业者畅享过用它来微调大模型毕竟苹果M系列芯片的内存显存是统一的192GB内存就是192GB显存可是80GB H100的2.4倍又或者24GB RTX4090的8倍然鹅有人真的把这台机器买到手后实际测试训练速度还不如英伟达RTX3080TI微调都不划算训练就更别想了毕竟M系列芯片的算力部分不是专门针对AI计算优化的光大显存也没用炼大模型看来主要还是得靠H100而H100又求之不得面对这种情况网络上甚至流传着一首魔性的GPU之歌很洗脑慎入时长04:10GPU之歌本家https://www.youtube.com/watch?v=YGpnXANXGUg参考链接：[1]https://www.barrons.com/articles/nvidia-ai-chips-coreweave-cloud-6db44825[2]https://www.ft.com/content/9dfee156-4870-4ca4-b67d-bb5a285d855c[3]https://www.theinformation.com/articles/in-an-unusual-move-nvidia-wants-to-know-its-customers-customers[4]https://www.theinformation.com/articles/ceo-jensen-huang-runs-nvidia-with-a-strong-hand[5]https://gpus.llm-utils.org/nvidia-h100-gpus-supply-and-demand/#which-gpus-do-people-need[6]https://3dfabric.tsmc.com/english/dedicatedFoundry/technology/cowos.htm[7]https://developer.nvidia.com/blog/cuda-10-features-revealed/[8]https://www.theverge.com/2023/5/5/23712242/microsoft-amd-ai-processor-chip-nvidia-gpu-athena-mi300[9]https://www.amd.com/en/press-releases/2022-05-26-amd-instinct-mi200-adopted-for-large-scale-ai-training-microsoft-azure— 完 —量子位 QbitAI · 头条号签约关注我们第一时间获知前沿科技动态
那么，各位看官朋友们，你们觉得新款瑞虎8 PLUS的提升幅度是否符合期待呢？小米SU7第三季度销量有望超Model 3 拿下季度第一