沸腾的春晚和烧焦的CPU
今年春节格外晚，立春之后又一周。本以为到了“律回岁晚冰霜少，春到人间草木知”的时节，没想到，南方遭遇了雨雪冰冻天气。春节回家的路，漫长而坎坷。为了给春晚拉人气，央视在2月初专门举行发布会。关注发布会人不多，但在影视行业打拼多年的斌哥一眼看到了亮点——今年春晚首次引入VP电影制作。春晚的VP不是副总裁（Vice President）， 而是虚拟制片（Virtual Production）。它用计算机生成图像、实时渲染等技术，将虚拟场景与现实拍摄相结合。“VP电影就是造梦，你知道原来搞VP电影得花多少钱？”看着斌哥故弄玄虚的神情，笔者知道VP电影一定很贵。斌哥说《阿凡达》是2009年VP电影巅峰之作，成本大约是2.37亿美元。“你觉得央视春晚用VP做视觉，能花多少钱？”笔者一脸茫然。斌哥得意洋洋地说，VP电影需要实时渲染引擎、LED墙、混合虚拟制作，还需要高性能GPU，支持实时光线追踪技术。“原来这些技术只能靠外国公司，贵得不得了。现在很多中国公司都能支持了。所以春晚才会用VP做视觉,总价不会太贵。中国技术擅长从跟随到超越。”看着搞电影的斌哥给笔者这个写IT的头头是道地讲GPU，竟一时语塞。“那你知道，做好一台春晚，需要多少核CPU?” 笔者反问道。现在轮到斌哥哑口无言了。其实春晚和CPU的历史，也是中国技术的故事。CPU都烧焦了春晚和CPU深度绑定，始于2015年。那一年春晚首次引入红包互动。那年春晚，人们目光不再只聚焦电视屏幕上五彩斑斓的晚会，而是盯紧手机，摇啊摇，仿佛每个人都在与时间赛跑。全民抢红包的热情带来了海啸山崩般巨大流量。除夕当晚20点到凌晨零点48分，互动总量达到110亿次。互动峰值达到了每分钟8.1亿次。人们隔着屏幕瓜分喜悦，然而抢红包的热情也“烧焦”了服务器。由于大量用户在同一时间参与抢红包，红包系统出现了短暂宕机。2018年，春晚红包迎来了新的合作方。尽管有了前车之鉴，还是没想到春晚登录实际峰值超过了2017年双十一的15倍，3倍扩容的服务器资源依旧不够。宕机使得部分用户无法正常登录，红包功能无法使用。合作方换了又换，2019年，又一家公司再次挑战春晚红包项目。要知道，抢红包的人每一年都在增加，经计算，当晚需10万台服务器支持春晚互动，其中5万台服务器需要外部采购。虽然这一年，合作方成功地支撑了高达208亿次互动，没有出现明显的服务中断，但也付出了巨大投入。至此，在春晚舞台上，互联网企业们轮番登场。虽然红包互动越来越稳了，但红包互动保障成本却居高不下。以2019年春晚为例，当年合作的互联网企业额外采购了5万台服务器，根据公开数据，2018年，全球服务器市场销售额达到了867.75亿美元，中国服务器市场出货量达到了330.4万台。当时服务器市场价格在3~5万之间，所以5万台服务器，大概是15~25亿元。在全球华人的节日里，互联网企业都希望呈现最完美的自己，最诱人的奖品和最丝滑的体验。在大厂日进斗金的日子里，25亿不过是一次昂贵的品牌营销。时至今日，大家都要打打算盘。毕竟，成本和收益是颠扑不破的商业规律。没人真的想赔本赚吆喝。你要当显眼包啊互联网企业给春晚合作打了样，按理说同行都会按照这个剧本把春晚互动保障演下去，没想到，2022年的画风变了。那一年，直到倒数19天，央视才正式官宣与京东合作。然而，疫情对全球供应链造成了严重影响。芯片生产和运输出现延迟；远程工作、在线教育、电商购物需求暴增，使得服务器供不应求，京东云本想大量采购服务器保障春晚，但却买不到。负责人开了几天会，最终拍板通过“云舰”调度计算资源保障春晚互动体验。当年参与春晚保障的春江对笔者说，技术保障团队拼死拼活、没日没夜大战了19天，办公室挤满了行军床，平均两天一次压测做了七轮，直到最终保障成功。京东人欣喜之余发现了一个秘密，不买服务器，也能接住春晚“泼天的流量”。于是仅仅隔了一年，京东又合作春晚了。2024年1月24日，京东成为总台春晚独家互动合作平台。一回生，两回熟。春江说，技术团队靠着肌肉记忆也能把春晚保障做下来，没想到负责人提出了新要求——在确保观众互动体验的前提下，再完成两个目标，一是团队全面应用大模型技术，借机推进智能应用的大规模实践；其次希望通过先进技术把保障工作的IT成本降下来，向技术要效益，相较于虎年春晚，综合成本要降低50%以上。换句话说，别家大厂保障春晚是增加服务器，京东这架势不仅不增加，还要减少服务器。笔者不知道当时保障团队的内心感受，但春江表示，经过这两年的技术捶打，大家觉得这个目标似乎也是大概率可行的。看来这一次，京东云是铁了心要当显眼包。科学地预测未来1月24日春晚官宣后，京东云迅速对外亮相了基于大模型的AI指挥官，即春晚保障Agent。这个Agent集成了京东商业大促和保障虎年春晚、湖南卫视跨年晚会相关数据，输入到保障成本降低50%的目标后，Agent“口吐莲花”，一下子生成了八、九个策略。项目备战组开会精简了下，确定了五步走战略：即流量预测、算力压榨、军演压测、智能监控、安全防护。当然，春晚互动保障涉及的工作非常多，步骤繁杂。这五步和保障工作的IT成本息息相关。其实春晚保障工作的起点，是“预测”。预知未来本是一门玄学，但流量预测，则是实打实的科学。正如京东负责智能运营的张杰所说，即便是春晚泼天的流量，也有迹可循。用户即流量，用户多则流量大。所以，根据大厂APP的活跃用户数，就能预测出每日流量。但春晚流量预测有点特殊：第一，京东提供了1亿实物礼品和30亿红包，可能会吸引新用户在当晚注册登录抢礼品；第二，京东设置了红包裂变玩法，还会再叠加部分新用户；第三，京东购物券会引发用户购物下单，这是电商公司的独有场景；第四，每个用户从红包互动到商城购物，场景越多流量计算越复杂。如果不讲究精准，大可估算一个超大流量，计算资源Buff足够，系统就能抗下洪峰。但这种方式缺点也很明显，一个字，贵。京东云要降低保障成本，就得测得准。张杰说，在书画界，临摹代表着100%再现原作。事后看，京东云通过AI模型精准预测流量，最终实现了“临摹需求”，即计算资源和高并发流量的精准匹配。从字面上看着“临摹需求”四个字，笔者不明觉厉......张杰解释说，首先京东有春晚流量历史数据以及合作地方台跨年晚会互动数据；其次，从原始数据中提取有用特征，包括时间、特殊事件等数千个维度，来提取流量周期性和趋势性特征；通过多种模型来学习和验证，包括时间序列模型、机器学习模型等等；最后，再不断地验证模型预测效果并修正。经过反复打磨，基于Data Science的预测准确率可达95%。应对流量洪峰从“硬抗”到“智抗”大多数人都没用过服务器，但都用过笔记本。当你打开很多程序，电脑忽然卡住，散热风扇声音骤然加大。这样的场景似曾相识吗？有经验的人会打开电脑任务管理，看到CPU数值一路飙升到80%~90%，卡顿原因就找到了。在强制关掉几个应用程序后，CPU数值降下来，笔记本就恢复了正常运转。这就是电脑的运算极限。服务器的极限同样如此。想降低春晚保障的IT成本，就要充分利用服务器的CPU，但利用率太高又会造成系统卡顿。怎么能实现既要、又要呢？京东云产品研发部吴亮亮说，用混部。混部，是指混合部署，就是将离线任务和在线任务部署在一起，两种任务共享算力，从而提高CPU的整体利用率。“离线任务”是指不需要实时处理的数据，例如大量数据分析、数据挖掘、数据备份等。通常，离线任务集群CPU利用率可达80%。“在线任务”是指需要实时或近实时处理的用户交互和数据，以提供即时的服务和响应。例如你在电商平台搜索、下单、支付等。为了保障稳定性，在线任务计算集群的CPU利用率通常在20%~30%。很明显，两种任务脾气不一样，离线任务“慢性子”，在线任务“急脾气”。很久以前，京东分别为离线任务和在线任务建立了计算集群，后来发现这种形式很浪费：比如，618大促时，在线任务计算量骤然增加，需要增加服务器才能保障用户下单丝滑。但离线任务的计算还空置着很多服务器，利用率不高。度过了618大促，在线集群空闲时候，离线任务很多又使得离线机群算力紧张。既然如此，干脆削峰填谷，把离线任务和在线任务混和部署在一起，谁任务重谁就多用服务器。虽然说起来容易，但把两种属性不同的任务部署在统一的计算集群，它们真的会“打架”。吴亮亮介绍说，虽然离线任务性子慢，但是抢资源能力很强。两种任务在一起干活，在线任务需要计算资源时候得不到，系统就会卡顿、不稳定。比如，春晚红包互动系统需要计算资源时，离线任务一定要第一时间让出来。但如何能保障春晚红包在线任务抢占能力呢？首先，它要享有最高优先级，即红包等在线任务工作时离线任务不能来抢占；其次，它还要有特权，即红包等在线任务需要资源时离线任务要立即退出，不能赖着不走。为了保障好红包互动系统，吴亮亮团队专门开发了一套强悍的算法，它赋予了在线任务无上特权以及彪悍的争抢能力，使得抢夺效率提高了80%。笔者问吴亮亮，这么厉害的算法，有名字吗？他说还没给它起名字，看它在春晚的表现再说。有了精准的流量预测和高效的算力腾挪，京东云应对春晚流量从加服务器的“硬抗”转向了依靠智能调度和压榨算力的“智抗”。大模型是幻兽帕鲁接下来就是压力测试，看看在预估流量压力下，系统和CPU是否撑得住。京东云技术保障部老曲对2022年春晚保障印象最深的，就是七轮压测。“为了不影响白天业务系统，压测都在零点开始。工作大平台摆满了行军床，小伙子们干完活倒头就睡。我习惯了，多晚都要回家。”五轮压测下来，老曲感觉头重脚轻，便随身带了血压仪。“那你身体今年扛得住吗？”笔者问他。他眉飞色舞地说，今年只有两轮压测，而且今年有大模型。老曲说，今年有三种大模型来帮忙。首先是ForceBot全链路军演机器人和故障分析大模型。ForceBot是制造问题的高手，故障分析大模型则是解决问题的高手。ForceBot通过模拟海量用户抢红包、购物等行为，制造了大量真实流量，对压测系统形成高并发压力。故障分析大模型则承担故障诊断、故障分析、故障记录等工作。在找到根本原因之前，故障大模型可以提出临时解决方案以缓解问题。例如，增加服务器资源、优化数据库查询、调整缓存策略等。工程师可以根据数据和故障分析报告，确认故障原因以及整改方案。第二个登场的是运维大模型。它能覆盖历年大促以来上层业务、PaaS组件以及底层基础资源各场景的故障快速发现和根因定位；能够保证在春晚红包活动期间，一旦出现问题分钟级内发现问题、定位根因及修复，为春晚红包系统稳定性保驾护航。第三个是兜底的是安全大模型。今年春晚红包互动，京东App可以不登录抢红包，这意味着DDoS攻击的风险大大增加了。演练期间，系统模拟了春晚红包抽奖期间不登录抽奖的超大流量。安全大模型则可以提供辅助决策核心信息，根据系统个性化防御组件能力，一键生成可用的防护意见，大幅提升应急响应速度。“大模型这么能干，你们不担心下岗吗？”老曲满怀信心地摇了摇头，春晚保障是个超大，超复杂的系统工程。此前大模型都是扮演个人工作助手，在这种项目引入大模型，探索智能化保障，对提升效率很有帮助。“在咱眼里，现在的大模型，就是打工的幻兽帕鲁。”中国式超越虽然挑战不小，但今年保障工作进行得相当顺利。春节前几天，老曲告诉笔者，保障筹备工作基本结束了，大家静待春晚。2024年2月9日20点，龙年春晚拉开序幕。七轮口播，光电交映间，用户在京东的互动量超552亿次，京东云稳稳地接住了洪峰。大家说，有喜悦，但没有特别激动，因为一切都在计划中。还记得前文说在线任务集群的CPU利用率通常在20%~30%吗？通过混部技术，京东云实现了混部计算集群 CPU 利用率在春晚活动期间整体60%左右，最大峰值可达85%。正是凭借着极端压榨CPU性能以及各种AI大模型提高效率，在春晚保障这种超级项目中降低成本，如此匪夷所思的目标，还真让京东云完成了。不夸张的说，同比2022年至少降低了50%。在京东云负责人看来，春晚保障既是“阅兵场”也是“练兵场”。“这次保障成功，不仅有技术升级，也促进了团队全面向智能化转型；不仅推进智能应用大规模实践，也锻炼了支持人工智能、大模型数字基础设施，形成了更全面，更高效，更低成本的大型活动保障体系。”春江曾经给笔者提过一个词，叫“中国式超越”。他说就是中国技术擅长从学习到超越，把成本压下来，还能有利润空间。这样，才能在激烈的市场竞争中活下去。春江的话，让笔者想起2023年逆势长虹的新能源汽车和并不为人熟知的液化天然气载运船。原来，选购一套汽车空气悬挂需要10万元左右成本，但中国强悍的供应链能力和研发把成本大幅度降低，越来越多国产新能源配置空气悬挂，对很多外资豪华品牌形成巨大体验优势，开始在全球市场突围。液化天然气载运船更是逐步克服了对进口技术依赖，大大降低了生产成本，从极小的全球市场份额，一路占全球总量的35%，市场份额还在不断攀升。其实，在这个变革的年代，中国技术的翅膀依旧在飞一般翱翔。在成本与体验的天平上，技术人努力寻找着精妙的平衡点。步入2024年，中国科技之舟依旧会遭遇狂风巨浪，但怀揣梦想的航海者，仍将坚定地驶向远方。（文中凯哥、春江、张杰、吴亮亮、老曲均为化名）
本信息由网络用户发布，本站只提供信息展示，内容详情请与官方联系确认。
