田晏林 发自 凹非寺

量子位 | 公众号 QbitAI

手术视频的“黑盒”，被一脚踢爆了！

就在这两天，GitHub和Hugging Face社区上线了一枚医疗大模子领域的“核弹”。

全球鸿沟最大、性能最强的医疗视频会通大模子——uAI Nexus MedVLM（中语名：元智医疗视频会通大模子）开源！

最惊东谈主的是，这玩意儿是真的能看懂手术。

论文照旧被CVPR 2026收录，团队还同步甩出了一套由6245个视频-领导对组成的程序测试集。

啥倡导？医疗视频会通，终于有了一把“民众标尺”。

而如斯兼具鸿沟与精度的医疗视频数据开源，在业内尚属初次。

小编第一时刻冲到Hugging Face，把模子拉下来实测了一波。

先叮咛一下uAI Nexus MedVLM的硬贪图：

实测效果咋样？

Demo的体验想象极度友好：界面中枢模块赫然；复旧上传手术视频文献。

你不错上传我方的医疗视频，也不错用预置示例径直测试。

我尝试用示例的腹腔镜胆囊切除术视频，测试了三个临床中枢维度，并对比了通用大模子（GPT-5.4、Gemini-3.1、某国产大模子）和uAI Nexus MedVLM的输出各异。

定量实测的数据太荼毒了！手术安全评估：准确率89.7%。

啥倡导？GPT-5.4只好16.4%，Gemini-3.1是24.2%，某国产大模子是30.9%。

也便是说，uAI Nexus MedVLM的准确率是GPT-5.4的近5.5倍，是Gemini-3.1的3.7倍，是国产大模子的近3倍。

时空当作定位：uAI Nexus MedVLM的mIoU是Gemini-3.1的3.2倍，是国产大模子的3.7倍，是GPT-5.4的47倍，

视频敷陈生成（5分制）：uAI Nexus MedVLM 拿到4.24分，GPT-5.4只好3.98分，某国产大模子只好3.5分，Gemini-3.1只好3.7分。

而通过MedGRPO强化学习优化后，比较基座模子，uAI Nexus MedVLM的器械定位才气培植14%；手术方法识别才气暴涨52%；手术描写质地培植16%～25%。

uAI Nexus MedVLM狡饰内镜腔镜手术、盛开式手术、机器东谈主手术、照顾操作等多类临床场景，涵盖了8个手术数据集结的8个任务：

视频节录（VS）、关节安全视线评估（CVS）、下一步操作瞻望（NAP）、手段评估（SA）、时刻当作定位（TAG）、密集视频描写（DVC）、区域级描写（RC）和时空基础化（STG）。

每项任务的分解都卓越了GPT和Gemini。

再看定性实测的限定，把一段被标志了绿色框的手术视频发给大模子，让它描写。

输入问题：你是又名专攻微创手术的外科分析众人。这段视频展示了腹腔镜胆囊切除术的内镜画面。请描写0.0秒时，领域框内物体的情景，以及在0.0～29.0秒时刻段内的操作。

程序谜底是：钳无间夹持并将胆囊向手术视线的左上方牵拉，提供反向牵引和走漏。

GPT-5.4这边呢，它只可给出空泛的描写，未能识别出具体器械。

Gemini-3.1则将器用诞妄识别为“电凝钩”，描写成了不正确的操作。

某国产大模子：则无法识别出正确的手术操作方法。

只好uAI Nexus MedVLM，给出了接近程序谜底的描写：

位于左上方的合手钳无间进取并朝中央牵引胆囊，保持张力并为钩子走漏辞别平面。

随后，我看了下示例给出的8个任务分解，一个比一个令东谈主震荡。

为幸免真实手术场景带来的不雅感不适，咱们及第了一段谦和的示例视频，内容是照拂给患者监测躯壳贪图。

视频涵盖了照拂稽查血压计、稽查体温计、照顾纪录、洗手、测量血压、测量体温、脉搏测量、呼吸测量等责任。

当今，咱们迅速考研8个任务中的一个，比如「时刻当作定位」。

输入问题：脉搏测量当作发生在什么时刻？

程序谜底是：46.0-61.8seconds。

模子给出的瞻望是：43.0-65.0seconds。前后症结不高出4秒，且正确谜底就在瞻望范围内。

在AI医疗领域，将AI用于影像扶持会诊、病历书写、质控惩处等场景早已不是簇新事，在不少病院照旧落地。

但有一个标的，于今仍是公认的“无东谈主区”，那便是手术视频会通。

之前没东谈主敢碰，为啥？三重地狱级难度，和静态影像皆备不是一个量级：

第一关：数据极难获取。临床手术视频触及患者秘籍与医学伦理，获取自己就老成重重。

即便拿到了原始视频，你让专科医师逐帧标注？资本高到不错劝退99%的团队。

第二关：莫得和解评测程序。这是行业里一个很无语的现实：各家用我方的数据集、我方的贪图，模子效果根底没法横向比较。

你说你强，他说他强，谁说了都不算，严重禁闭所有赛谈的发展。

第三关：任务自己顶点复杂。手术视频的难就难在对空间、时序、语义的会通要高度专科。

比如，它需要精确识别毫米级的器械位置和剖解结构。略略偏极少，可能就认错了。

况兼胆囊得先辞别再切除，弗成反过来。AI要是看不懂时序，就根底无法会通手术程度。

各式拘谨类似，再顶级的模子也只可歇菜。

但当今，这个无东谈主区被uAI Nexus MedVLM一脚踩穿。

它不仅仅“炫技”，是真的能救命。

好了，说点践诺的。这模子具体聪颖嘛？

术前：分析主刀锤真金不怕火上万台手术视频，挖掘临床法例、扶持优化决议。

念念象你是一位刚站上手术台的临床医师，行将作念一台胆结石微创手术。

昔时你只可靠牵挂和教化；当今AI把数不胜数台顶级众人的手术教化千里淀下来，至极于有了最强的大脑，来扶持你完成这台手术。

术中：在辞别胆囊管、表现安全视线等关节方法，及时给出讨好；对违法操作、当作偏差进行毫秒级预警，成为你的 “第三只眼”。

术后：自动完成追溯与结构化纪录，这往往会占用医师无数时刻，但当今，一键生成程序化敷陈。这台手术的教化，也能成为下一位医师的“决策依据”。

手术质控、术中安全、敷陈自动化、医学教养……uAI Nexus MedVLM的价值，远不啻于工夫冲突。

在中国，优质医疗资源集结在三甲病院，下层病院医师成长周期长、手术教化积贮慢。

而uAI Nexus MedVLM不错把顶级众人的手术教化“千里淀”下来，下层病院的医师也能赢得“众人级”的术中扶持。

这冒失才是AI真实会通手术视频的兴味场合。

此次发布，最值得关爱的不仅是uAI Nexus MedVLM自己。

开荒这一模子的背后玩家联影智能（联影集团旗下一家专注于AI医疗的改进公司），初次向全球开源大鸿沟高质地医疗视频标注数据和模子，并提供了一个更具可比性的评测基准。

这意味着什么？终于有了一个手术视频会通垂直领域的“全球民众测评体系”了。

昔时，各家模子各说各话，效果没法比。

当今，拉出来在归并个数据集上跑一跑，谁强谁弱，一目了然。

而这，还仅仅运转。

这支研发团队不念念唱独角戏，上线了医疗视频会通大模子榜单，面向全寰宇开荒者发出挑战。

这是一个详尽基准测试，用于评估视频话语模子在医疗和外科视频会通方面的分解。

开荒者可提交自有模子限定，由系统基于程序自动评分，酿成动态更新的和解瞥行榜。

当全球开荒者都能下载模子、使用数据集、上传我方的着力时，看谁能把对医疗视频会通的才气领域，再往前推一步了。

这个过程中，医师上传的凄沧病例、复杂手术视频，尤其是现存模子分解不及的案例，都会成为极为珍稀的真实数据，无间驱动工夫迭代。

医疗视频AI正在迎来面向全球开荒者的黄金期间。

将来，uAI Nexus MedVLM将与具身智能交融，完善感知-推理-履行的才气闭环。从手术室拓展到更多临床场景，鼓吹医疗全历程智能化。

数据盛开、模子分享、全球协同……这条路，才刚刚运转。

开荒者们，是时候上车了～

彩蛋：流通在此，请自取

1.在线Demo: https://huggingface.co/spaces/UII-AI/MedGRPO-Demo

2.推理代码: https://github.com/UII-AI/MedGRPO-Code

3.MedVidBench数据集： https://huggingface.co/datasets/UII-AI/MedVidBench

4.公开榜单: https://huggingface.co/spaces/UII-AI/MedVidBench-Leaderboard

5.论文: https://arxiv.org/abs/2512.06581

6. 口头先容：https://uii-ai.github.io/MedGRPO/开云体育(中国)官方网站