Video2Any 现在会自动收起讲者镜头

你会看到什么

抽帧结束后，幻灯片照常出现。过一会儿，如果有画面看起来像摄像头、观众或黑屏，它们会从网格里移走，网格上方多出一行字，告诉你收起了几张。你点「放回来」，它们会全部回来；撤销也一样管用。

被收起的画面不计入张数，不会被导出，也不会被分享，但它们会和这份结果一起保存，刷新页面后也还在。你手动截取的画面，Video2Any 一律不碰。如果一个视频里没有任何一张像幻灯片，比如一小时都对着镜头讲的录像、白板课，Video2Any 会原样保留，不会给你一份空的结果。

批量转换也是这样，一个视频接一个视频地处理，下一个视频不用等：某个视频转完之后过一会儿，那一行的张数会自己变少。

它多久会判断错一次

我们测它的时候，用的都是它训练时没见过的演讲：我们把演讲分成五组，每次拿四组训练、剩下一组测试，轮了五遍。在 3,052 张真幻灯片里，它误收了 6 张，大约五百张错一张；在 620 张摄像头、观众和黑屏画面里，它认出了 94%。

它容易误收的是内容很少的幻灯片：纯色背景上只有一个词、整页都是一张照片、讲者画面占了半屏。它容易漏掉的是：坐满人的会场全景、白底上的讲者头像卡片、从后排拍的舞台。从观众席拍下来的投影屏幕，它也偶尔会收起来，大约十一次里有一次。所以我们让它「收起」而不是「删除」：它判断错了，你点一下就能找回来。

我们是怎么做的

这项检查用的是一个开源的小型图像模型，它就在你的浏览器里运行。它只看已经显示在你屏幕上的画面，这些画面本身不会离开你的电脑。

我们亲手标注了大约 4,100 张画面来训练它：1,313 张来自四年间的 115 场 FOSDEM 演讲（这些录像的授权允许这样使用），2,092 张来自我们自己的示例库，另外 720 张来自 29 段会议、讲座和短视频录像。用户上传的视频，我们一张都没用过，因为我们根本看不到它们。上线的这个模型是用上面全部画面训练的，示例库也在里面，所以那场一小时的示例演讲它其实见过，下面试用区的画面来自它学过的 FOSDEM 2021 录像，它很可能也见过。上面那些出错的比例来自分组测试，不是拿这些画面算的。

我们也试过更小和更大的方案。一个只有现在六分之一大的模型，在同样严格的标准下只认出了 80% 的摄像头画面，现在上线的这个是 94%。另一种能读懂幻灯片、把上面的文字写出来的模型，中文和英文几乎一字不差，但它超过 2 GB，在普通电脑上每张要花十秒左右。这样的模型放在服务器上没问题，放进浏览器标签页就不合适了。

它会占用你电脑多少资源

第一次使用时，浏览器会在读取视频的同时把检查程序加载下来。读视频不需要联网，所以多数情况下，幻灯片出来之前它就已经准备好了，之后浏览器会把它留着。检查的时候，它会多占一些内存，持续一分钟左右，用完就还回去。

在手机、平板、内存不到 4 GB 的电脑上，或者网络开了省流量模式时，这项检查完全不运行，你拿到的结果和以前一模一样。

我们会收到的只有两个数字，没有画面：收起了几张、你放回了几张。第二个数字能告诉我们，对和你类似的录像来说，这条线划得对不对。