Image → Video：视频是多个图像帧拼接成的

数据可以表示为$I(x,y,t)$

Opical flow

• 定义：光流是图像中明亮度模式的表观运动
• 表观运动可以由光照变化引起，而没有任何实际运动
• 目的：从光流中恢复每个像素的图像运动，从一个图片到另一个图片中估计像素的移动，解决像素对应的问题

• 关键假设：

  • 亮度恒常性：一个小的区域内的像素强度在相邻帧之间不变化

    $$ I(x+u,y+v,t+1)=I(x,y,t)\\I(x+u,y+v)=H(x,y) $$

  • 空间相干性：相邻的像素拥有相似的运动

  • 运动幅度小：一个surface patch的运动是随着时间缓慢逐渐变化的

  $$ I(x+u,y+v)=I(x,y)+\frac{\partial I}{\partial x}u+\frac{\partial I}{\partial y}v+higher~order~terms\\=I(x,y)+\frac{\partial I}{\partial x}u+\frac{\partial I}{\partial y}v $$

约束条件：结合上述等式有：

当$\lim u \rarr0,~\lim v \rarr0$式子变为：

$$ \nabla I \cdot [u,v]^T+I_t = 0 $$

其中，$\nabla I,~I_t$可以通过已有的图像数据获得，一个等式，但有两个未知量

垂直于边缘梯度方向的光流分量无法被测量：

在u, v空间中该方程表示一条直线：

如果再添加一个速度限制：

• 相邻的像素有着相同的移动速度