ytorch：计算图与动态图机制龙雪

computational graph

计算图是用来描述运算的有向无环图

计算图有两个主要元素：结点（node）和边（edge）

结点表示数据，如向量，矩阵，张量

边表示运算，如加减乘除卷积等

计算图不仅使计算显得简洁，更重要的是其表示梯度求导更为方便

用计算图表示y=(x+w)*(w+1)：     令 a=x+w    b=w+1     则y=a*b

梯度求导结合题例的算式和计算图表示

从上述的计算图表示中，可以看到，除了x，w外的梯度都是可以用x，w或其xw梯度表示

叶子结点：用户创建的结点称为叶子结点，如x，w

叶子结点的用处：在反向传播之后，只有叶子结点的梯度会被保留，其他中间结点的梯度数据会被释放，以节省内存

作用：以便计算机知道求导某张量结点的梯度需用到的特定法则

AddBackward代表a张量为相加形成，此时的梯度在反向传播中

dynamic graph

动态图与静态图

根据计算图的搭建方式，可以将计算图分为动态图和静态图。

pytorch采用动态图机制，tensorflow采用静态图机制

如下左图，tensorflow的搭建机制为先确立好所有的路线流向，再将tensor数据注入跑通整个过程。这也是tensorflow的名字由来

而下右图，pytorch中随着代码的数据定义与构建，同时也确立部分的计算图模块。