[paper-review] Dynamic CNN for Learning on Point Clouds

ACM 2019. [Paper] [Github]

Yue Wang¹, Yongbin Sun¹, Ziwei Liu², Sanjay E. Sarma¹, Michael M. Bronstein³, Justin M. Solomon¹ Salah Rifai¹, Pascal Vincent¹, Xavier Muller¹, Xavier Glorot¹, Yoshua Bengio¹

Jun. 11

한 문장 요약

Point Cloud의 Feature를 Graph CNN 구조로 추출해보자.

Contribution

• EdgeConv:
  • local geometric structure를 얻어냄.
  • edge feature를 만들어내며, 이는 point와 its neighbor의 relationship을 나타낸다. 그리고 당연하게도 이는 permutation invariant 하다.
    • 기존의 PointNet++ 에서는 local feature에 대해 포착하지 못하는 한계점을 극복하고자 한다.
• layer를 거쳐가며, dynamic하게 업데이트 되는 grpah에서도 잘 작동한다.
• 쉽게 다른 방법론에 붙일 수 있다.

Approach:

Edge Convolution

The output of EdgeConv at the i-th vertex is given by

\[\begin{equation} \mathbf{x}'_{i}=\square_{k:(i,j)\in \mathcal{E}} h_{\mathcal{\Theta}}(x_i,x_j) \end{equation}\]

• \(F\)-dimensional point cloud with \(n\) points; \(\mathbf{X}=\{\mathbf{x}_{1},\cdots,\mathbf{x}_{n}\}\)
• Graph \(\mathcal{G=(V,E)}\) representing local point cloud structure, where \(\mathcal{V}=\{1,\cdots,n\}\) and \(\mathcal{E}\subseteq \mathcal{V\times V}\) are the \(\text{vertices}\) and \(\text{edges}\), respectively.
  • Construct \(\mathcal{G}\) as the k-nearnest neighbor (k-NN) graph of \(\mathbf{X}\) in \(\mathbb{R}^{F}\).
  • Graph includes self-loop, \(\text{edge~features}\) as \(\mathbf{e}_{ij}=h_{\Theta}(x_i,x_j)\), where \(h_{\Theta}:\mathbb{R}^{F} \times \mathbb{R}^{F} \rightarrow \mathbb{R}^{F'}\)

Dynamic graph update

Properties

Comparison to existing methods

Conclusion:

Thoughts: