2020/07/04 第三回全日本コンピュータビジョン勉強会「CVPR2020読み会」前編 ツイートまとめ
-
- いいね！94
anonym(論文1000本ノックの人)
@shriver_light
こういった従来手法の問題として、追加NNブランチや追加学習ステップを入れる必要があり重いという点が挙げられる。そこで追加NNブランチや追加学習ステップを入れないErasing integrated learning (EIL)とマルチスケールなfeature mapを統合するmultiple EIL (MEIL)を提案。sotaだが超パラの調整が難.
2020-07-04 18:31:11
anonym(論文1000本ノックの人)
@shriver_light
3D renderingするには陰関数表現でも結局voxelやmeshを使うことになる。 そこでBSP-Netでは、DNNを使用することでメッシュを用いた3D表現を直接出すことに成功=polygonal meshを出す初のDNN-based genarative model。
2020-07-04 18:33:03
anonym(論文1000本ノックの人)
@shriver_light
voxelやimagesからFeatureを作り、MLPで三次元中の二次元平面を複数出し、その平面をどう組み合わせて凸多面体を作るか、凸多面体どう組み合わせるかを学習。single view reconstructionでもシャープな形を出す。ただしコーヒーカップなどの凸でない多面体は苦手。あと推論は早いが学習が遅い。
2020-07-04 18:33:03
anonym(論文1000本ノックの人)
@shriver_light
本論文はDescripter, feature matich outlier filtering 部分の話。 PositionとdescriptorをGraphNNに入れる。 self layer：同一画像内のdescripterの関係、と cross layer:画像間のdescriptorの関係、がある。 それらを交互に適用してdescriptorをupdateする。
2020-07-04 18:40:55
anonym(論文1000本ノックの人)
@shriver_light
その際self-attentionを使用(context dependenceを出す)。 そうして出てきたmatching用のdescriptorsからScore matrixを作り、Sinkhornによるassighnment、loss構成へ。 cross layerを可視化すると、どことどこが対応するか絵で見えておもしろい。
2020-07-04 18:40:56
anonym(論文1000本ノックの人)
@shriver_light
“Snakes: Active contour models” (1988)が元ネタ。 対象領域を囲むcontourをiterativeにupdate。 頂点から構成される曲線のエネルギーを定義し最小化。 しかしこのエネルギーはnon-convex, handcrafted, low-level 画像特徴を利用するもの。
2020-07-04 18:40:56
anonym(論文1000本ノックの人)
@shriver_light
そこで本論文Deep Snakeでは頂点からなるcontoursを調節するE2EでDNN学習を行う。CNN backboneはobject detectionと共有。vertex + featuresをどうNNで扱うかがこの分野の課題だが、本論文ではcircular convを導入。contourを周期的1D離散信号だと思って1D convを使う。
2020-07-04 18:40:57
anonym(論文1000本ノックの人)
@shriver_light
Instance segmentation(物体をsegmentation)の他の研究としては、 Pixel-based methods: Mask RCNN, ICCV17 Coutour-based methods: DSAC, CVPR18 CurveGCN CVPR19 など。
2020-07-04 18:40:57
anonym(論文1000本ノックの人)
@shriver_light
Instance discriminationとは同じ画像か否かで特徴量を学習する。その際Memory bankを使うのが良い: negative pairの情報を増やすために、以前のバッチのfeatureをおぼえておく。ただmemoryの鮮度劣化が問題。
2020-07-04 18:40:58
anonym(論文1000本ノックの人)
@shriver_light
そこで本論文MoCoはmemory部分をqueueにして更新。また、queryとkeyのencoderを分け、keyのencoderは急激に変化しないように学習する。
2020-07-04 18:40:58
anonym(論文1000本ノックの人)
@shriver_light
One-shot NAS(ICML18)を利用して多数のCNNを生成し、それぞれadversarial examplesに対するrobustnessを実験した結果：
2020-07-04 18:40:59
anonym(論文1000本ノックの人)
@shriver_light
1) たくさんのconnectionがある(densely connected)構造ほどrobust 。 2) 隣接ノード間にconvする方がrobust(間にoperationを挟んでからconvしたものを合流させてもrobustnessにあまり寄与しない) 3) flow of solution procedure(FSP)matrix loss ちなみにNAS論文 32本くらい in CVPR20。
2020-07-04 18:40:59
anonym(論文1000本ノックの人)
@shriver_light
対称性を仮定すると別視点からの画像が作れるので有用。 しかし形状、アルベド、照明などの利用により非対称。 本手法ではdepth, albedo, 照明、カメラ姿勢を推定、この4つから画像を復元。Autoencoderを使用。ポイントは、推定したdepth, albedoを反転させても同じ画像が復元されるように学習した点
2020-07-04 18:44:50
anonym(論文1000本ノックの人)
@shriver_light
反転させたものとさせてないもの両方をlossに入れる。ただし、予測の不確かさ＝物体の非対称性をmodelingする部分を付け加え、ここから出てくるconfidenceでもってlossを重み付けし、非対称部分がLossに寄与しにくくする。
2020-07-04 18:44:50
anonym(論文1000本ノックの人)
@shriver_light
対称軸（曲線）の可視化（顔の中心線）、非対称領域の可視化（人の髪の毛、猫の顔の模様）もしている。 照明条件によりうまく復元できないことも。鏡面反射などを仮定していないため。顔画像がに応用したが、他のより複雑なデータに適用できるようになるのだろうか。
2020-07-04 18:44:50
anonym(論文1000本ノックの人)
@shriver_light
以上 第三回全日本コンピュータビジョン勉強会（前編）#japancv （CVPR2020読み会） まとめ。
2020-07-04 18:44:51
コンピュータビジョン勉強会＠関東
@kantocv
「2020/07/04 第三回全日本コンピュータビジョン勉強会「CVPR2020読み会」前編 ツイートまとめ」をトゥギャりました。 togetter.com/li/1553532
2020-07-04 19:02:01
Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中
@tomoaki_teshima
#japancv twitter.com/kantocv/status…
2020-07-04 19:28:26
Aki Teshima 「OpenCVデバッグ探偵記」BOOTHで販売中
@tomoaki_teshima
今日の #japancv の録画。時間が5時間超えで狂気の沙汰だと思ったけど、よく考えてたら自分は運営側の一人だった。 5時間超えであの内容って、贔屓目に言ってすごいと思う。 挙げ句同ボリュームで後編が待ってるし。 youtu.be/9DdzzVmLzog
2020-07-04 20:43:08
Minagawa Takuya
@takmin
CVPR2020読み会で発表したBSP-Netの資料を若干アップデートしました。#japancv slideshare.net/takmin/2020070…
2020-07-04 23:06:29
Minagawa Takuya
@takmin
2020/07/04全日本コンピュータビジョン勉強会「CVPR2020読み会」（前編）発表資料まとめ - takminの書きっぱなし備忘録 @はてなブログ #japancv takmin.hatenablog.com/entry/2020/07/…
2020-07-05 00:05:42
suganuma
@wkpeco
フォントの埋め込みミスがあったため，修正版の資料を念の為アップロードしておきました． slideshare.net/MasanoriSuganu… #japancv
2020-07-05 14:40:22