LunchTime XR #14: NeRFって何？初心者でもわかるNeRFの基礎知識とLumaAIの使い方

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

本日はこちらにお邪魔します('ω') #NeRF の紹介の回になるもよう #AR_Fukuoka twitter.com/ar_fukuoka/sta…

AR Fukuoka @ar_fukuoka

5月のLunchTimeXRはNerf！ @Beehibiki さんをお招きして色々と語っていただきます。ご興味がある方はぜひご参加ください！ LunchTime XR: NeRFって何？初心者でもわかるNeRFの基礎知識とLumaAIの使い方 xr-fukuoka.connpass.com/event/282489/ #AR_Fukuoka

2023-05-03 08:21:37

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka 来ました スピーカーを待ち中ｗ pic.twitter.com/vvH19knYIu

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI この勉強会について ARを中心に、VRとか画像処理とかも取り組む勉強会 ハンズオン 　準備に2週間とかかかってしまう もっと気軽にいち早く共有するためにランチタイムミーティングを新設 本日のトークゲストはAsterさん NeRFについてのお話 pic.twitter.com/PXegCL3EXS

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI NeRFの基礎知識とLumaAIの使い方 #IwakenLab 所属 魅了する作品づくりをやりたい pic.twitter.com/U7jAMDeehZ

拡大

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI 複数の画像から三次元形状を復元して別視点からの画像を生成する技術 画像撮る→どの位置方向から撮られたか推定→NeRF→出力　の流れ 間違った位置の情報が混じると出力に影響する 推定ツールCOLMAP pic.twitter.com/zzLqhopfWF

拡大

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI SIFT　特徴検出アルゴリズム 　境界線や角とかがあると有利らしい 　視差を意識して撮る 　遠近感を付ける 　撮影枚数 処理の流れをもうちょい詳しく 座標取得→色・体積密度の情報推定→ボリュームレンダリング→ニューラルネットワークの重み更新 pic.twitter.com/QjuOpzmPTs

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI pic.twitter.com/ZVNj6xLYne

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI ボリュームレンダリング　 カメラに届く色を積算するかんじ 最後評価をしてニューラルネットワークを更新 pic.twitter.com/EU0Oxdhmwu

拡大

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI NeRF用の撮影方法 ・ビデオを撮る→画像として切り分け ・複数の写真を撮る 場所の状況によって使い分けられる 注意するべき７つの点 撮る前に考えること 天気・特徴点・人・スキャンしやすいか・広さなど 　↑　 露出を一定にしないと色が一貫性失ってうまくいかない pic.twitter.com/OaYXTIr99f

拡大

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI 手の影が映ってしまっても影響する 足運びを考える必要性 4k 60fpsで撮る場合10分以内 5GBくらい(LumaAI) 動画のときにブレが入らないような注意 歩くスピードや方向転換のときにゆっくり動く pic.twitter.com/ebKxcQpl2r

拡大

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI LumaAIのつかいかた　サービス ・iPhoneアプリ ・Webアップロード (Android民は当面コチラ） pic.twitter.com/stNioTiGiA

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI iPhoneアプリの3つの撮影モード /Guided　空間に出るガイドに従って三周して取得する 　 初心者におすすめ どういう視点が必要かわかる pic.twitter.com/ZXHljsyvzc

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI Freeform ガイド無しで自由に撮る 自分のカメラの移動が速いと水色の円が黄色に変わるので自分の動きをチェックできる 欠けてる方向もわかる pic.twitter.com/zaR1C5RgpD

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI UPLOAD 動画をアップロードするだけ pic.twitter.com/OfQ0VNrigW

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI iPhone持ってない人用のモード Web Upload pic.twitter.com/KFC6MwNDpC

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI レンダリング カメラの軌道と向き、ドリーズームなどを設定 中心が動かないけど背景だけが動くような演出 Focal Lengthの変更など pic.twitter.com/YWbAPNybxk

拡大

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI 新しい活用法 UE5×LumaAI pic.twitter.com/Vw9I5O4u8y

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI 応用例のパート NeRFの手法がいっぱい出てきてる Hos-NeRF一つの単眼映像からダイナミックな人・物体シーンのNeRFを再構成する方法 pic.twitter.com/NBKziYGOw0

拡大

拡大

拡大

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI NeRFの中身を全く知らないまま使っている人も多分いるけど、中身がある程度わかっていると、データの撮り方に応用が利いていいよね

FumiyaHr @fit51

そうか。遠景はカメラを回転させながら撮ればいいのか。 #AR_Fukuoka #LumaAI

じゅん@5/17#XRMTG＆6/14#AIMTG北海道エリアのお世話 5/8💉6 @jun_mh4g

#AR_Fukuoka #LumaAI 本日のランチタイム終了('ω') 質問がたくさん飛び交ってて、関心ある参加者の会という感じがとても出ていた('ω') 試す人が増えるとよいよね

Aster@NeRFを広める人 @Beehibiki

本日の #AR_Fukuoka さんのLunchTime XRにてNeRFって何？初心者でもわかるNeRFの基礎知識とLumaAIの使い方についてお話ししました！！ こちら資料になります！！もしよかったらご覧くださいー speakerdeck.com/aster_ideatech… #NeRF #LumaAI

TakashiYoshinaga Ph.D. @Taka_Yoshinaga

本日のLunch Time XRの登壇資料とYouTubeが公開されました！改めまして情報を共有してくださったAsterさん(@Beehibiki)有り難うございました！ [登壇資料] speakerdeck.com/aster_ideatech… [YouTube] youtu.be/7YY2qGr3W1U #AR_Fukuoka #LumaAI

拡大