WindowsやMacにも移植されたScrcpyでAndroidスマホをミラーリング遠隔操作して、IoTやゲームをSikuliXで自動操縦してみた

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

とうとうWindowsやMacにも対応したscrcpyを使ってAndroid端末をミラーリングして遠隔操作。こいつの良い所はSikuliXなどRPAを使って自動操作が簡単にできる所。 なろうリーダーやウマ娘なんかをデスクトップに表示したい人も・・・ pic.twitter.com/Ok6nwEtD1O

拡大

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

Ubuntuの場合、スマホをUSBケーブルで繋いでデバッグモードをONにして sudo apt install scrcpy scrcpy だけ。簡単。 ええよ。

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

マクロでSwitchBotなどを動かして遠隔操作したり、 ブラウザやゲームを動かしたり、Googleアシスタントとか動画再生とかKindle小説とか・・・ PCでも出来てしまう事も多いけど古いPCのリサイクルにでも。TermuxやUserLAndもあり。SmpleScreenRecorderでキャプって動画にしてもよい pic.twitter.com/r4hVWzXv6J

拡大

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

これが最新版ニュース PC/MacからAndroid端末を操作できるツール「scrcpy」、HID/OTGをサポート - 窓の杜 forest.watch.impress.co.jp/docs/news/1390… @madonomoriより

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

ScrcpyHubというGUIツールがあるそうな。 pic.twitter.com/JxfyRyB65D

拡大

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

ScrcpyとSikuliXなどRPAを組み合わせると簡単に自動実行プログラムが出来てしまう。 ちなみにウマ娘を起動するSikuliXプログラムを適当にテストとして作ったw こんな感じ。 SikuliXは非常に簡単なのでプログラムしない人にもオススメ。 特定のゲームでマクロを使うとBANされるので注意なw pic.twitter.com/3C5RH6tWEl

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

試しに作ったマクロはこんな感じ SikuliXのプログラムは適当に作ったので簡単な数行。 興味のある人はSikuliXも入れてみよう。sikulixide-2.0.5.jarを公式HPからダウンロードして sudo apt install default-jre java -jar sikulixide-2.0.5.jar pic.twitter.com/hv9zTwk0SC

拡大

Kapper@Linuxガジェヲタ＆異世界小説家＆生成AI＆電子工作大好き @kapper1224

SikuliXを使ってスーパーマリオクローンゲームのSuperTux2をRPAで自動操作の練習をしてみた。 一応プレイは可能。 ゲームってタイミング取りが結構厄介だな・・・ これ作るの大変だぞ・・・ pic.twitter.com/lXxipFya1X