LF Japan Jamboree #63

まさみさんboosted @mhiramat

NoMMU環境でOOM killerが発生したという報告が来ないからOOM reaperは導入されていない。 #celfjp

まさみさんboosted @mhiramat

Linux v4.6でOOM reaperというのが導入され、OOM killerで殺されるプロセスが死ぬ前にそのプロセスのメモリを強制的に刈り取る仕組みが出来た。 #celfjp

まさみさんboosted @mhiramat

timeoutベースのやり方では問題を根本解決しないということで、どういう条件でHangupするかというのを洗い出したら、更に多くの問題が発見された #celfjp

まさみさんboosted @mhiramat

これを起こすには簡単で、OOM killerが動くときにファイルIOを行っていたら、システムがハングアップする。これは偶然起きてしまう。 #celfjp

まさみさんboosted @mhiramat

lwn.net/Articles/62741… ここに問題が書いてある。32KB以下のメモリ割り当て要求は内部で無限にリトライをしているが、限界ギリギリのところでこれが起きると、OOM killerも先に動かない #celfjp

まさみさんboosted @mhiramat

メモリ割り当てとファイル書き込みを両方共同時に動かした→実際にシステムがハングアップした #celfjp

まさみさんboosted @mhiramat

まずいのは、GFP_KERNEL/GFP_NOFS/GFP_NOIOの全部が同じメモリ不足の制限値を使っている。つまりGFP_KERNELがメモリ不足になったのでGFP_NOFSで回収処理を走らせると、これも止まってしまって全部とまる #celfjp

まさみさんboosted @mhiramat

そこでOOM killerがプロセスを殺す際には、予約メモリを使ってもいいことにしていた。 #celfjp

まさみさんboosted @mhiramat

何か処理をするときには、メモリ割り当て要求が必要になる場合が多い。OOM killerがプロセスを殺そうとしたら、その殺す処理にもメモリの一時割当が必要になる。#celfjp

まさみさんboosted @mhiramat

GFP_NOIOやGFP_NOFSなど、カーネル内部で処理するIO関係の処理で使われるメモリ割り当て要求は、OOM killerが発動しないはず。何故ならIOが止まってしまうとメモリ回収が先に進まなくなる可能性があるため。#celfjp

まさみさんboosted @mhiramat

カーネルのGFPフラグは使い方を間違えるとデッドロックする。しかも使い方を間違っているところもよくある。そして色んな所でメモリ割り当てが失敗することを想定していない #celfjp

まさみさんboosted @mhiramat

kmemcgでの緩和策が、実は対策できていなかった。メタデータだけを管理していて、パイプのデータバッファメモリは管理してなかった。 #celfjp

まさみさんboosted @mhiramat

ローカルな非特権ユーザが再現でき、有限の負荷で問題を発現させることにした→もっと闇が出てきた #celfjp

まさみさんboosted @mhiramat

システムがDoS攻撃を受けているんだったら再起動しろ、と言われた #celfjp

まさみさんboosted @mhiramat

RHEL7で試してみたら、OOMkillerが動く前にシステムフリーズしたりすることが分かった #celfjp

まさみさんboosted @mhiramat

kmemcgを使えば緩和できるはずだが、古いカーネルでは使えない。#celfjp

まさみさんboosted @mhiramat

パイプサイズを一つ辺り１MBまで増やせる→1プロセス辺り1K個のパイプ作れる→プロセス1つ辺り１GBまでパイプバッファ作れる→プロセスを増やすと一般ユーザでもメモリを使い尽くす #celfjp

まさみさんboosted @mhiramat

OOM killerを発生させるには、メモリを割り当てて（オーバコミットして）、memsetしてしまえばいい #celfjp

まさみさんboosted @mhiramat

セキュキャンの資料があります。i-love.sakura.ne.jp/The_OOM_CTF.ht…　 #celfjp

まさみさんboosted @mhiramat

組み込み用途でなければOOMは起きないから関心を惹かない #celfjp

まさみさんboosted @mhiramat

まず問題が起きてもメモリ管理周りで問題が起きたということがない限り対応しない #celfjp

まさみさんboosted @mhiramat

メモリ管理開発者の間では、問題が発生するまでは修正しない、ストレステストで発見したものについても対応しない、という考え方とのこと。#celfjp

まさみさんboosted @mhiramat

mallocでシステムをハングアップさせるだって？？つまりガチャピン先生が現れるわけですね #celfjp

まさみさんboosted @mhiramat

mallocの話だぞ・・・　#celfjp

吉田@板橋 @koedoyoshida

#CELFJP 1MBストレージでLinuxを動かすネタについて質問が多く出ていた。 LinuxCon North America: Running Linux on Tiny Peripherals – by Marcel Holtmann • Got Linux to around 1MB for IOT sensor project 回答は詳しくはMarcelに聞いてねとのこと