JaSST'18 Tokyo C4、C5 論文セッション
-
- いいね！0
Iseki Takefumi
@katsushika_take
不具合分析をしてNGTに当てはめてテスト強化する取り組みはいいな。 スーパーテスト職人の経験と勘でやっている思考も目に見えるようになるんじゃないかな感じた これは、やってみたい #jasst
2018-03-07 18:10:23
KEN-san
@krsna_sub
ああ、テストケース外から不具合が検出されたときに(不具合を分析して)テスト(設計？ケース？)を補強する方法ってことか！ #jasst #C4
2018-03-07 18:11:34
KEN-san
@krsna_sub
大変な現場だろうなというのは(間接的に)読み取れるし、その中で(諦めず)何か新しいアイデアや改善を持ち込もうとする心意気が尊敬できます。 #jasst #C4
2018-03-07 18:20:472日目 C5
C5-1
「AI搭載システムの品質保証」
鈴木三紀夫
@mkoszk
明神「リスク上限をなんとかする。アセスメント方法が必要。今までのQAとは異なるガイドが必要。社会的な合意の形成。AIに対する品質マップを作る（高い品質を求められるもの、中くらいの品質を求められるものなどのマッピング）」 #JaSST
2018-03-08 10:13:06
鈴木三紀夫
@mkoszk
明神「従来はV字。AIは帰納的な開発。要求に対してデータを用意する。このテスト手法は確立していない。妥当性確認はできているけど、検証はできていない。テストは難しい」 #JaSST
2018-03-08 10:15:41
鈴木三紀夫
@mkoszk
明神「安全規格ISO26262を参考にした。DNMカバレッジテストを提唱。活性化網羅率を上げる。ニューラルネットワークの活性化したところを網羅しているかを確認する。カバレッジを測定する。活性化するようにテストデータを用意することで網羅率を上げる」 #JaSST
2018-03-08 10:20:13
鈴木三紀夫
@mkoszk
明神「テストケースが十分であれば、活性化しているのではないか。一つのテストケースでいっぱい活性化させるのは価値が低い。一つのテストケースで一つ活性化しているのが、よいテストケースではないか」無効系のテストと同じ考え方ですね。 #JaSST
2018-03-08 10:23:23
鈴木三紀夫
@mkoszk
明神「カバレッジを使ったテストの優先順位付けにチャレンジしている。誤判定を引き起こすようなテストケースを優先的に行う。誤判定を引き起こすテストケースを使って活性化させる。それと類似のテストケースを実施すると誤判定を引き起こすということが分かってきた」 #JaSST
2018-03-08 10:26:06
鈴木三紀夫
@mkoszk
明神「リスクが高く、追加利益が低いものは、誤り発生率は最高レベルにする。リスクが低く、追加利益が高いものの誤り発生率は最低レベルにする」 #JaSST
2018-03-08 10:29:24
鈴木三紀夫
@mkoszk
明神「社会的コンセンサス。いろいろな人がAIに関わってくる。品質に対する適切な認識を持ってもらうために、連携していく。にしさんが QA for AI について呟いていましたが、我々もこの活動に関わっています」 #JaSST
2018-03-08 10:32:57
鈴木三紀夫
@mkoszk
質問「ニューラルネットワークの活性化ってどういう状況？」 回答「学習済みのものに入力データを入れて演算すると、活性化したとなる。活性化に意味がある、活性化させないことに意味がある、の二つの考え方がある」 #JaSST
2018-03-08 10:36:58
鈴木三紀夫
@mkoszk
質問「安全性を根拠にAIのテストを考えたのはなぜか？」 回答「切り口として、機能安全規格を参考にした。ドメインによって品質は異なる。ドメインによっては、AIの精度を上げるというアプローチもあれば、安全機構を追加するというアプローチもある」 #JaSST
2018-03-08 10:43:29C5-2