【システム”健康診断”事例紹介】実装後に21件のクリティカルな不具合をみつけたA社の例

■概要

• BtoBの医療系SaaSを対象に”システム健康診断”の実施を決定
  ※機能とUXのテストが十分にできず、
  プロダクト品質に不安があり、
  リリースを決意できなかった事業責任者が当社に相談

↓

• リリース直前に、5日間のテストを実施
  ※一連のユーザーフローに対応した301件のテストケースを作成・実施
  • 機能性（Functionality）
  • ユーザビリティ（Usability）
  • エラーハンドリング（Error Handling）
  • 安定性（Stability）
  • ビジネスロジック（Business Logic）

↓

• 必須機能で、クリティカルなバグを21件検知（詳細は後述）

↓

• テスト結果を受けて、下記を提案
  • 必須機能に限定した網羅的なテストの実施
  • 検知したバグの優先順位付け・改修
  • リリーススケジュール・スコープの策定
  • リリースおよび開発プラン（テスト・デバッグ含む）の策定

■新たに検知したクリティカルな不具合の例

301件のテストケースのうち、クリティカルな不具合を21件検知しました。
以下に数件を例示します。
※サービスの特定を防ぐため、一部の情報を伏せています。

• アカウント作成
  • アカウント作成時にメアド未入力で進めた結果、
    DB or フレームワークのエラー画面が表示され、次に進めない
  • 企業アカウント作成したが、施設アカウントとなり、期待値と異なる挙動
• 企業アカウント側の機能
  • 新規で企業アカウントを作成したが、
    アセットマスタ画面に登録していないデータが表示される

• 施設アカウントの連携
  • 施設一覧に未登録の施設が表示されている
  • 公開一覧画面にある検索ボックスにテキスト入力すると、
    画面が真っ白になり、次に進めない
• 認証関連
  • ログイン後、30分を超えてサービス利用していると、
    画面操作ができなくなる

■リリース直前まで不具体を検知できなかった原因

• 人員の不足
  • 複雑なシステムながら、開発とテストをあわせてエンジニア1〜2名の体制で対応
• 機能開発・実装の優先
  • 主に機能の開発・実装を優先し、テストや修正を十分に行えなかった
• テストプランの不備
  • テストプランを実装担当者の主観で作成しており、
    実際の利用者を想定したシナリオテストや、
    第三者目線での客観的な視点でのテストが行えなかった

■対策