【システム”健康診断”事例紹介】実装後に21件のクリティカルな不具合をみつけたA社の例

 

スタートアップ企業や新規事業を担当する部署など
「サービス設計には自信があるが、システム開発は手探り」
というケースも多いのではないでしょうか?

 

今回、ある企業様から相談を受け、
一連のテストや対応のご提案を提供した例を紹介します。

 

■概要

 

  • BtoBの医療系SaaSを対象に”システム健康診断”の実施を決定
    ※機能とUXのテストが十分にできず、
    プロダクト品質に不安があり、
    リリースを決意できなかった事業責任者が当社に相談

  • リリース直前に、5日間のテストを実施
    ※一連のユーザーフローに対応した301件のテストケースを作成・実施

    • 機能性(Functionality)
    • ユーザビリティ(Usability)
    • エラーハンドリング(Error Handling)
    • 安定性(Stability)
    • ビジネスロジック(Business Logic)

  • 必須機能で、クリティカルなバグを21件検知(詳細は後述)

  • テスト結果を受けて、下記を提案
    • 必須機能に限定した網羅的なテストの実施
    • 検知したバグの優先順位付け・改修
    • リリーススケジュール・スコープの策定
    • リリースおよび開発プラン(テスト・デバッグ含む)の策定

 

■新たに検知したクリティカルな不具合の例

301件のテストケースのうち、クリティカルな不具合を21件検知しました。
以下に数件を例示します。
※サービスの特定を防ぐため、一部の情報を伏せています。

  • アカウント作成
    • アカウント作成時にメアド未入力で進めた結果、
      DB or フレームワークのエラー画面が表示され、次に進めない
    • 企業アカウント作成したが、施設アカウントとなり、期待値と異なる挙動
  • 企業アカウント側の機能
    • 新規で企業アカウントを作成したが、
      アセットマスタ画面に登録していないデータが表示される
  • 施設アカウントの連携
    • 施設一覧に未登録の施設が表示されている
    • 公開一覧画面にある検索ボックスにテキスト入力すると、
      画面が真っ白になり、次に進めない
  • 認証関連
    • ログイン後、30分を超えてサービス利用していると、
      画面操作ができなくなる

 

■リリース直前まで不具体を検知できなかった原因

 

  • 人員の不足
    • 複雑なシステムながら、開発とテストをあわせてエンジニア1〜2名の体制で対応
  • 機能開発・実装の優先
    • 主に機能の開発・実装を優先し、テストや修正を十分に行えなかった
  • テストプランの不備
    • テストプランを実装担当者の主観で作成しており、
      実際の利用者を想定したシナリオテストや、
      第三者目線での客観的な視点でのテストが行えなかった

 

■対策

テストに十分な予算・工数が避けず、実は不安を抱えているチームのために、
少しでも気になった方はお気軽にご相談ください。
Facebook Like Button