こんにちは！
株式会社TOKIUM QAチームの石川です。

今回、9月11日に開催された「Autify Community Meetup」で弊社のQAチームリーダー富田が登壇し、Autifyを活用したQA運用の取り組みについて発表したので、その様子をお伝えできればと思います！

「テスト自動化がうまくいかない」「複雑なプロダクトのテストに悩んでいる」といったQAエンジニアの方や、開発に携わるすべての方に、弊社の事例が少しでも役立つと嬉しいです。

今回のイベントのタイムテーブル

登壇開始の1時間前に会場に向かいましたが、当日はニュースにもなった大田区で河川氾濫した日でした。最寄り駅に向かう電車は運休になり、雨も降る中で果たしてどうなるかと思いましたが、現地には10名以上の参加者に来ていただきました。

イベントは以下のタイムテーブル（一部省略）で開催されました。
食事と飲み物が提供され、カジュアルな雰囲気のイベントでした。

17:00〜 開場
18:35〜 Autify プロダクトアップデート
19:00〜 セッション「複雑化・巨大化するプロダクトに立ち向かう、私たちのAutifyテスト設計術」→弊社の発表！
19:40〜 ディスカッションタイム
20:30〜 クロージング・写真撮影

複雑化するプロダクトに立ち向かうTOKIUMの挑戦：Autifyテスト設計術から見えた未来

発表のテーマは、「複雑・巨大化するプロダクトに立ち向かう、私たちのAutifyテスト設計術」というタイトルで登壇させていただきました。

経費精算からスタートしたTOKIUMのBtoB/SaaS事業ですが、近年プロダクトの増加と機能拡張が進み、テスト環境も複数に増えてきました。

しかし、それに伴いテスト自動化の実装やメンテナンスが追いつかなくなり、中にはAutifyで検知できない不具合も発生していたことが、QAチームの大きな課題でした。

この停滞した状況を打開するため、私たちQAチームが取り組んだのは、「その場その場の対応に追われていた状況」と「なんとなく」からの脱却でした。

5つの改善策でテスト自動化を再構築

そこで現状を徹底的に可視化した上で、チームで挑んだ5つのアプローチで改善を進めました。

 1．テスト技法を使った自動テストケースの練り直し

主要な機能毎に適切なテスト技法を検討しました。これまでの正常導線のみのテストからより複雑で網羅的に検証できる基盤を作ることができました。

イメージ画像

2．実現できていなかったテスト自動化の再検討・開発チームとの連携

弊社のシステムで自動テスト化が困難だったことの一つに「ランダムに画面が表示される要素」に対する検証がありました。

弊社では、システム上に「領収書画像」をランダムに表示する、という機能がありますが、領収書画像が表示されたり、表示されなかったり、状況は同じでも画像の表示はランダムでした。対象の画像が表示されたら検証をする、というのが手順の一つに含まれるのですが、画像の表示はランダム性を持つため、それまでは手動テストで対応をしていました。

このようなケースは通常、自動テストには向かないのですが、開発チームと協力し、特定のURLを叩くことで、必ず決まった画像が表示されるように実装を変更し、自動テストの対応ができるようにしました。この対応によって、手動テストに縛られていた機能の検証コストを大幅に減らせました。

3．自動化実装のチーム再編成

運用の改善とQA検証を並行で進めることが難しく、当時の状況を打破することは困難でした。そこで、自動化実装に専任メンバーをアサインすることとしました。
これにより、スピードと安定性を格段に向上させるとともに、テスト検証全体の品質の向上を図りました。

4．Autifyシナリオのドキュメント化

3の対応を進めるとどうしても「自動テストの属人化」という課題が生まれます。自動テストは長期的に運用することを前提とすることが多いです。
こうした課題をクリアするため、弊社ではスプレッドシートにリスト化し、誰でも自動化の作業に入りやすい環境を構築しています。

5．各開発環境で自動テストできる仕組みづくり

Autifyの機能を活かした改善も行いました。複数の開発環境がある場合、それぞれでシナリオを作る必要がありましたが、Autifyの機能の一つ「URL置換機能」を活用し、作成したシナリオをどの開発環境でも併用できる仕組みを構築しました。
これによりシナリオをそれぞれで作る必要がなくなるのはもちろん、メンテナンス等の工数を減らし持続的に使用しやすくできるようにしています。

以上の取り組みにより、わずか半年で自動テストシナリオ数は30件前後から80件にまで増加し、安定稼働率も70%から98%へと劇的に向上しました。

かつては、検証サイクルが十分に回っていなかった自動テストが、今では私たちの貴重な資産となり、サービスの展開に貢献できるようになりました。これは、単にツールの使い方を改善しただけでなく、チームとしての意識と文化の変化にもつながりました。

QAの新たな挑戦：AIエージェントの品質担保

現在のQAの自動テストは安定した結果を得られるようになりましたが、今年からまた新たな挑戦をしています。

弊社では、今年からAIエージェントの展開を開始し、来年5月までに20体以上のエージェントをリリースすることを目指しています。AIエージェントの品質担保は、これまでのシステム開発と検証の視点を変える必要があると考えています。

AIの動作を完全に予測することは難しく、期待値が適切か、そうではないかを明確に決めることが困難であるため、AIの動作や回答の精度や不適切な回答等が発生しないか等の「クリアライン」を設定することが重要です。

いずれのクリアラインもAIに対し、工数をかけて多くのパターン検証を重ねていく必要があります。TOKIUMは今後、特にAIエージェントの品質検証にも積極的に自動テストツールやAIを活用することを目指していきます。

参加者とのディスカッション

イベント終盤、今回参加されたQA業務をされている皆さんや、Autifyの方とディスカッションをしました。「テスト設計の進め方」をメインテーマに日々の悩みや、今注目のAIの活用を意見交換し、他社のリアルな現場を知ることができました。

自動テストのシナリオの管理はエクセル等で管理をしたり、メンテナンス面では、システムの画面で変更があったときは、シナリオ一つ一つメンテナンスが必要で、そこで工数を要していたりと、あるある話で盛り上がりました。

また、印象的だったのはAutifyの方々とのお話でした。今回のようなユーザーと交流をするイベントや、日々のユーザーの問い合わせからニーズを汲み取り、日々改善や新しいプロダクトの開発をしていただいていることを改めて感じました。

最後に

普段は、会社の中だけのコミュニケーションにとどまることが多いですが、イベントを通してQAの知見を多く持つ方々と、意見交流をすることで他の会社のAutifyをもとにした自動テストの運用方法、テスト検証で重点をおいていること等、多くの気づきや学びを得ました。また、TOKIUMを知っていただくいいきっかけにもなったと感じました。

また発表の場をいただけましたら、その時は改めて、参加される皆さんに弊社のQA運用をお話させていただければと思います！

ここまで読んでいただき、ありがとうございます。
ぜひ登壇資料もご覧ください！

▼TOKIUMの事業やQAチームの仕事に少しでも興味を持っていただけたら、ぜひお気軽にお話しませんか？