任天堂で開発する数々のプロダクトは、さまざまなテストを経てお客様にお届けしています。私はテスト業務のコーディネートを担うチームの配属となったのですが、当初は、製品のテストをひたすら繰り返す業務をイメージしていました。しかし実際は、創意工夫をして技術的な挑戦をしなければ解決できない領域がたくさんある仕事であることを早々に実感しました。

たとえば、プログラムの一部を変更することでほかの箇所に不具合が出ていないかを確認するテストは「リグレッションテスト」と呼ばれます。Nintendo Switchでは年に数回、本体機能の更新を実施しているため、更新内容をお客様に配信する前に、このリグレッションテストをかならず実施します。テストの実施は、任天堂の関係会社であるマリオクラブ株式会社と協働して行っていますが、以前はすべてのテストを手動で行っていたために多くの手間と時間がかかっていました。しかも、Nintendo Switchの本体機能は更新を実施するたびに増えていきます。これは言い換えると、リグレッションテストの対象がどんどんと増えることを意味します。そのため、お客様に本体機能の更新をスムーズにお届けできるようにするには、リグレッションテストの効率化を図ることが、解決すべき課題となってきていました。

そこで私は、手動で行っていたテストを自動化する仕組みを構築することにしました。一言で自動化すると言っても、効率的にテストコードを書くための仕組み、大量のテストを実行しきるためのインフラへの工夫、問題に迅速に対処するためのテスト結果の通知方法など、検討するべき技術的課題は多岐に渡ります。また、単純に手動で行っていたテストをそのまま自動化するのではなく、不具合につながる可能性を切り分けて、リスク内容に応じた「効率的かつ効果的なテスト」を適切に実施する必要があると考え、テスト内容の見直しも並行して行うことにしました。

はじめは自分ひとりで取り組むところからスタートし、なかなか成果が目に見えない期間が続くなど苦労もしましたが、まずは小さな範囲での改善を繰り返すことで、一歩一歩前進をさせていきました。そしてある程度の形が見えてきたところで、開発者やマリオクラブ株式会社のスタッフにも、自動テストの意義や効果などを説明し、協力をしてもらうことで、無事にテストの自動化を活用できるところまでこぎつけました。結果として、手動でテストをしていた時は数日かかっていた内容であっても、1日のうちに一通りのテストを実施できるようになりました。そのおかげで、プログラムの修正が必要な問題を素早く検出できるようになったり、手動でなければ確認できないテストにより注力できるようになったりしたことは、検証コーディネーターとして嬉しい成果でした。

今後もNintendo Switchの本体機能の更新を実施するたびに、テスト対象は増え続けていきます。そのため、さらに効率的かつ効果的なテストを考えるなど、まだまだやるべきことは尽きませんが、このようにNintendo Switchと長年向き合い、テストの改善を繰り返して一歩一歩前進した経験によって得られた知見は、さまざまなところで活かせると考えています。その意味でNintendo Switchは、自分を大きく成長させてくれたプロダクトです。