クックパッドにおける最近の機械学習について

こんにちは、研究開発部の山田（@y_am_a_da）です。

去る2月16日、「Cookpad Tech Kitchen #5 クックパッドにおける最近の機械学習について」と題して、機械学習に関わっている方々向けの技術交流イベントを行いました。

https://cookpad.connpass.com/event/49324/

定員が70名のイベントでしたが、告知してから30分ほどで応募者数が定員超えの100人近く集まり、最終的には400人を超す方々にお申込みいただきました。これまでに開催したTech Kitchenの中でも過去最高の申込数であり、機械学習への関心の高さを感じました。 昨年7月に発足したばかりの研究開発部では、現在クックパッドに投稿されている250万品以上のレシピを始めとするさまざまなデータに対して、機械学習を活用したサービス開発を行っています。このイベントでは、研究開発部の現在の取り組みとそこで得られた知見について発表を行いました。

この記事では、その様子についてお伝えします。

クックパッドと自然言語処理 (Cookpad and NLP)

まず、原島から、クックパッドでの自然言語処理の活用事例について紹介がありました。

この発表では、自然言語処理による

• レシピの分類
• レシピの翻訳

などについて紹介をいたしました。具体的には、現在「おまかせ整理」として提供されているレシピのカテゴリ分類機能の実装方法と、日本語のレシピを英語のレシピに変換するためのモデルについて紹介をしました。

発表内容の一部は

• 機械学習によるレシピの自動分類、その裏側

でもご覧いただけますので、ご興味あるかたはあわせてご覧ください。

また、２年前に公開したレシピデータセットとその利用状況についても紹介をいたしました。

Food image object detection and classification: Challenges and solutions (part1 - object detection)

次に、レシェックから、画像認識を用いた写真中の料理領域の認識について紹介いたしました。

この発表では

• ILSVRCの歴史
• 「料理があるかどうか」だけでなく「どこに料理があるのか」を認識するための手法

についての紹介をいたしました。

具体的には、You Look Only Once、略してYOLOと呼ばれる手法による動画中からリアルタイムでの料理認識について触れ、発表の最後ではそのデモを行いました。

Food image object detection and classification: Challenges and solutions (part2 - classification)

最後に菊田から、画像認識を用いて写真が「料理」か「非料理」かを分類する手法について紹介いたしました。

この発表では

• クックパッドで提供している「料理きろく」のアーキテクチャ
• 「料理きろく」で行っている写真の「料理」「非料理」を分類するための試行錯誤

についての紹介をいたしました。

具体的には、発展著しいディープラーニングモデルの比較検討や二値分類問題の多クラス化拡張、など様々な試行錯誤をしながらサービスレベルの向上に取り組んだことについて紹介をしました。

質疑応答

質疑応答は、休憩時間中に質問を紙に書いてボードに貼ってもらう形式だったのですが、時間内に全て答えきれないほどの質問数で、大変盛り上がっていました。内容としては

質問1

料理/非料理の画像判別モデルの改善において様々な工夫をしたということだが、どんな取り組みが最も性能向上に貢献したか

回答1

CNNのモデルをより良いものにアップグレードすることと、二値判別問題から間違えやすいクラスを追加した多クラス問題に拡張したことの寄与が大きかった。データセットを拡充するというのも基本的かつ効果的だと思われるが、アノテーションのコストもあるため徐々に進めている。

質問2

研究開発をする部署にとって研究と開発の棲み分けは重要だと思うが、クックパッドの研究開発部ではどのように棲み分けをしているのか

回答2

それぞれが密接に関連しているものなので、明確に棲み分けてはいない。ただし個々人の興味や要求されるスキルが異なるため、研究の方に重きを置くメンバー、開発の方に重きを置くメンバー、というようにメンバーによって比重は異なっている。

などがありました。

懇親会

発表会の後は、懇親会を行いました。

懇親会では、弊社の研究開発部メンバーと参加者と用意されたご飯を食べながら様々な意見交換や雑談をしました。 今回の料理の目玉は、下のようなクックパッドロゴの入ったライスケーキでした。

まとめ

いかがでしたでしょうか。 クックパッドでは、一緒に機械学習を行っていくエンジニアを募集しています。ご興味ある方はぜひ遊びにいらしてください。 画像認識エンジニア | クックパッド株式会社 採用情報

クックパッドのiOSアプリ開発を加速させるスクリプト群

こんにちは、技術部モバイル基盤グループの茂呂(@slightair)です。

今回は、ちょっと地味ではありますが、クックパッドのiOSアプリ開発を支えているスクリプト群について書きたいと思います。

日々iOSアプリ開発を行うとすれば、Xcodeまたはその他のお気に入りのエディタでコードを書き、ビルドと実行を繰り返して開発を進め、アプリが完成したらサブミット、めでたくリリースという流れになると思います。 場合によってはこうした開発の所々をサポートするツールを使うこともあるでしょう。クックパッドでもいくつかのツールを使っていますし、場合によっては自作することもあります。

ツールを導入することで解決できることであればそれでよいですが、もうちょっと気の効いたことをして欲しい、リリースフローなど自分たちのアプリ開発の進め方の都合で発生する繰り返しタスクを省力化できないか、というような比較的小さな問題を解決するために、僕たちは今回紹介するようなスクリプトを用意しています。

開発支援系

アプリ開発を支援するスクリプト群を紹介します。

利用ツールのバージョンチェック

クックパッドのiOSアプリ開発では CocoaPods, Carthage, clang-format, SwiftLint, SwiftFormat などのツールを使っています。 数が多い上にこれらのツールの更新頻度はバラバラで、バージョンによって動きが違ったりします。複数人でアプリを開発しているので、環境によって期待している効果が得られないと困ってしまいます。そのため、各開発者の環境に期待しているバージョンがインストールされているかチェックするスクリプトを用意しています。

ライブラリ群のインストール

クックパッドのアプリは CocoaPods と Carthage を併用しています。 CocoaPods は Objective-C で書かれた静的リンク可能なライブラリ群を、Carthage は Swift のライブラリ群をインポートするために使っています。 何故このように使い分けているかというと、CocoaPods で導入しているライブラリの一部が静的ライブラリであって use_frameworks! が使えないからです。 またフレームワークが増えるほどアプリ起動に時間がかかってしまう問題を防ぎたいというのも理由です。

CocoaPods と Carthage のコマンドを叩き、Carthage がチェックアウトしたライセンスファイル群を CocoaPods の acknowledgements.plist にマージするスクリプトを用意しています。

また、Carthage にはこの記事を書いている時点では更新のあったライブラリだけをビルドし直す仕組みがなかったので、ビルド時間を抑えるために更新が必要なライブラリだけをビルドするスクリプトを用意していました。 この問題への対応はすでに PR が出てマージされているので、新しいバージョンではこの処理は必要なくなりそうです。

前述のツール群のバージョンチェックとあわせて make でこの操作を実行できるようにしています。 各開発者は手元へ最新のコードを fetch した後に make コマンドを実行することで、チームで期待されている開発環境にそろえて開発に取り掛かることができるようになります。

コードフォーマッタ

コードフォーマッタに clang-format と SwiftFormat を使っています。 直接これらのツールを使ってもよいのですが、ちょっとした工夫をしています。

clang-format はオプションで format をかけたい範囲を指定できるので、開発者が変更を入れた箇所にだけフォーマッタをかけるスクリプトを用意しています。ファイル単位でも良いのですが、PRを出した時に変更とは関係のないフォーマッタによる修正が混ざるとレビューする側がつらくなってしまうので、こうしています。

また、フォーマッタにかけるのを git の commit hook などに仕込むこともできると思いますが、意図的にしていません。これは、フォーマッタによって自動的に変更されたコードを開発者に確認してもらいたいからです。

リリースフローに関係するタスク補助系

クックパッドのリリースフローに含まれるタスクのうちスクリプトで解決しているものを紹介します。

アプリのバージョンを繰り上げる

アプリのバージョンを変更するというただそれだけのスクリプトを用意しています。特に面白みのないものですが、Extension を複数持つアプリだとそれに対応する info.plist がいくつもあるので地味に面倒な作業であることがわかると思います。クックパッドではこの部分の変更作業を複数人で回しているので、スクリプトで行えるようにしているのは作業する人によって微妙に違う内容になってしまうのを避ける目的もあります。

開発に関わった人ごとのマージコミットをリストにする

リリースフローに、次にリリースしようとしているバージョンのコードに自分がいれた変更が正しく含まれているか各開発者が確認する手順があります。このチェックリストをつくるスクリプトがあります。 単純に git のコマンドを利用してマージコミットのリストを作るだけのものですが、このような単純な作業こそスクリプトにしやすく、単調で間違いやすいタスクなので、スクリプトで片付けるようにしています。

開発環境の計測系

開発に直接関わるものではなく、開発環境がどういう状態であるか計測するためのスクリプトもあります。

Swift 移行率の計測

毎日リポジトリの master ブランチに含まれる iOS アプリのコードのうち Swift のコードの割合がどれくらい変化しているか計測・記録し、グラフに描画するようにしています。 単純な興味もありますが、Objective-C のコードが残っていると Swift の便利な機能が使えない場面が多くでてきてしまうので、必要に応じて Swift への書き換えを進めています。この進行具合が可視化されると、少しだけやる気がでたり達成感が得られます。

ビルド時間の計測

アプリのビルドにどれくらい時間がかかっているのか、バージョンを重ねるたびに変に伸びたりしていないか計測しています。ビルドに時間がかかっているということは、それだけ開発者を待たせてしまい生産性を下げていることになるので、状況を把握するために記録しています。ここで計測している時間をもとに、ライブラリの選定や場合によっては直接的な対策を行います。特に Swift を採用してからは書き方によってビルド時間が変に長くなってしまうこともあるので xcprofiler などを使って具体的な場所を特定したりもします。

---

これらのスクリプトはだいたい Ruby で書かれています。 Makefile などから呼び出されているスクリプトもありますが、最近は fastlane をよく使っているので、fastlane action として実装し直そうという動きもあります。今回紹介したようなスクリプトの中で汎用的な action として分離できるものがあれば、公開していきたいと考えています。

クックパッドではiOS/Androidに詳しいモバイルアプリ開発エンジニアはもちろんのこと、このようなモバイルアプリ開発をより効率よくするために活躍できるエンジニアを募集しています。

『Swift実践入門』2月7日発売

　海外事業向けのiOSアプリケーション開発を担当している西山(@yuseinishiyama)です。より海外事業に注力するため、今年度から、海外事業の拠点であるイギリス、Bristolのオフィスに出向しています。クックパッドは現在、15言語、58カ国以上を対象にサービスを展開しています。

　先日、ヴァンサンが国内向けのアプリケーションのSwift 3化に関する記事を投稿しました。同じく、海外向けのアプリケーションも、昨年12月にSwift 3化した最初のバージョンをリリースしました。以前、Swift移行の記事で説明したとおり、このプロジェクトはほぼSwiftによって実装されているため、Swift 3化によってほぼ全てのコードが影響を受けました。幸いにも、大きなトラブルは起きませんでした。

　この度、こうした業務での経験を活かして、『Swift実践入門』という書籍を技術評論社のWEB+DB PRESS plusシリーズから2月7日に発売することになりましたので、この場を借りて宣伝させていただきます。APIKitなどで著名な@_ishkawaさんとの共著となります。

Swift実践入門 ── 直感的な文法と安全性を兼ね備えた言語 (WEB+DB PRESS plus)

　また、刊行記念のイベントも開催することになりましたので、興味のある方はぜひご参加ください。

執筆の動機 〜Swiftのwhyとwhenの解消〜

　SwiftがAppleから発表されたのは2014年です。安全かつ簡潔な文法という触れ込みが印象的でした。iOS開発者としては当然居ても立ってもいられず、発表後すぐ、beta版の公式ドキュメントの全てに目を通しました。そこで強く感じたことは、「簡潔ではあるが簡単ではない」ということです。Objective-Cのユニークな記法と比較すると、フレンドリーな見た目にはなりましたが、その豊富な言語仕様を適切に使いこなすのは容易ではないと思いました。

　Appleの公式ドキュメントをはじめとして、どんな（what）言語仕様があり、それらをどのように（how）使うかに関しては早い段階から豊富な情報源がありましたが、それらがなぜ（why）存在し、いつ（when）使うべきかについてまとまった情報があるとは言えない状況でした。『Swift実践入門』はこうした状況を解消することを主眼としています。

Swiftの難しさ 〜Swiftらしいコードを書くために必要な知識〜

　単にSwiftでコードを書くことと、Swiftらしいコードを書くことは別のことです。ここで言うSwiftらしさとは、Swiftがその言語仕様を持って実現したい世界に倣ったコードのことです。Swiftは豊富な言語仕様を持っていますが、それは同時に、豊富な選択肢があるということを意味します。全てのケースに当てはめれるような解があるわけではなく、それぞれの仕様の存在意義を明確に把握し、都度適切な判断を下さなければなりません。

　初学者がSwiftの言語仕様をある程度理解した後に躓きやすい典型的な箇所として、次のようなものが挙げられます(「使い分け」という言葉が繰り返し登場することから、同じことをするにも複数の方法があることが見て取れるでしょう)。

• Optional<Wrapped>の使い所
• 高機能なパターンマッチ
• モジュールのアクセスレベル
• プロトコルと継承の使い分け
• キャプチャリストの使い分け(weak、unowned、何もつけない)
• 値型と参照型使い分け
• ifとguardの使い分け
• 定数と変数の使い分け
• エラー処理の使い分け(Optional<Wrapped>、do-catch、Result<T, Error>)

　例えば、「Optional<Wrapped>の使い所」を説明するために、書籍内では次のようなコードが登場します。どちらにどのようなメリットがあるか適切に説明できるでしょうか。

// 全てのプロパティがOptional<Wrapped>型のケース
struct User {
    let id: Int?
    let name: String?
    let mailAddress: String?

    init(json: [String : Any]) {
        id = json["id"] as? Int
        name = json["name"] as? String
        mailAddress = json["mailAddress"] as? String
    }
}

// Failable Initializerを使うケース
struct User {
    let id: Int
    let name: String
    let mailAddress: String?

    init?(json: [String : Any]) {
        guard let id = json["age"] as? Int,
              let name = json["name"] as? String else {
            return nil
        }

        self.id = id
        self.name = name
        self.mailAddress = json["email"] as? String
    }
}

　『Swift実践入門』は、これらのこと1つ1つ言及し、読者のwhyやwhenを解消します。

おわりに

　『Swift実践入門』はその名の通り、単なる入門書や言語仕様の解説にとどまらない、実践的な内容を扱っています。著者2人で450ページ強というなかなかのボリュームですが、これからSwiftをはじめようという方から、よりその知識を深めたいという方にまで、ぜひ手にとっていただきたい一冊です。

　一方、『Swift実践入門』は実践的な書籍ではありますが、やはり本当の意味での「実践」からしか得られないこともたくさんあります。例えば、クックパッドでは長期間に渡って大量のユーザーを支えることができるアプリケーションを構築する必要がありますが、そのためにはさらに進んだトピックに取り組まなければいけません。例えば、チームに最適化されたStyle Guideを制定したり、肥大化するビルド時間に対処することがそれにあたります。

　クックパッドでは、こうしたAdvancedな課題に対処したいSwiftエンジニアも募集しています。

国内事業: https://recruit.cookpad.com/jobs/career_recruitment/ios-android/

海外事業: Tokyo、Bristol