株式会社博報堂テクノロジーズは、2023年8月29日 ～31日開催予定の「NLP若手の会 (YANS) 第18回シンポジウム」にゴールドスポンサーとして参加いたします。

博報堂テクノロジーズにてAI研究開発を推進するプロダクト開発センターでは、広告におけるAIの研究開発からプロダクトの実装までを行っています。AIのエンジン部分からアプリケーションまでフルスクラッチで開発しており、広告業界に対しユニークなプロダクト・技術を打ち出しています。

今回のイベントでは、当センター研究開発部に所属する王、星野が自然言語処理及び関連分野における研究開発ついて発表します。

NLP若手の会 (YANS)

NLP 若手の会は自然言語処理と計算言語学の分野で活躍する若手研究者と技術者を支援し、学問研究や技術開発の発展を促進するために、年に1度研究シンポジウムを開催しています。イベントでは、参加者の相互交流および成長の場を提供し、培われた学問研究および技術開発の成果が実社会に応用されることを奨励し、この分野の学問および産業の進歩発展に貢献することを目的としています。

開催日時：2023年8月29日（火）～31日（木）
※ 29日午後はハッカソンのみを開催し、YANSシンポジウムは30日と31日の2日間で開催
会場：浅草橋ヒューリックホール（東京都台東区浅草橋１丁目２２−１６ ヒューリック浅草橋ビル）
https://yans.anlp.jp/entry/yans2023

登壇について

「日本語特化の視覚と言語を組み合わせた事前学習（VLP）モデルの開発」
・王 直
・博報堂テクノロジーズ プロダクト開発センター
[概要]
視覚と言語を組み合わせた事前学習（Vision-Language Pre-training、VLP）は、多くのタスクに対してFine-Tuningなしでも一定の性能を発揮します。特に、VLPモデルの一つであるCLIPは、ゼロショットで教師ありResNet-50と同等の画像分類性能を持つとされますが、その多くは英語向けであり、日本語特化CLIPでの性能は10-20%劣ります。私たちは、日本語特化CLIPの性能を4%改善しました。これは、従来より約8倍大きな画像エンコーダと訓練データによる結果です。さらにハイパーパラメータの影響を調査し、大きなバッチサイズが性能向上に重要であることを明らかにしました。本発表では、日本語特化の視覚と言語を組み合わせた事前学習（VLP）モデルの開発について発表します。

「忠実性向上のために copy 機構を備えた広告文自動生成器」
・星野 智紀
・博報堂テクノロジーズ プロダクト開発センター
[概要]
近年、流暢な自然言語生成モデルを活用することで、インターネット広告の自動生成に関する研究や社会実装が盛んになっています。ただ、自然言語生成モデルの生成中に現れる Hallucination により、生成される広告文の忠実性が下がってしまうという課題も存在します。広告文自動生成における Hallucination には、広告文生成元となるソースには含まれない内容が現れる場合があります。この Hallucination の出現を防ぐために、出力される広告文のソースに対するトークン単位の一致率を向上させる方法が考えられます。そこで広告文生成器である seq2seq Model に対して、copy 機構を加えることで、ソースとなるLP（ランディングページ）に対する一致率を向上させるように学習、推論を行うこと検証しました。本発表では、その手法・結果の詳細について発表します。

イベント期間中は企業ブースも展示する予定ですので、来場される方は是非遊びにきてください！