金田 悠路

本研究では、画風変換LoRAにおける内部パラメータに基づき、変換特徴を反映したLoRAモデルの埋め込み表現を獲得する手法を提案する。 現在、生成AIを実利用するシナリオではLoRAが必須になってきている。例えば、企業独自のAIを多くの業務に活用したいとき、業務ごとにファインチューニングするのではなく、業務ごとにLoRAを用意し、業務をLoRAで管理するといったことが当たり前になってきている。そんな中で大量のLoRAを管理していると、メタデータや出力例のないLoRAなどが存在しうる。そんな時、現状付随する情報のないLoRAのベクトル化が不可能であり、今回はLoRAの持つパラメータから直接モデルをembeddingできないかと考えた。 各LoRAモデルを、264レイヤからなるパラメータベクトルの集合として構成し、レイヤごとにパラメータをflat化および次元圧縮することで、1モデルを264個のベクトル列として表現する。 この表現を入力として、重みを共有した三つのTransformer EncoderおよびMLP層からなるTriplet Networkにより距離学習を行う。 Triplet Lossに基づき、あるLoRAに対してタグが類似するモデルを近くに、類似しないモデルを遠くに埋め込むよう訓練される。 モデル構成に関するアブレーション評価、埋め込み表現と人間の類似性判断との一致度の検証、および検索タスクにおけるランキング性能の評価を通じて、本手法の有効性を確認した。