社内でLLM（大規模言語モデル）をローコードで作れるflowwiseというツールで遊んでおります。flowwiseでチャットボット作ったり、slackボットの秘書を作ったりしてますが、裏のパワーを使う部分はOpenAIのAPIを叩いてお願いしております。ただ毎回インターネット越しにモデル動かすのではなく、ローカルでもAIモデルを動かしたいなと思い、今の仮想サーバー上ではさすがに貧弱すぎて動かないため、GPU搭載パソコンを購入することにしました。購入にあたって「中小企業者等の少額減価償却資産の特例」を使って購入できる範囲ということで、最新のRTX4090だとカードだけで30万円超えそうで、その他オプションとのせめぎ合いでRTX4070Superになりました。サーバー購入したいところですが、現在主流のH100が500万円とのことで、さすがに手が出ず。。

職場での楽しみが増えました！