ここ最近、仕事の流れでLLMをローカル環境でも触ってみようと思い、空いた時間に少しずつ試しています。クラウドならすぐに始められるのですが、まずは自分の手元でどれくらい動くのか、感覚をつかんでおきたかった…という程度の軽い理由です。
最初は「小さめのモデルならCPUでも動くんじゃないか」と思っていたのですが、実際に試してみると、読み込みの段階で固まってしまったり、動いても実用というにはほど遠い速度だったりして、あっさり限界を感じました。
結局、グラフィックボード（GPU）を買わないと厳しいという現実に直面しました。
今のLLMって、推論の処理がかなり重いので、GPUがあるかどうかで体験がまったく変わります。もちろん、技術的にはCPUだけで動かせるモデルもありますが、「仕事でちょっと確認したい」といった用途だと、やっぱりGPUがないと難しいんだな、というのを身をもって理解しました。
とはいえ、クラウドを使うという選択肢もあります。AWSやAzureを使えば、必要な時だけGPUインスタンスを立ち上げればいいので、環境づくりとしては圧倒的に楽です。ただ、今回はあくまで“理解したい”という気持ちが先にあったので、まずはローカルで試すところから始めてみようという判断でした。
ローカルで軽めのモデルを動かしてみると、意外とサクッと返事が返ってきて、ちょっとした文章生成や簡単な相談ごとくらいなら十分です。もちろん、大きなモデルを高速で回すには性能不足ですが、日常的な試行錯誤にはこれで十分だな、と感じています。
まだまだ理解しきれていないところも多いのですが、こうして自分のPCで試してみると、クラウドで触っているときよりも“動いている感”があって、学ぶスピードが少し上がる気がします。しばらくはローカルとクラウドの両方を使い分けながら、のんびり慣れていくつもりです。