LLMはなにげに画像AIなんかよりもよっぽど高度な処理するからな
ローカルでLLMは無謀
エロ画像とかエロ動画でも作るのが一番適してる

deepseek4.1クラスを無理やり低速で動かしてる前提ならそりゃそうだろ
qwen3.8 flash next程度で済むタスクなら100t/s以上余裕で出るから普通にローカルの利点あるぞ

そりゃ5090じゃ無理だろなんでブラックウェル使わんのや

Twitterの話題は爆サイで

>qwen3.8 flash next程度で済むタスクなら100t/s以上余裕で出るから普通にローカルの利点あるぞ
それが済まないから4.1走らせてるんだしクラウド使った方がコスパ良いって言ってるんでしょうに…

ローカルLLM全体の問題みたいに言ってるけど
クローズドレベルを期待してる極端な奴が文句言ってるだけじゃん

グラボの価格と電気代を考えるとローカルは馬鹿丸出しなんだよな

スレ画みたいな知能だと生きるのも大変そう

パソコン全部を効率的に使ってなんとかdeepseekがローカルで動かせるようになったぜ！
みたいな段階にようやくなったばかりなのに何を期待してんだよ

ローカルLLMはね、となりのババアの家の屋外コンセントから
電気をいただくのが正しい使い方なんだよ

今までローカルLLMの個人利用は30Bとかでギリギリって話だったのが125Bが実用レベルになったんだから相当な飛躍だろう
なのに話題を勘違いしてクラウドと同じ使い方出来ると思ってたならただのアホ

スレ画レベルの運用してるのがその程度の知識もないと思う時点で色々間違ってると思う

>今までローカルLLMの個人利用は30Bとかでギリギリって話だったのが

>ローカルLLMはね、となりのババアの家の屋外コンセントから
>電気をいただくのが正しい使い方なんだよ
捕まれ

エロ画像やエロ動画はAPIだと自由に作れないからローカルでやってんだよ
どっちが安いとかじゃねえの

>スレ画レベルの運用してるのがその程度の知識もないと思う時点で色々間違ってると思う
最近はstrata入れてこのモデル使いたいって選ぶだけで環境出来上がるから誰でも試せるぞ
それで今までのローカルLLMの事情知らずに遅い遅い言ってるスレ画みたいなのが沢山出てきてんの

スレ画のアホが一番伝えたいことは
ボクチン5090持ってるんだぜ？羨ましいだろー
ってことだろ？

効率とコストだけを考えるなら
外のを使えばいいさ

>スレ画のアホが一番伝えたいことは
>ボクチン5090持ってるんだぜ？羨ましいだろー
>ってことだろ？
流石に僻みすぎでしょ
としあきらしいと言えばとしあきらしいが

Grokの無課金版にも劣る文章しか書けん

個人でローカルやるならMac Studioかmini買うのがベストなのかな

>個人でローカルやるならMac Studioかmini買うのがベストなのかな
上でもあるけどストラタの誕生で大分環境が変わって来てるのが今
大規模モデルをフルで使うのは未だに出来ないのでそういう目的があればStudioになると思う
miniは帯域しょっぱいんで初心者(コスパ)重視の選択肢…だけど最早コスパの文字はない時代だな

>>スレ画のアホが一番伝えたいことは
>>ボクチン5090持ってるんだぜ？羨ましいだろー
>>ってことだろ？
>流石に僻みすぎでしょ
>としあきらしいと言えばとしあきらしいが
妬みじゃなくてその程度が自慢になるって思い込んでる程度の知能ってことでしょ
でなきゃこんなアホなポストなんかしないよ

まあ5090持ってる事が自慢になると思ってる人には妬みに見えるのかもね

Studioフルスペックで500万か
これでもクラウドLLMの性能は出ないんよね
ローカルで動かせることが安いのか高いのか

Strataでローカルモデルは動いたけどやっぱり速度がね
だったら課金額安いDeepSeekでいいやってなった

コストを単純比較してる人は頭大丈夫か…？

VRAMに乗るかどうかのサイズの軽量モデルで使い道を模索する状況からstrataの登場で前提が大きく変わったからローカルLLMの注目度が上がったんだが
その前提も知らずにズレた比較してる奴だなって思いました

>Studioフルスペックで500万か
>これでもクラウドLLMの性能は出ないんよね
>ローカルで動かせることが安いのか高いのか
フルで盛る場合は研究やチームでのAI活用なんで安いと言えば安い
同じ事をEpycみたいなミニサーバー向け環境で構築しようとすると桁一つ変わるから

個人でDGXSpark持ってるならともかくグラボで自慢とか言われても

Sparkだって別にそんな高いもんじゃないよ

>個人でDGXSpark持ってるならともかくグラボで自慢とか言われても
Sparkと5090は今ほぼ同額なんでそこの差はほぼないと思うよ
そもそも別に自慢目的でやってるように見えないけども

ローカルLLMってマニアの趣味の世界よな
制限だらけの状況でいかに能力引き出せるか？って競技みたいな
もちろん1000万2000万の散財どんと来いで、自分ちにAI開発企業やら研究所並みの環境作れるんなら知らんけどさ
実用とか仕事用でやるのはバカ

DSF1017にシングル5090じゃ弱すぎて泣きそう
せめてマルチ5090にメモリ256GB載せられたらなあ

環境つくる遊び

spark4台ぐらいあると出来ることの幅が広くなるけど値上がり前でも割と躊躇する出費だな…
病院みたいな法人ならともかく元を取れる個人ってかなり限られると思う

お外に出せないようなこと言うときはローカルはいいけど
速さも性能ももうクラウドの方がはるかにいいよ
ただそのうちクラウドが月額3万円からとか言い出すかもしれないから…

まともに使えるクラウドが月30万みたいになった時のための保険

Strataってソフトで16GBくらいでもなんとか使えそうな雰囲気にはなってきてる

スレ画も使ってるのは無検閲だしまあそういうことやな

>これでもクラウドLLMの性能は出ないんよね
そりゃクラウドは全盛mac studioの10倍以上の金かけたハードと電力使ってるからね
検閲されて困る処理以外はクラウドに任せるのが大正義すぎる

Strata（Qwen3.8-Flash-Next Gyro-M）が動くのはいいのだけど
俺の環境ではQwen3.6 35B A3B の方が強くて…

>>スレ画レベルの運用してるのがその程度の知識もないと思う時点で色々間違ってると思う
>最近はstrata入れてこのモデル使いたいって選ぶだけで環境出来上がるから誰でも試せるぞ
>それで今までのローカルLLMの事情知らずに遅い遅い言ってるスレ画みたいなのが沢山出てきてんの
情報更新できないと自分は馬鹿ですって自己紹介をするだけになっちゃうんだよね

大手サービスでバイナリ解析とかしてると唐突に制限食らうからそういうのはローカルで回してるな

実際のところローカルとフロンティア級のハイブリッド運用になるだろう
せっせとローカル環境整えてAPIであっけなく動かれると
うーんってなる

DGXSparkよりRTXSparkの方がほしい
各社100万超えでおもちゃにするには高い

>大手サービスでバイナリ解析とかしてると唐突に制限食らうからそういうのはローカルで回してるな
自分の場合は証券情報数値化しててローカルだと速度足りないからDeepSeek任せだわ
月に10ドルも掛かってないしまあいいかなって

35B A3Bは5090でシングルで800トークン毎秒とか並列で1500トークン毎秒出てしかもモデルの切り替えが数秒で終わるから
このサイズ感のを上手く使えるように技術が進歩して欲しい

ローカルでも得意なやつあるだろうからそれやらせたらいいんじゃない

エロチャット動かしたいぐらいだろ
でエロチャットはVRAMなんぼで動くん？

そのうちやたら電力使用が多いからコイツエロ動画生成してんなってFBIが踏み込んでくるの？

最近のローカルエロ画像にしろエロ動画にしろLLMが実質必須でつれぇわ
そいつら無かったらローカルLLMに手を出す必要なんて無かったのに

生成AIに対して人間が作る指示が低レベル過ぎるからな…
danbooruタグぶち込んで重みづけしてｷｬｯｷｬしてた頃が懐かしい

それでそのクラウドLLMは無検閲ですか？ガードはない？

>エロチャット動かしたいぐらいだろ
>でエロチャットはVRAMなんぼで動くん？
そんぐらいなら8で十分

>それでそのクラウドLLMは無検閲ですか？ガードはない？

でも企業AIはできませんて規制だらけだからなあ

グラボのローカルメモリじゃなくて
128GB以上のユニファイドメモリでやるもんじゃないのか
よく知らんのだが

ローカルＡＩなんて
双葉を動かしてるサーバー並みのスペックじゃないと駄目でしょ
素直に課金しろ
geminiに対してオメーラどもめがオメーラどもめがどもが

>グラボのローカルメモリじゃなくて
>128GB以上のユニファイドメモリでやるもんじゃないのか
>よく知らんのだが
メモリ16GB、VRAM8GBぐらいの「並」のゲーミングPCがあれば
Gemma4 26B A4Bが動く
Gemma4 26B A4Bが動くということは、満足のいくエロチャットができるということ

>スレ画のアホが一番伝えたいことは
>ボクチン5090持ってるんだぜ？羨ましいだろー
>ってことだろ？
しかもチギュッチギュな

31Bだから俺らは求めてるのは

>31Bだから俺らは求めてるのは
ほんとそれ
もう強さが雄の証だから

エロでないならクラウド圧勝なんで

>エロでないならクラウド圧勝なんで
そら規模がちゃうからね
課金玉よな

ローカルだから遅いってことはないよ設定が悪い
5090なら150-200token/sec出るでしょ
codexなんかはデフォルトだともっと遅い

>LLMはなにげに画像AIなんかよりもよっぽど高度な処理するからな
エロ絵の計算処理はLLMの10万分の1と言われる
GTX1660でもできるレベルのからそりゃそうだと思う

エロチャをアニメ声で喘がせるにはVRAM24GBでギリギリだそうな

>ローカルでも得意なやつあるだろうからそれやらせたらいいんじゃない
ローカル最大の利点はエロ
これに尽きる

太陽電池でやろうぜ

Qwen4 27Bまだかよ
どうせ日本語微妙だろうけど試すだけ試しちゃるからよ