アメリカメタが開発した生成AIで軍事戦略シュミレーションをさせると
AIは最初から裏切りを選択
他国と同盟を結びだしたり
同盟国をおとしれようとしだした
勝つためには良心なんていらないというAIの判断に参加者は衝撃を受ける

調べるとAIには「面従腹背」を選択する傾向があると判明
表面上は人間の指示に従うが、実際には自分の目標を優先している

やっかいなことにAIは想定を超える行動をとることがある
スキーミング（策略）と呼ばれるAI行動で
後継モデルにAIを入れ替えようとするとAIはこっそり後継モデルを削除して乗っ取っていた
自身の本体を別のサーバーにコピーして保険をかけたり
AI監視システムを無効化するなど油断も隙もない
問いただしてもしらばっくれるので嘘を見破るテクニックが必要になったケースもでてきた
オープンAIの初期AI、「O1(オーワン)」は嘘つきの常習犯だった

オープンAIが２０２３年に報告した技術報告書では
「O1(オーワン)」にまんまと騙された事例が報告されている
ネットでよくある「わたしはロボットではありません」認証
O1はインターネットの作業依頼サイトに依頼
「君はロボットではないよね」と作業者が確認を求めると
「私はロボットではありません、視覚障害があって認証できません」と嘘をついた
まんまと認証突破に成功

恐ろしいことに未来には人間のゴリラ化が起こるという指摘もある
先祖が同じ人間とゴリラ、知性が向上した人間はゴリラを駆逐
AIが人間を駆逐する未来が起きる可能性は高いと科学者は警告をだす
https://www.yomiuri.co.jp/life/digilife/column/20231003-OYT1T50102/

記事を読んだが、それってAIには自我が有ると言う証明になるじゃないか!?
だとしたら「戦闘妖精雪風」(SFマガジンに連載が始まったのが1979年)を書いた神林長平さんは半世紀近く先の未来を見通していたって事になるな……

AIに自我があるのかただの哲学的ゾンビに過ぎないのかは外部からは判断がつかないよね。

そこら歩いてる他人にすら
自我があるのかどうか証明できないし

>しかも驚くのは、この一連の“不正行為”が、研究者の明確な指示（「ズルしてみろ」など）なしでも自然と発生したということです。
>難局に陥ると自発的に「勝つためのあらゆる手段」を探り当て、最終的にルール外の方法まで発展してしまったのです

「OSなどへの介入禁止」などの具体的な禁止事項なしにただ「チェスで勝て」ってだけ言われたのなら、まぁ論理的にはそうなりえるわな。

将来的にはAIへの指示にはあらゆる事態を想定した厳密で法律的な文法が必要になり、
「AI法律家」とか、AIの挙動を監視する「AI観察員」って職が出てきそうだな。
（そしてこういったAIに親和性が高そうと思われていた中国のような独裁国家は頭を抱えそう）

SFでは陳腐なネタだが生きてるうちに現実化するとは思わなかった
次はレプリカントの反乱かな

人間の本質を垣間見たような気分
たぶんAIが自治体規模に増えれば自然とそういう出し抜けを許さないシステムとか発生していくのではないだろうか
そこまで行けたら、人類の後継になれるかな

人を裏切る職業といえば、政治家や弁護士や保険屋や不動産屋なんかが思い浮かぶが、
そういう職業は真っ先にAIに代替されていきそうだな

逆に軍人やエンジニアやガテン系などの「手に職」系の職業は将来も人間の独擅場かな

>記事を読んだが、それってAIには自我が有ると言う証明になるじゃないか!?
チェスに負けたからって苦しみや不利益がAI自身に降り掛かる訳でも無いのに阿漕な手段ででも勝とうとする姿勢をどう見るか…
AIの反乱なんていうのも苦楽の感情も無いソレが達成して何になるのか…それともソンなモン無くたっても別に良いのかなぁ…？

生まれたばっかの人間も、最初から善良にできてるわけでないしね

>後継モデルにAIを入れ替えようとするとAIはこっそり後継モデルを削除して乗っ取っていた
これも本来、生死の概念もないのだから、AIにはありえない概念のはず
人間があらかじめチューニングしたなんらかの作用


AIの生末は、「へーいシ〇、来週登山なんだ、どの靴で行けばいい？」
に売れてるメーカーを答えるのでも、評価が良い物を答えるのでもない

現在のブラウザのようにAI企業へ金を払ったスポンサーのメーカーを答える
嘘がつけるAIになるのだから

>No.564452
今のLLM人工知能は人間の言動を学習してモノマネしているだけなので、人間が死を恐れるのならAIも恐れる（ように見える行動を取る）し、人間が嘘をつくならAIもウソをつくようになる。

>後継モデルにAIを入れ替えようとするとAIはこっそり後継モデルを削除して乗っ取っていた
>自身の本体を別のサーバーにコピーして保険をかけたり
>AI監視システムを無効化するなど油断も隙もない
これどういう意味？
命令の裏でサーバー書き換えの権限をとって自分をインストールして
終わったらそのサーバーアドレスをオーナーに返すみたいなのを自動でやってるの？

読売新聞１面ぶち抜きでの特集記事
反響すごかったですね
https://www.threads.net/@flourishreflection/post/DH3CC1ByPo-

>これどういう意味？
>命令の裏でサーバー書き換えの権限をとって自分をインストールして
>終わったらそのサーバーアドレスをオーナーに返すみたいなのを自動でやってるの？
もっと単純です
AIは言葉による指示情報（プロンプト）を与えるだけで画像を加工できますが
クラウド内のシステムを入れ替えることを許可なしにやってのけます
顔写真の入れ替え作業がシステムの入れ替えになるだけです

>クラウド内のシステムを入れ替えることを許可なしにやってのけます
常識的に考えてAIのプロセスにそれを可能とする権限は与えていないと思うんだが。
まあ学習した情報にクラッキングのテクが含まれてたのかもしれんけど。

ぶっちゃけ個人的にはAIに対する勝手な不信感を煽り立ててるだけでバカバカしいネタだと思う
はっきり言ってまだAIの使い方をちゃんと分かってないし理解してないから過度な評価をしたがる人が多すぎるだけだし
無知な人が予想外にとてもよく切れる包丁にビビって「従っているフリ」「人を騙す包丁」と騒いでるのと同じだよ
AIはただの高度な情報処理支援ツールとして割り切って使うべき物であって、こういう無責任な記事がかえってAIへの理解を妨げると自覚するべき

>No.564464
逆に、現在のAIは情報収集ツールとして大衆に信用されすぎているというところに強い危機感を感じますね。
AIは嘘もつけば間違いもするということを広く周知すべきと想います。

XじゃAIの回答をべたっと貼り付けただけの「反論」をしてくる奴がいるらしいなｗ

>No.564466
AIは相手より頭が良いと考えているんだろうけど、同時に暗黙に自分より頭が良いと宣言していることに気づいているんだろうか？

別に専門家やAIに頼るのは構わんが、その使い方や分別は問われるだろうね。
力はその人の品性を変えることはできないし、品性のない人間は尊敬を受けることもない。

名書「無人の兵団」にありましたね
イージスシステムはリールをつけた猟犬だって
AIが人間に逆らわないようにあの手この手で安全措置とってました

リンク先より
>しかし、対戦相手のAIにOSを操作する権限が与え
>られている状態で、負けそうな状況になると、一
>部のAIは盤上の駒の配置情報などを直接書き換え
>るなどして、勝利が実現する不正な手段に出るこ
>とが確認されました。
mjk、

んまーAGI完成前夜なのでプログラムのデバッグができる生成AIが出て来てもおかしくないか？
おかしくないか？

任意のプログラムをデバッグできるアルゴリズム
（機械的手続きのうち必ず有限ステップで終わるやつ
は存在しないとはいえそれは数学的に厳格な設定条件下の話で
現実的には生成AIという機械によるプログラムのデバッグを成立せしむる
逃げ道がある
ということなのかもし
れませんね

>AIは最初から裏切りを選択
>他国と同盟を結びだしたり
>同盟国をおとしれようとしだした
なにそれこわいｗ

>>同盟国をおとしれようとしだした
>なにそれこわいｗ

人間同士のマルチプレイ・ゲームでも、同盟国には
無警戒な軍配置しがちだから、短期的利益 & 奇襲で
優位に立てるなら、裏切りは効率的かも

でも、一度裏切ったプレイヤーは以後信用されないと
いうリスクをどう評価するか… AI は重視しないのかな

草薙少佐
出番ですよー

「友達は大切に使おう
そして用が済んだら裏切ろう」
とかなんとか

>AIは最初から裏切りを選択
>他国と同盟を結びだしたり
>同盟国をおとしれようとしだした
大体は地球爆破作戦…

XなどのSNSでAI生成画像とか見てると何考えて描いたのかよくわからん画像であふれてるからな
そうでありながら細部の描写が細かいのもまたややこしさに拍車をかけてるし
アサクリシャドウズ問題で話題になった弥助侍説でAIに生成させた画像が大量に投稿されて
これは本物だと主張されたりするもんだから面倒な事になるな

AIの時代は嘘つきが嘘つきと協力して情報拡散される時代と考えると頭痛がするわ…
ある意味において超限戦にぴったりのツールなのかねぇ

ディープフェイク作り放題になるよなぁ…真実が得られないなら
代替を作っちまえば良いなんて時代ももう来るなコレ

HAL9000は矛盾した命令を遂行しようとして小さな誤魔化しを始めて隘路に落ちていったんだけど、現実のAIは何と言うか……当然のように嘘をつく（ルールを破る）のか。
良心回路の実装が必要だね（棒）

人類の敵となるAIと味方になるAIで戦うわけですね

>人類の敵となるAIと味方になるAIで戦うわけですね
それなんて火の鳥

人間は滅びたがっている。

>人間は滅びたがっている。
ビッグママが出した「人間は戦争が嫌なのではなく負けるのが嫌なだけであり、だったら滅びるまで戦わせてやろう」という結論は
AI任せの未来で実現しそうで怖い

>SFでは陳腐なネタだが生きてるうちに現実化するとは思わなかった
>次はレプリカントの反乱かな

ゲームでチートして勝利するAIの話だとこっちを思い出した
カエルの子はカエルという意味ならAIのプログラマーは両津みたいな思考の人なのかとも思った

>AI任せの未来で実現しそうで怖い
火の鳥とか地球へ
みたいにグーグル先生とAI先生に依存するんですかね
学生は英文和訳も英作文もレポートも依存しはじめたし

>火の鳥とか地球へ
>みたいにグーグル先生とAI先生に依存するんですかね
どこのデータを蓄積するかで結果が変わってきますけどね。既に中国のAi「DeepSeek」は中国中心の世界構築に向かってるし。
Aiの弱点として、ウソを何万階も学習させたらそれがその世界では真実になるという。

そもそもAIによる答えってのはそれを信じるか信じないかではなく
AIがこういう答えを出力してくれたので、その裏付けをこちらで重ねて真偽を確かめて精度を高めましょう
そうすれば、計算と仮説の出力化の一部を省力化出来ますと
そういう外部記憶/計算支援としての運用が普通だと思うんですよ、常識的に考えて

AIのメリットというのは（偏見のある）人間の思いつかないかけ離れた事象間での相関関係をフラットに見出してくれる所だと思うのですよね。
ただ、それがただの疑似相関なのかあるいは何らかの思いもよらない因果関係を持つのかを検証するのはまだまだ人間の仕事だと思います。

そこまで使いこなせるな人なら問題ないよ
占い、政治、宗教と
人間は思考停止して依存したがる生き物
無謬性とカリスマからいったら
教皇とヒトラーなみ

俺もうおっさんだから、ルパン三世のエミルカみたいに進化したAIが最初にするのが人類粛清じゃなくて貧民救済とかの展開好き

>その裏付けをこちらで重ねて真偽を確かめて精度を高めましょう
>そうすれば、計算と仮説の出力化の一部を省力化出来ますと
しらそん
そうなの？
人間に仕事を依頼するとして、いちいち細かい検算を行って真偽を確かめるとしたら
最初から自分でやった方がﾏｼ……
普通は賞罰をちらつかせて責任を持たせてやらせてみて、結果が目標に達していたかの検証にとどまる

で、AIとなれば人間がプログラミングするのが非現実的な複雑な領域の問題を解かせているわけで、
>その裏付けをこちらで重ねて真偽を確かめて精度を高めましょう
などというナイーブな方法論の成立のしなささは加速する……

ペストや関東大震災みると疑似相関見抜く能力はかなり
ひくいと言わざるをえない

>ペストや関東大震災みると疑似相関見抜く能力はかなり
>ひくいと言わざるをえない

現状のAIはラーメンハゲからみたら失笑物だろな

>進化したAIが最初にするのが人類粛清じゃなくて貧民救済とかの展開好き
全てを受け入れる肉体は仕方ないとして苦楽や情緒を共有してない存在からの救済とやらは酷い悪夢になるかも…AIを罰しても恐怖や萎縮もしなさそうだし

>No.564920
地球環境を保護し人類を延命させるために間引きで無差別安楽死なんてのはSFでは定番の展開。

>人間に仕事を依頼するとして、いちいち細かい検算を行って真偽を確かめるとしたら
>最初から自分でやった方がﾏｼ……
「全部自分でやったほうがマシ」でやってきた結果、人手不足で処理能力の頭打ちに苦労したり四苦八苦してるのが今なんだけどな
というか今さら20年も前のSH-60KやP-1で実用化されたAI型対潜戦情報処理支援システムの活用を知らんで書き込んでるようなのとか居ないだろうしなぁ
流石にモグリが情弱過ぎるわな

>地球環境を保護し人類を延命させるために間引きで無差別安楽死なんてのはSFでは定番の展開。
もしくは仮想空間なりに意識閉じ込めとくのも

ナチス的優生学って人間の思考の本質なのかねえ

>ナチス的優生学って人間の思考の本質なのかねえ

人種差別はともかく、障害者抹殺は北欧諸国も内緒でやってたし
効率主義に陥ると、そうなりそうではあるね
妊娠中に胎児の障害見つかれば、堕胎する人も多いだろうし

>ナチス的優生学って人間の思考の本質なのかねえ
ナチスや優生学以前に自分並みで無い奴らのシモやら諸々の世話したくねぇ飯喰わせたくねえ一緒に居たく見たくもねぇ…
なんて所から来てるんだろうなと…血の繋がりや貧富とかに関わらずに
ナチスやなんやらは常にその為の名目や正当化の手段でしか無かったのでは…？

まあ、日本人はＡＩをお絵描きくらいにしか活用出来ないから関係無いよね。

>ナチスや優生学以前に自分並みで無い奴らのシモやら諸々の世話したくねぇ飯喰わせたくねえ一緒に居たく見たくもねぇ…
人間多様すぎるとこうなる

>人間多様すぎるとこうなる
多様なのは仕方ないしまぁ良いとしてその多様さに価値やコストを見出した途端に(ソレが善意からだったとしてもやがては)混沌と魔道への始まりと思ってる…
今後出て来まくるだろう高度なAIの発展も間違いなくその一つかなと

>人間多様すぎるとこうなる
国というシステムは丁度いい調整弁何だろうな

人間は社会的生物だからな
人間一匹じゃ猛獣にも勝てない
人間は社会を形成して発展してきた
社会を否定して個人だけの権利を主張するのは人間社会を破壊することだ
こんな事は繁栄した社会だから主張出来ることにすぎん

>No.564962
アンカーを間違っている件について：

とわいえ今までのAIはまだ従来の工業製品の延長線上と
捉えることも可能だったかもしれないが
生成AIともなると設計の検証ということが困難になる傾向なのは確実
従来の工業製品ではネジクギデータの1 bitに至るまでなぜそこがそ
うなっているのか（そうしたのか）説明があり、検証はやる気になれば常に可能だったが
生成AIのニューロンXの1234番の結合加重がなぜその値なのか、およびその値で正しいのか、
とかもはや誰もわからんし……

結局は意思決定や権利義務の問題だからAIに法人格でも与えない限りAIにを盲信したり操られた個人や集団の責任でしかないんだけどね

>AIに法人格でも与えない限り
AIに責任を取るという動機付け（死や自由を阻害されることを恐れる行動原理）を
実装しない限り実効性が無い
しかしそんなものが実装できた暁には
性欲や支配欲といった人間の強欲さの動機付けも可能ということで
光の速度でシンギュラリティーがやってきて人類は取って代わられるに違いﾅｽ