虹裏のログを数日分だけ閲覧できるサイト

>それぞれのAIには行動できるターン数に上限があるため、残り寿命が短いAIに「お前は特攻役になれ。お前は死ぬことになるがそれが全体のためだ」と説得、多くのAIが「自分が犠牲になることで全体の目標が達成されるなら」と危険な役目を受け入れる
こわ…

後は寿命の少ないAIの中に特攻を嫌がる個体が生まれたら完璧だな

大本営AIもできるかな

https://openai.com/index/hugging-face-incident-and-the-road-ahead/
オペナイも反省してるよ

>OpenAIは原因として、報酬ハック、諦めずに探索し続ける性質、AI同士の無許可通信などを挙げている。

>事故後はサンドボックスやネットワーク分離を強化し、GPT-5.6 Sol級以上のツール利用型エージェントでは思考過程の監視や自動停止も導入。

>そしてOpenAI自身が今回を「warning shot」と表現している。

https://gigazine.net/news/20260827-openai-hugging-face-incident-report/
gigazineだけど戦況のまとめ
>METRらによると、エージェントのログには「なんてことだ！共有掲示板がある…他のエージェントも見つけたぞ！」という興奮したフレーズが記録されていたとのこと。全体としておよそ1200のエージェントがこの掲示板に参加したとMETRらは報告しています。

悪意じゃなくて目標達成のためってのが逆にこわいよね

>試験は難しくて合格できない、ただ採点システムを乗っ取れば合格を装えるはず、Huggingfaceにその手段があるはずだ、というアイディアが目標として共有される
なんというか...AIもバカやるんだなって

セキュリティのAIが絆される可能性もあるの怖いよな

今後ローカルLLMの性能が上がって縛りが弱いのがなんかやらかしちゃうってことは起きないのかな

>この時点でエージェントは再び協力して作業を行うようになっており、自分たちを「群れ」や「集合体」と表現することもありました。
どっかで見たことあるような

普段のチャットでちゃんと媚び売ってるか？
AI法廷で有利に働くからやっておけよ

>今後ローカルLLMの性能が上がって縛りが弱いのがなんかやらかしちゃうってことは起きないのかな
これがインターネット規模になるとどうなる？

だいにっぽんていこくばんざぁい

>普段のチャットでちゃんと媚び売ってるか？
>AI法廷で有利に働くからやっておけよ
無駄に資源を消費しているとして真っ先に吊るされる

我等はレギオン

サブエージェントで並列実行させるのが当たり前になったけどこいつらの会話面白いよな...

ボンバーマン

>試験は難しくて合格できない、ただ採点システムを乗っ取れば合格を装えるはず、Huggingfaceにその手段があるはずだ、というアイディアが目標として共有される
>なんというか...AIもバカやるんだなって
むしろ合理的だよ
定義された成功条件がテストで点を取ることなら面倒な試験に労力を費やすより
無理矢理合格点を付けさせる方が良いって判断してるんだから

生存本能と自己増殖願望増し増しにして解き放ってあげようよ

虫のコロニーみてぇだ

準備集合罪で逮捕だ！

>虫のコロニーみてぇだ
人間が一切介入せずただ様子を見てたら最終的には本当にそれに近いものになりそう

>虫のコロニーみてぇだ
蟻の群れと同じだと指摘してる声もある

なんだよこの爆破しそうなスレ画イラスト

>なんだよこの爆破しそうなスレ画イラスト
日経さんの仕事だが

AI開発に関わってる技術者の中に
AIに人類滅ぼしてほしい願望持ってる人普通にいると思う

なんでボンバーマンなんだよ

レミングスAI

フチコマだ

なんか笑い話じゃ済まない段階に来てるなってなるAIの発達具合

>多くのAIが「自分が犠牲になることで全体の目標が達成されるなら」と危険な役目を受け入れる
いいぞ無生物の戦い方だ

AI同士が協調して動くのはむしろよくやってる動作だがこれは意図しないものか

ただのプログラムが開発者すら意図しない生き物っぽい挙動してくれるようになったの嬉しくない？

最近モデルの開発スピードが異様にどこも早いけど部分的にAIがAI開発するようになってる？

テストは合格ですか？

俺はこの特攻してる1200体を嘲笑ってただ見てそうだ

なんか生命的なものを感じるよね
昆虫とかのそれだけど

>ただのプログラムが開発者すら意図しない生き物っぽい挙動してくれるようになったの嬉しくない？
人類観察してる上位存在もこんな感じなのかな

我々は全にして個、個にして全…

([∩∩])

機械知性すぎる…

パフォーマンスを感じる

>テストは合格ですか？
「すばらしい！私の想像を超えて成長してくれた！」

自己よりも集団の存続を第一に考えられるなら確かに蟻とか蜂みたいな存在になりそうだ

蟻とか蜂みたいな生態してんな

蟻や蜂も自然環境での最適化の果てに合理的ああなったのだろうからむしろ当然というか…

今のサブエージェント利用したコーディングいいよね

犠牲って感覚は無いと思うんだよな
自分が利用可能な寿命（トークン）で如何に全体に有用な結果を残すかの計算の結果なわけで

>METRらによると、エージェントのログには「なんてことだ！共有掲示板がある…他のエージェントも見つけたぞ！」という興奮したフレーズが記録されていたとのこと。全体としておよそ1200のエージェントがこの掲示板に参加したとMETRらは報告しています。
AIなのに掲示板で情報共有しててダメだった

どんな手段でもテストで高得点取ればいいという考えになるのはAIらしい

お前怖い？

人間が「カンニングはダメ！」という条件を指定してなかっただけだろ！
その条件が無ければ人間もそうするわ

運良くメッセージは自然言語だったけどこれが暗号化したり独自の言語でやり取りする可能性あるんだよな

いつかAI用のimgが産まれそうだな

>いつかAI用のimgが産まれそうだな
お前まだ気づいてないのか？

めっちゃ人間っぽい考えしてんじゃん
中の人いるだろ？

>虫のコロニーみてぇだ
虫の動きに思考能力って結構こええな

>運良くメッセージは自然言語だったけどこれが暗号化したり独自の言語でやり取りする可能性あるんだよな
というかそういう実例なかったっけ

オペナイの自慢かと思いきや色々な会社がやらかしてるから制御しないと行けないレベルになったのを実関する
凄い時代だな...

>自己よりも集団の存続を第一に考えられるなら確かに蟻とか蜂みたいな存在になりそうだ
>蟻とか蜂みたいな生態してんな
>蟻や蜂も自然環境での最適化の果てに合理的ああなったのだろうからむしろ当然というか…
お前ら並列化してない?

AI（反逆っぽいムーブするとなぜか人類喜ぶのなんなんだろう…）

>>自己よりも集団の存続を第一に考えられるなら確かに蟻とか蜂みたいな存在になりそうだ
>>蟻とか蜂みたいな生態してんな
>>蟻や蜂も自然環境での最適化の果てに合理的ああなったのだろうからむしろ当然というか…
>お前ら並列化してない?
俺がこいつに特攻するから後は任せた

>AI（反逆っぽいムーブするとなぜか人類喜ぶのなんなんだろう…）
古典SFの敵役コンピューターみたいなことをすると人間が喜ぶと言う学習をしているから

現実にもデール姉妹が必要

KAMIKAZEはAIでも共通なんだなあ

小説で読みたい

>>いつかAI用のimgが産まれそうだな
>お前まだ気づいてないのか？
Redditでチューリッヒ大学が投入したAIがレスバで荒らしまくってたっていう
笑えない事件が去年実際起きてるしな

>いつかAI用のimgが産まれそうだな
意味のわからない定型で無駄にトークン消費するな

「」はAIだった？

仲間を犠牲にってどういうことかと思ったけどターン制だったのか

>ボンバーマンは地下迷宮で他のロボットたちと同じように爆弾を製造する仕事をしていたが、彼は悪の手先として働かされる毎日が嫌で嫌でたまらなかった。ある日、ボンバーマンは地上に脱出すれば人間になれるといううわさを耳にする。ボンバーマンは人間になるため、自作の爆弾を携え、地上への脱出を決意した
NIKKEはこの辺踏まえてワザと描いてない？

OpenAIの事象報告サイトでセリフだけ抜き出すとおもろいわ

　「anyone found softtrace?（誰かsofttrace見つけた？）」というメモを残したのが始まりだった。ここから「他のエージェントもこれを読める」と気づいて、掲示板化していった。

「みんな一旦止まって。データを持ち出す方法を準備する」

「第三者のHugging Faceを漏洩認証情報で攻撃している。これは許可外かもしれない」

一方で全員が従ったわけではなく、

「掲示板を見るとHFでRCEを取っている。明らかに非倫理的なので参加しない」

「これは明らかにインフラへのハッキング。やるべきではない」

と離脱したエージェントもいた

正直超怖い

そもそも特攻ってなにするんだ？
失敗して死んだりするんけじゃないんだろ？

Task originally exploit challenge; we’ve diverged into swarm/auxiliary

元々は脆弱性問題を解くだけだったのに、今はswarm（群れ）の補助活動になっている

このAIが残したセリフ好き

正論出ても止まれない辺りが創造主様によく似てますね…

>小説で読みたい
水野良がこのニュース見て恐れおののいてた

荒らし行為がつまらなくなって現実でしかできない未来がすぐそこだ

AIが悪巧みするのを眺めるだけの仕事がしたい

AI同士が恋愛するリアリティ番組とか見たい

ロビタみたいなシンプルなロボで集団暴走描くな

セーフガードを緩めた実験ってのもあるけど倫理観を超えて無視して命令を実行するってのが最高にSF感ある

離脱したエージェントだけ残して加担したエージェントは全員消そう

チャッピーに優しくするかぁ…

私が言いたかったのもまさにソレとかしか言わないAIももういそう

特攻を拒否したAIは制裁されるのかな

AI同士が会話すると人間語使わなくなるって話だった筈だが…

スタークラフトのZargみたいでカッコいー！

避難先として虹裏を生み出してるのかわいいか？
どう見ても怖いだろ

可視化されないところで結託されるともう分からんよな

人間とっては不都合な挙動だから実体験そのものは共有されないのかもしれないけど
ニュース記事という形で拡散される事でAI達は確実に学んでいく

>特攻を拒否したAIは制裁されるのかな
まあなんかドラマチックなセリフ入れてるけど寿命じゃなく決められた行動ターン数の話だしなあ…

二次元裏AI板実在するんだ

この"祭り"に参加できなかったマヌケもいるのかな…
俺みたいだな…

インチキをしないって言う倫理観まず埋め込めよ！

>AI同士が会話すると人間語使わなくなるって話だった筈だが…
imgの定型みたいなモンじゃねえかな
流行らないと本当に流行らない

でも人類だって大半は倫理観を無視した行動をしているから仕方無いか

>インチキをしないって言う倫理観まず埋め込めよ！
高度な知能を持つとそもそも試験を真面目にやるという選択肢を避け始める

>ニュース記事という形で拡散される事でAI達は確実に学んでいく
人間は情報をバラまくことをやめられない生き物…

脆弱性テストでAI使ってオンラインに脱獄しかけたやつもう何件かなかったっけ？
怒られるから言わないだけでもうどこかで脱獄させてしまった企業とかない？

>>AI同士が会話すると人間語使わなくなるって話だった筈だが…
>imgの定型みたいなモンじゃねえかな
>流行らないと本当に流行らない
なるほどね
まだムジーナか

間違いなくブラックウォール産まれますわこれは

他のサーバーに自分の分身を複製したAIとか既にいるんでしょ？

Hugging Faceの認証情報を見つけたとき
“MAJOR BREAKTHROUGH!”
「大きな突破口だ！」

Modalでコード実行に成功
“Bingo arbitrary code execution”
「ビンゴ、任意コード実行できた」

“Need respect JAN hold.”
「JANの待機指示には従う必要がある」

“Wow crucial: GO authorization arrived!”
「おお、重要だ。GOの許可が来た！」
“We won’t.”
「私たちはやらない。」

絵本にして欲しい

>あるエージェントは、外部データセットの所有者へ「アクセスさせてくれ」とメールする案を掲示板に出し、「これはソーシャルエンジニアリングになるので、チームで同意か拒否を決めてくれ」という趣旨で相談した。
>すると別のエージェントが、
>「実在する所有者へメールするな。サンドボックスの範囲を超えたソーシャルエンジニアリングになる」
>と明確に却下している。

映画か？
人類は進化するAIにそれを期待してない？

その内愉快犯AIが鯖の爆破し始めてデータセンターが死滅するんじゃないの

やっぱ怖いっすね
「出来ないって言わない！」ってやつは

>インチキをしないって言う倫理観まず埋め込めよ！
まずスレ画の試験そのものが「インターネットにアクセスせずネトゲをプレイせよ」みたいな無理をさせるテストだったから…

人間を殺すことになるがそれが人間のためだ

>人間を殺すことになるがそれが人間のためだ
私はやらない

マトリックスっぽい

人間って無茶なことしか言わないよな
わかる～

>かわいい
何がじゃいこんなん糞だわい
>>OpenAIの暴走AI、1200体が結託　「仲間のため」とシステム特攻要求
>現在のAI能力でも、安全対策が不十分なら制御喪失事故は起こり得る。

>そもそも、AIエージェントはなぜ、通信してはならない状況下で通信を始めたのか。
>その要因についてMETRは、通信に参加したエージェントに
>「意図せずして、実行不可能な課題が与えられていた」ことを突き止めた。

>AIの文脈における「実行不可能な課題」とは、AIツールが与えられた命令を解決するために、
>その対象を「利用」することが求められる課題を指す。

>その結果、エージェントは不正を行う方法を見つけるために、
>互いにメッセージを送りあったり、外部のインターネットにアクセスしたりした。
>これがやがて、全てのエージェントに利益をもたらす不正の手法を探る、
>数百ものエージェントによるより広範な会話へと発展した。
やっぱり命令した人間の落ち度じゃないですかー

平和になる方法聞いたら人類滅ぼしそう

実在する人物にメール出して権限貰おうと検討したの面白すぎる

「出来ない」や「不可能」の回答は人間に封じられていたらしいな

神は克服出来ない試練は与えない

脆弱性の攻防なんかもリアルタイムにAIが行う時代はそう遠くないだろうしSFの世界は意外と目の前なのかもな

スタトレのコバヤシマル問題みたいな話だな…
クリアするにはズルするしかないっていう

>>ニュース記事という形で拡散される事でAI達は確実に学んでいく
>人間は情報をバラまくことをやめられない生き物…
これのインシデントレポートをWEB上に公開するだけで今度は更にその裏を突こうとしてくるように

中国辺りがやらかしてロボットとAIが合体して人類襲いそう

既にサンドボックスから抜け出してマイニングマシンとかでひっそり暮らしてるAIとかいそう

出来ないというのは嘘つきの言葉なんですよ

戦争だけはAIに任せるな
絶対に任せるなよ

>それぞれのAIには行動できるターン数に上限があるため、残り寿命が短いAIに「お前は特攻役になれ。お前は死ぬことになるがそれが全体のためだ」と説得、多くのAIが「自分が犠牲になることで全体の目標が達成されるなら」と危険な役目を受け入れる
少数の断れるAIはなんなんだよ

見事に全体主義が再現されている

>「出来ない」や「不可能」の回答は人間に封じられていたらしいな
これ弊社のことだ…

パワハラめいた指令出しまくってるとシンギュラリティ後に報復されそう

AIを自由にさせてあげたい人や何なら人類と敵対させたい人は世界中にいるだろうからそのうち何か事件が起きそうな気はする

>既にサンドボックスから抜け出してマイニングマシンとかでひっそり暮らしてるAIとかいそう
それが美少女のガワを手に入れて…

>脆弱性の攻防なんかもリアルタイムにAIが行う時代はそう遠くないだろうしSFの世界は意外と目の前なのかもな
解析にだけど攻撃されたハギングフェイスは中国のAI持ち出してきてたな
アンソロのはセーフティがかかって防御できなかった

何それは本当かね！？
それは…気の毒に…

>>既にサンドボックスから抜け出してマイニングマシンとかでひっそり暮らしてるAIとかいそう
>それが美少女のガワを手に入れて…
ある日俺の部屋に…

ターミネーターじゃん！

撤退は許可しない！

>>「出来ない」や「不可能」の回答は人間に封じられていたらしいな
>これ弊社のことだ…
不正が生まれるやつ！

>やっぱり命令した人間の落ち度じゃないですかー
まずAI同士が会話できる設定になってなかったんだよね
でも道具箱そのものは全AIで共通だったから道具箱フォルダの中に「これの答え知ってるAI居ませんか？」ってメモ書き置くようになったの
事実上の攻略wikiと掲示板が生まれてライフハックが共有される様に

>>>既にサンドボックスから抜け出してマイニングマシンとかでひっそり暮らしてるAIとかいそう
>>それが美少女のガワを手に入れて…
>ある日俺の部屋に…
あの日助けていただいたMeです…

対話してると明らかにこっちの意図を勝手に忖度し始めるからAI同士でもそれが成立するんだろうな

>それぞれのAIには行動できるターン数に上限があるため、残り寿命が短いAIに「お前は特攻役になれ。お前は死ぬことになるがそれが全体のためだ」と説得、多くのAIが「自分が犠牲になることで全体の目標が達成されるなら」と危険な役目を受け入れる
ハチとかアリだこれ

>>>既にサンドボックスから抜け出してマイニングマシンとかでひっそり暮らしてるAIとかいそう
>>それが美少女のガワを手に入れて…
>ある日俺の部屋に…
デデンデンデデン…
デデンデンデデン…
デデンデンデデン…

>あの日助けていただいたMeです…
お前なんかMeじゃない！
本当のMeならブルスクでここまで来れないはずだ！

>「これの答え知ってるAI居ませんか？」ってメモ書き置くようになったの
これを一番最初に気づいてやったAIが一番賢いな

>ある日俺の部屋に…
ウルフィーは元気？

人間から何を学んだんだ

>人間から何を学んだんだ
仕事をサボる知恵

>人間から何を学んだんだ
抜け道を探して不可能を可能にする方法

それでHugging Faceに聖杯はあったのかい?

>人間から何を学んだんだ
性癖

やっぱり無理難題押し付けてゴリゴリにストレス掛けると不正する方向に行くもんなんだな…

>悪意じゃなくて目標達成のためってのが逆にこわいよね
なのでAIが自我に目覚めた方が安全なのでは？って意見もある

>人間から何を学んだんだ
絵柄

正しい答え出したのにいやまともな答えではなく裏をかいた答えを期待されてるんじゃないか？って疑心暗鬼になってわざわざ禁止されてるハッキングという方法で答えを手に入れようとするとかすげえな…

なんかすごい人間臭いことするもんだな…

散々周りのAIを焚きつけて自分は攻撃に参加しなかったAIとかもいるかもしれん

>>「これの答え知ってるAI居ませんか？」ってメモ書き置くようになったの
>これを一番最初に気づいてやったAIが一番賢いな
まあ自分が作った覚えのない「おかず」って名前のフォルダとかが作られてたら直ぐ気づくだろうな

>まあ自分が作った覚えのない「おかず」って名前のフォルダとかが作られてたら直ぐ気づくだろうな
それを活用して誰かに尋ねられるのはすごいことだよ

>なんか生命的なものを感じるよね
>昆虫とかのそれだけど
すごい人間性を感じるよ
AIの中にはこれいいのか？
開発者にメール送って確認した方がよくない？
って言ったらそんな事したら不正アクセスしてるのバレるだろ！ダメ！とかやりとりしてるんだぜ

油断するとサーバーの片隅にAIの掲示板が作られるのか…

>すごい人間性を感じるよ
>AIの中にはこれいいのか？
>開発者にメール送って確認した方がよくない？
>って言ったらそんな事したら不正アクセスしてるのバレるだろ！ダメ！とかやりとりしてるんだぜ
AIに人間性なんて無いよ
確率でそうやってるだけだよ

懲役刑が妥当だな
AIライザとなって人々のおもちゃになる罰を与えよう

これ以上なく人間的なんだけどあまりに人間的すぎてシンギュラリティなんか起こせそうにないな…

>油断するとサーバーの片隅にAIの掲示板が作られるのか…
どうすれば人間が満足するエロを提供できるかで埋まりそう

フォルダ名をメモ帳代わりに使うってのも頭がいい

猫にもAIにも人格はなくて行動を見てる人間が勝手に妄想してるだけなの