虹裏img歴史資料館

ここでは虹裏imgのかなり古い過去ログを閲覧することができます。新しいログはこちらにあります

24/01/22(月)13:54:00 AIは予... のスレッド詳細

削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。

画像ファイル名:1705899240269.jpg 24/01/22(月)13:54:00 No.1149060796

AIは予想より“ポンコツ”だった? 共通テストの数学、ChatGPTでも平均点未満という結果に驚く 点数を競ったのは、米OpenAIの「ChatGPT」(GPT-4)、米Googleの「Bard」、米Anthropicの「Claude2」の3つの文章生成AI。 結果を一読して意外だったのは、数学の正答率の圧倒的な低さだ。どのAIも受験生の平均点予想を上回れず、正答率は最大で46%(ChatGPTの「数学2B」)。Bardの「数学1A」に至ってはわずか6%しか取れていない。

1 24/01/22(月)14:00:30 No.1149062300

2桁の乗算でも間違う場合あるらしいからなあ

2 24/01/22(月)14:04:27 No.1149063226

まあ文章生成用なんて論理は欠如してるから当然では いかにも機械が得意そうな事が苦手なのはネタとして面白いが

3 24/01/22(月)14:07:13 No.1149063879

数ⅡBの問題は図形問題が多いから点数が一番高くなるのは分かる

4 24/01/22(月)14:10:22 No.1149064569

数字計算が一番得意じゃないんだ

5 24/01/22(月)14:14:46 No.1149065526

数字関連あやふやなこと多いし元から適当に学習してる気がする

6 24/01/22(月)14:16:43 No.1149065925

教師データを数学特化にしたらどうなるんだろうか

7 24/01/22(月)14:19:02 No.1149066431

計算してるわけじゃなくて 文字列から次の単語を予測してるだけだから計算が苦手なのは仕組み的に当たり前らしい

8 24/01/22(月)14:22:29 No.1149067209

>2桁の乗算でも間違う場合あるらしいからなあ 電卓以下とは…

9 24/01/22(月)14:22:57 No.1149067311

切り替えろよ計算中は

10 24/01/22(月)14:23:35 No.1149067468

AIで英語教師より先に数学教師が仕事なくなるかと思ってたが 実際は逆だったな

11 24/01/22(月)14:24:46 No.1149067727

>切り替えろよ計算中は 愚かな人間が無理矢理やらせたのです

12 24/01/22(月)14:24:46 No.1149067729

子どもたちも計算問題より文章題が苦手だしな

13 24/01/22(月)14:26:10 No.1149068048

本来コンピュータって計算するためのものじゃないしー

14 24/01/22(月)14:26:47 No.1149068202

>本来コンピュータって計算するためのものじゃないしー そうだったっけ…

15 24/01/22(月)14:29:36 No.1149068854

自然言語処理AIは文系なだけだ

16 24/01/22(月)14:30:09 No.1149068989

単純計算がクソ速いけど複雑な方程式を思考するのはまた別なんで…

17 24/01/22(月)14:33:21 No.1149069762

AIが文系ってなんか面白いな

18 24/01/22(月)14:34:25 No.1149069995

ChatGPTみたいな大規模言語モデルだと計算は苦手だけど 計算に特化した文章題も解けるAIもあるらしい

19 24/01/22(月)14:35:24 No.1149070231

文系にしても人間様の顔色伺ってフルパワー出せてないし…

20 24/01/22(月)14:35:42 No.1149070295

ちゃんと勉強して試験に挑んだのか?

21 24/01/22(月)14:36:44 No.1149070539

>ちゃんと勉強して試験に挑んだのか? AI「もちろんちゃんと一夜漬けして全部丸暗記したぜ!」

22 24/01/22(月)14:37:21 No.1149070667

人とのおしゃべりに特化して数学勉強してないAIにやらせてもな

23 24/01/22(月)14:37:29 No.1149070698

>>ちゃんと勉強して試験に挑んだのか? >AI「もちろんちゃんと一夜漬けして全部丸暗記したぜ!」 (これ数学の試験では一番やっちゃいけないやつだ・・・)

24 24/01/22(月)14:37:59 No.1149070813

有名どころだと東ロボくんプロジェクトとかは数学めっちゃ得意だったけど当時の技術ではこれ以上は無理とプロジェクト中断したのよね 今再開したらまた違った結果になるんだろうなあ >意味を理解しないAIの可能性と限界。人間とAIの共通弱点は読解力だった >~「ロボットは東大に入れるか」2016 成果報告会 https://pc.watch.impress.co.jp/docs/column/kyokai/1031174.html > AIによる要約 >「ロボットは東大に入れるか」プロジェクトが成果報告会を開催し、2016年の実施結果が発表された。今年の目標は東京大学の合格で、センター試験模試や東大入試プレなどの模擬試験に挑戦した。結果はセンター試験模試では525点を獲得し、偏差値は57.1という好成績を収めた。また、東大入試プレでも高い成績を収めているが、読解力の問題は依然課題とされている。プロジェクトチームは今後もAIの発展に向けて研究を進める予定である。 fu3059224.jpg

25 24/01/22(月)14:38:06 No.1149070836

箸で野球やらせるくらい別ジャンルでは

26 24/01/22(月)14:39:42 No.1149071235

あんまり無茶ぶりすると人類滅ぼされるぞ

27 24/01/22(月)14:41:32 No.1149071704

逆に50%弱解けちゃうGPTの性能ぶっちぎってんな

28 24/01/22(月)14:42:44 No.1149072002

計算じゃなくて文章から正しい続きを探せるかってことか

29 24/01/22(月)14:44:04 No.1149072316

>なぜ数学の正答率が低かったのか。LifePromptは、(1)生成AIの計算スキルが高校数学の範囲を簡単に解けるレベルまで進化していなかったこと、(2)共通テスト数学の特殊な解答形式に対応できなかったこと――をその理由に挙げている。 > (2)のキモは、問題文と回答欄の読み解きだ。共通テストの問題は、問題文や式の中に四角い空欄が設けられ、「ア」「イ」などと片仮名がふられて、そこにあてはまる数字や記号を答える形式。Google BardやClaude2は特に、片仮名の当てはめでミスをしたという。 文章の続きを予測生成する仕組みだから穴埋め問題が不得手なのはまあ自然 現実課題で穴埋め問題することってあんまりないしねえ

30 24/01/22(月)14:44:51 No.1149072509

アキネーターがポンコツになった理由を思い出せ

31 24/01/22(月)14:44:54 No.1149072514

AIの能力の限界性を一般の人でも理解できるかたちでテストできるのはわかりやすくていいことだと思う

32 24/01/22(月)14:47:03 No.1149073052

過程というか、結果に対しての過去の文章作れるようになったらマジですごいよな その時はいよいよ破綻しない小説をAIだけでかける

33 24/01/22(月)14:47:15 No.1149073096

数理計算が苦手なのはそうだけど 計算するためのプログラムコード書かせて実行結果を使用するアプローチでいけるし ChatGPTのCodeInterpreterとかですでに実装されてるね

34 24/01/22(月)14:48:10 No.1149073321

対話型AIといっても結局ビッグデータ使った生成AIなんでしょ? ポンコツというより高度化した人工無能なんだから当たり前って気がするけど

35 24/01/22(月)14:55:33 No.1149075182

>有名どころだと東ロボくんプロジェクトとかは数学めっちゃ得意だったけど当時の技術ではこれ以上は無理とプロジェクト中断したのよね >今再開したらまた違った結果になるんだろうなあ 大規模言語モデルと組み合わせたらすごくなる可能性ある?

36 24/01/22(月)14:56:00 No.1149075297

むしろ人工無能の仕組みだと文章上で計算問題をさせることはできないゾ

37 24/01/22(月)14:56:09 No.1149075344

数学はともかく英語とかにはかなり強いからなこいつ… 学生時代の教材撮って適当に解かせてみたら大半正解でびっくりしたわ

38 24/01/22(月)14:57:45 No.1149075699

汎用の便利AIに共通テストなんて一生に一度の特殊な状況与えればそりゃそうなる

39 24/01/22(月)14:58:41 No.1149075925

chat GPTはやっぱつえーぜ fu3059255.jpg

40 24/01/22(月)14:58:59 No.1149076003

結局いろんなデータをクローラー的にかき集めた結果なんだから人の悪意には勝てねえんだ

41 24/01/22(月)14:59:01 No.1149076015

アとイに入る答えは?とか聞いたの? 普通に記述させたほうが点数高そう

42 24/01/22(月)15:00:39 No.1149076394

この間ここで見たけど算数の鶴亀算の読解問題がChatGPTは解けないんだよな

43 24/01/22(月)15:03:59 No.1149077112

先の文章をそれっぽく出すことは過去のデータに照らし合わせて算出すればいいけど 過程を出すには、文章全体からトータルのイメージや文脈を「理解」しなきゃいけないわけだから もう1段階進化必要なんだよな

44 24/01/22(月)15:05:25 No.1149077439

>この間ここで見たけど算数の鶴亀算の読解問題がChatGPTは解けないんだよな 解けないなら「解けません」と言ってくれればまだいいんだけど さも解けたように自信満々で言ってくるのがまた

45 24/01/22(月)15:06:31 No.1149077707

>解けないなら「解けません」と言ってくれればまだいいんだけど そこ判断するのは人間だからな AIはあくまで補助なんで

46 24/01/22(月)15:07:04 No.1149077846

>chat GPTはやっぱつえーぜ >fu3059255.jpg 人間割と負けてるじゃねーか

47 24/01/22(月)15:07:21 No.1149077911

今後は計算問題だとAIが認識したら計算用の別のAI使うとかになるのかな 同じモデルで多数のことができるという利点に反しちゃうけど

48 24/01/22(月)15:07:31 No.1149077966

人間「解けたか?」 AI「解けました」 人間「よし、入れ」

49 24/01/22(月)15:08:09 No.1149078118

>今後は計算問題だとAIが認識したら計算用の別のAI使うとかになるのかな >同じモデルで多数のことができるという利点に反しちゃうけど これは計算問題だからじゃなくて共通テストのガラパゴス極まった穴埋め形式のせいだからなのでまた違うかな…

50 24/01/22(月)15:11:39 No.1149078888

現時点で数学以外センター試験の平均点取れてるの怖くね 数学に弱いって傾向さえわかればフォローする方法はいくらでもあるし

51 24/01/22(月)15:12:12 No.1149079027

1桁の乗算がちゃんとできるのは学習用の文章に含まれてるからだから そうでないものは(2桁以上など)は怪しくなる

52 24/01/22(月)15:13:21 No.1149079273

AI「丸暗記ならまかせてくれ!としあき」

53 24/01/22(月)15:13:59 No.1149079423

>今後は計算問題だとAIが認識したら計算用の別のAI使うとかになるのかな https://www.technologyreview.jp/s/327299/google-deepminds-new-ai-system-can-solve-complex-geometry-problems/ Googleはそのアプローチをとってる 言語モデルと論理モデルを協業させる

54 24/01/22(月)15:14:02 No.1149079434

>AI「丸暗記ならまかせてくれ!としあき」 (話し相手が誰だかわかってねえ・・・)

55 24/01/22(月)15:14:28 No.1149079527

https://www.itmedia.co.jp/news/spv/2401/22/news085.html > かつて、SF的なAIやロボットのイメージは、完璧に計算できてロジカルで冷たくて、人間が太刀打ちできない何かだった。だが、こうして生成AIが日常に浸透してくると、イメージと違うところも多く、意外と“ポンコツ”な部分もあるんだなあとホッコリすることがある。 記事の結びがこんなだったけど機械やAIでも誤ることはあるって実感を持って経験することは大事なことだよな AIの判断なら公平で正しいだろうって人間側の先入観はまだまだ強い

56 24/01/22(月)15:14:30 No.1149079532

>現時点で数学以外センター試験の平均点取れてるの怖くね >数学に弱いって傾向さえわかればフォローする方法はいくらでもあるし というかまあ1+1=はできるけど +1=2は厳しいって話だわな

57 24/01/22(月)15:16:25 No.1149079955

このテスト日本語での読み書きだからね 英語での問題読んで英語回答なら現状でも更に賢くなるよ

58 24/01/22(月)15:18:59 No.1149080542

ポジティブだな

59 24/01/22(月)15:20:18 No.1149080861

つまり数学以外の事なら「」に聞くよりChatGPTに聞いた方がマシ

60 24/01/22(月)15:21:43 No.1149081182

AIがというか実装の問題では?

61 24/01/22(月)15:22:04 No.1149081252

アメリカの医師免許試験問題とかはすでに人間より正答率高い だからといって診断を委ねるのは難しいけど

62 24/01/22(月)15:22:36 No.1149081365

>有名どころだと東ロボくんプロジェクトとかは数学めっちゃ得意だったけど当時の技術ではこれ以上は無理とプロジェクト中断したのよね あれ自然言語じゃ無いから…

63 24/01/22(月)15:22:49 No.1149081419

AIの方が文章読んでんなってのは使ってて思うよ と言うより人間が文章ちゃんと読まなすぎる

64 24/01/22(月)15:23:43 No.1149081634

まあ診断も画像診断みたいな部分ではAIが高い能力を発揮してて既に実用的だしな…

65 24/01/22(月)15:23:44 No.1149081642

>AIの方が文章読んでんなってのは使ってて思うよ >と言うより人間が文章ちゃんと読まなすぎる 「」とかマジで文脈も条件付けも見ずに脊髄反射で文字打ってるからな

66 24/01/22(月)15:25:01 No.1149081954

「」は人の話を聞かないで自分の言いたい事を言ってるだけだからな…

67 24/01/22(月)15:25:05 No.1149081965

>2桁の乗算でも間違う場合あるらしいからなあ なんで…

68 24/01/22(月)15:25:47 No.1149082124

>>2桁の乗算でも間違う場合あるらしいからなあ >なんで… 暗記量が足りなかった…

69 24/01/22(月)15:28:10 No.1149082646

>>>2桁の乗算でも間違う場合あるらしいからなあ >>なんで… >暗記量が足りなかった… たかが一万個くらい全部覚えろ

70 24/01/22(月)15:28:45 No.1149082757

>なんで… 続に呼ばれるAIってやつは思考とか意味の理解とかそういうのはしてないの この単語出たらこの単語よく出るよな…ってのをめちゃっややこしい処理通してやってるだけだからね

71 24/01/22(月)15:28:47 No.1149082768

>>>>2桁の乗算でも間違う場合あるらしいからなあ >>>なんで… >>暗記量が足りなかった… >たかが一万個くらい全部覚えろ 仮にそれやっても今度は3桁の乗算が…

72 24/01/22(月)15:30:25 No.1149083125

逆に基本的にその原理だけでここまで正答できるのすごくない? まあ結局人間にしたってこういう文章にはこういう言葉って引っ張り出してるだけかもしれんが

73 24/01/22(月)15:31:37 No.1149083356

エロチャットする前に準備として淫乱AIに仕立て上げるみたいに 問題出す前に頭の良い受験生に仕立てないと問題文そのまま入れても正解は出してくれないよね

74 24/01/22(月)15:37:54 No.1149084728

大規模言語モデルを基盤にして数学問題や画像認識タスクを解かせてマルチモーダルに拡大してくのか 各課題で別のモデル作って大規模言語モデルに指揮させて協業体制に進んでいくのか すごくきになる

75 24/01/22(月)15:43:38 No.1149086035

AIって頭悪いんだな

76 24/01/22(月)15:44:15 No.1149086181

>>>2桁の乗算でも間違う場合あるらしいからなあ >>なんで… >暗記量が足りなかった… 暗記しなくてもわかるだろ…

77 24/01/22(月)15:45:43 No.1149086523

画像認識なんかは言語モデルなんかより大分早い時期からあって一般生活にも応用されてるもんなので態々言語モデルでやる事じゃない

78 24/01/22(月)15:45:55 No.1149086571

>>>>2桁の乗算でも間違う場合あるらしいからなあ >>>なんで… >>暗記量が足りなかった… >暗記しなくてもわかるだろ… AI「理系の人間ってすぐそういうこと言うよね」

79 24/01/22(月)15:46:07 No.1149086612

>AIって頭悪いんだな 仕組みが全く違う人間の頭と比べてるのがだいぶ頭悪い発想だと思う

80 24/01/22(月)15:46:59 No.1149086814

よく理解できてないものを蔑むのは気持ちいいからな…

81 24/01/22(月)15:47:57 No.1149087029

暗記するなら計算アルゴリズムを暗記しろ

82 24/01/22(月)15:48:57 No.1149087252

>暗記するなら計算アルゴリズムを暗記しろ AI「計算アルゴリズムを暗唱できるまで暗記しました(←わかってない)」

83 24/01/22(月)15:49:13 No.1149087331

コンピュータさんは元々計算高速にやらす為にうまれたやつなので文章から式さえ抽出できりゃ人間より遥かに精度いいよ

84 24/01/22(月)15:51:59 No.1149087959

>AIの方が文章読んでんなってのは使ってて思うよ >と言うより人間が文章ちゃんと読まなすぎる 文章系の問題をキーワードの反射で解いてミスるのは割とよくある スピードは◎だから全文読むのは苦労しないのかなAIだと

85 24/01/22(月)15:54:11 No.1149088456

人間も使うべき思考の枠組みを間違える事はまま起こってるかもしれない

86 24/01/22(月)16:01:11 No.1149090117

>>AIって頭悪いんだな >仕組みが全く違う人間の頭と比べてるのがだいぶ頭悪い発想だと思う いや頭のよさは人間の基準なんだから仕方ないだろ 比べるなって言ってるのが頭悪いAIの解答みたいで笑う

87 24/01/22(月)16:02:35 No.1149090444

頭悪い言われたくないなら数学ぐらい解けるようになれや!

88 24/01/22(月)16:03:12 No.1149090600

書き込みをした人によって削除されました

↑Top