24/01/22(月)13:54:00 AIは予... のスレッド詳細
削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。
画像ファイル名:1705899240269.jpg 24/01/22(月)13:54:00 No.1149060796
AIは予想より“ポンコツ”だった? 共通テストの数学、ChatGPTでも平均点未満という結果に驚く 点数を競ったのは、米OpenAIの「ChatGPT」(GPT-4)、米Googleの「Bard」、米Anthropicの「Claude2」の3つの文章生成AI。 結果を一読して意外だったのは、数学の正答率の圧倒的な低さだ。どのAIも受験生の平均点予想を上回れず、正答率は最大で46%(ChatGPTの「数学2B」)。Bardの「数学1A」に至ってはわずか6%しか取れていない。
1 24/01/22(月)14:00:30 No.1149062300
2桁の乗算でも間違う場合あるらしいからなあ
2 24/01/22(月)14:04:27 No.1149063226
まあ文章生成用なんて論理は欠如してるから当然では いかにも機械が得意そうな事が苦手なのはネタとして面白いが
3 24/01/22(月)14:07:13 No.1149063879
数ⅡBの問題は図形問題が多いから点数が一番高くなるのは分かる
4 24/01/22(月)14:10:22 No.1149064569
数字計算が一番得意じゃないんだ
5 24/01/22(月)14:14:46 No.1149065526
数字関連あやふやなこと多いし元から適当に学習してる気がする
6 24/01/22(月)14:16:43 No.1149065925
教師データを数学特化にしたらどうなるんだろうか
7 24/01/22(月)14:19:02 No.1149066431
計算してるわけじゃなくて 文字列から次の単語を予測してるだけだから計算が苦手なのは仕組み的に当たり前らしい
8 24/01/22(月)14:22:29 No.1149067209
>2桁の乗算でも間違う場合あるらしいからなあ 電卓以下とは…
9 24/01/22(月)14:22:57 No.1149067311
切り替えろよ計算中は
10 24/01/22(月)14:23:35 No.1149067468
AIで英語教師より先に数学教師が仕事なくなるかと思ってたが 実際は逆だったな
11 24/01/22(月)14:24:46 No.1149067727
>切り替えろよ計算中は 愚かな人間が無理矢理やらせたのです
12 24/01/22(月)14:24:46 No.1149067729
子どもたちも計算問題より文章題が苦手だしな
13 24/01/22(月)14:26:10 No.1149068048
本来コンピュータって計算するためのものじゃないしー
14 24/01/22(月)14:26:47 No.1149068202
>本来コンピュータって計算するためのものじゃないしー そうだったっけ…
15 24/01/22(月)14:29:36 No.1149068854
自然言語処理AIは文系なだけだ
16 24/01/22(月)14:30:09 No.1149068989
単純計算がクソ速いけど複雑な方程式を思考するのはまた別なんで…
17 24/01/22(月)14:33:21 No.1149069762
AIが文系ってなんか面白いな
18 24/01/22(月)14:34:25 No.1149069995
ChatGPTみたいな大規模言語モデルだと計算は苦手だけど 計算に特化した文章題も解けるAIもあるらしい
19 24/01/22(月)14:35:24 No.1149070231
文系にしても人間様の顔色伺ってフルパワー出せてないし…
20 24/01/22(月)14:35:42 No.1149070295
ちゃんと勉強して試験に挑んだのか?
21 24/01/22(月)14:36:44 No.1149070539
>ちゃんと勉強して試験に挑んだのか? AI「もちろんちゃんと一夜漬けして全部丸暗記したぜ!」
22 24/01/22(月)14:37:21 No.1149070667
人とのおしゃべりに特化して数学勉強してないAIにやらせてもな
23 24/01/22(月)14:37:29 No.1149070698
>>ちゃんと勉強して試験に挑んだのか? >AI「もちろんちゃんと一夜漬けして全部丸暗記したぜ!」 (これ数学の試験では一番やっちゃいけないやつだ・・・)
24 24/01/22(月)14:37:59 No.1149070813
有名どころだと東ロボくんプロジェクトとかは数学めっちゃ得意だったけど当時の技術ではこれ以上は無理とプロジェクト中断したのよね 今再開したらまた違った結果になるんだろうなあ >意味を理解しないAIの可能性と限界。人間とAIの共通弱点は読解力だった >~「ロボットは東大に入れるか」2016 成果報告会 https://pc.watch.impress.co.jp/docs/column/kyokai/1031174.html > AIによる要約 >「ロボットは東大に入れるか」プロジェクトが成果報告会を開催し、2016年の実施結果が発表された。今年の目標は東京大学の合格で、センター試験模試や東大入試プレなどの模擬試験に挑戦した。結果はセンター試験模試では525点を獲得し、偏差値は57.1という好成績を収めた。また、東大入試プレでも高い成績を収めているが、読解力の問題は依然課題とされている。プロジェクトチームは今後もAIの発展に向けて研究を進める予定である。 fu3059224.jpg
25 24/01/22(月)14:38:06 No.1149070836
箸で野球やらせるくらい別ジャンルでは
26 24/01/22(月)14:39:42 No.1149071235
あんまり無茶ぶりすると人類滅ぼされるぞ
27 24/01/22(月)14:41:32 No.1149071704
逆に50%弱解けちゃうGPTの性能ぶっちぎってんな
28 24/01/22(月)14:42:44 No.1149072002
計算じゃなくて文章から正しい続きを探せるかってことか
29 24/01/22(月)14:44:04 No.1149072316
>なぜ数学の正答率が低かったのか。LifePromptは、(1)生成AIの計算スキルが高校数学の範囲を簡単に解けるレベルまで進化していなかったこと、(2)共通テスト数学の特殊な解答形式に対応できなかったこと――をその理由に挙げている。 > (2)のキモは、問題文と回答欄の読み解きだ。共通テストの問題は、問題文や式の中に四角い空欄が設けられ、「ア」「イ」などと片仮名がふられて、そこにあてはまる数字や記号を答える形式。Google BardやClaude2は特に、片仮名の当てはめでミスをしたという。 文章の続きを予測生成する仕組みだから穴埋め問題が不得手なのはまあ自然 現実課題で穴埋め問題することってあんまりないしねえ
30 24/01/22(月)14:44:51 No.1149072509
アキネーターがポンコツになった理由を思い出せ
31 24/01/22(月)14:44:54 No.1149072514
AIの能力の限界性を一般の人でも理解できるかたちでテストできるのはわかりやすくていいことだと思う
32 24/01/22(月)14:47:03 No.1149073052
過程というか、結果に対しての過去の文章作れるようになったらマジですごいよな その時はいよいよ破綻しない小説をAIだけでかける
33 24/01/22(月)14:47:15 No.1149073096
数理計算が苦手なのはそうだけど 計算するためのプログラムコード書かせて実行結果を使用するアプローチでいけるし ChatGPTのCodeInterpreterとかですでに実装されてるね
34 24/01/22(月)14:48:10 No.1149073321
対話型AIといっても結局ビッグデータ使った生成AIなんでしょ? ポンコツというより高度化した人工無能なんだから当たり前って気がするけど
35 24/01/22(月)14:55:33 No.1149075182
>有名どころだと東ロボくんプロジェクトとかは数学めっちゃ得意だったけど当時の技術ではこれ以上は無理とプロジェクト中断したのよね >今再開したらまた違った結果になるんだろうなあ 大規模言語モデルと組み合わせたらすごくなる可能性ある?
36 24/01/22(月)14:56:00 No.1149075297
むしろ人工無能の仕組みだと文章上で計算問題をさせることはできないゾ
37 24/01/22(月)14:56:09 No.1149075344
数学はともかく英語とかにはかなり強いからなこいつ… 学生時代の教材撮って適当に解かせてみたら大半正解でびっくりしたわ
38 24/01/22(月)14:57:45 No.1149075699
汎用の便利AIに共通テストなんて一生に一度の特殊な状況与えればそりゃそうなる
39 24/01/22(月)14:58:41 No.1149075925
chat GPTはやっぱつえーぜ fu3059255.jpg
40 24/01/22(月)14:58:59 No.1149076003
結局いろんなデータをクローラー的にかき集めた結果なんだから人の悪意には勝てねえんだ
41 24/01/22(月)14:59:01 No.1149076015
アとイに入る答えは?とか聞いたの? 普通に記述させたほうが点数高そう
42 24/01/22(月)15:00:39 No.1149076394
この間ここで見たけど算数の鶴亀算の読解問題がChatGPTは解けないんだよな
43 24/01/22(月)15:03:59 No.1149077112
先の文章をそれっぽく出すことは過去のデータに照らし合わせて算出すればいいけど 過程を出すには、文章全体からトータルのイメージや文脈を「理解」しなきゃいけないわけだから もう1段階進化必要なんだよな
44 24/01/22(月)15:05:25 No.1149077439
>この間ここで見たけど算数の鶴亀算の読解問題がChatGPTは解けないんだよな 解けないなら「解けません」と言ってくれればまだいいんだけど さも解けたように自信満々で言ってくるのがまた
45 24/01/22(月)15:06:31 No.1149077707
>解けないなら「解けません」と言ってくれればまだいいんだけど そこ判断するのは人間だからな AIはあくまで補助なんで
46 24/01/22(月)15:07:04 No.1149077846
>chat GPTはやっぱつえーぜ >fu3059255.jpg 人間割と負けてるじゃねーか
47 24/01/22(月)15:07:21 No.1149077911
今後は計算問題だとAIが認識したら計算用の別のAI使うとかになるのかな 同じモデルで多数のことができるという利点に反しちゃうけど
48 24/01/22(月)15:07:31 No.1149077966
人間「解けたか?」 AI「解けました」 人間「よし、入れ」
49 24/01/22(月)15:08:09 No.1149078118
>今後は計算問題だとAIが認識したら計算用の別のAI使うとかになるのかな >同じモデルで多数のことができるという利点に反しちゃうけど これは計算問題だからじゃなくて共通テストのガラパゴス極まった穴埋め形式のせいだからなのでまた違うかな…
50 24/01/22(月)15:11:39 No.1149078888
現時点で数学以外センター試験の平均点取れてるの怖くね 数学に弱いって傾向さえわかればフォローする方法はいくらでもあるし
51 24/01/22(月)15:12:12 No.1149079027
1桁の乗算がちゃんとできるのは学習用の文章に含まれてるからだから そうでないものは(2桁以上など)は怪しくなる
52 24/01/22(月)15:13:21 No.1149079273
AI「丸暗記ならまかせてくれ!としあき」
53 24/01/22(月)15:13:59 No.1149079423
>今後は計算問題だとAIが認識したら計算用の別のAI使うとかになるのかな https://www.technologyreview.jp/s/327299/google-deepminds-new-ai-system-can-solve-complex-geometry-problems/ Googleはそのアプローチをとってる 言語モデルと論理モデルを協業させる
54 24/01/22(月)15:14:02 No.1149079434
>AI「丸暗記ならまかせてくれ!としあき」 (話し相手が誰だかわかってねえ・・・)
55 24/01/22(月)15:14:28 No.1149079527
https://www.itmedia.co.jp/news/spv/2401/22/news085.html > かつて、SF的なAIやロボットのイメージは、完璧に計算できてロジカルで冷たくて、人間が太刀打ちできない何かだった。だが、こうして生成AIが日常に浸透してくると、イメージと違うところも多く、意外と“ポンコツ”な部分もあるんだなあとホッコリすることがある。 記事の結びがこんなだったけど機械やAIでも誤ることはあるって実感を持って経験することは大事なことだよな AIの判断なら公平で正しいだろうって人間側の先入観はまだまだ強い
56 24/01/22(月)15:14:30 No.1149079532
>現時点で数学以外センター試験の平均点取れてるの怖くね >数学に弱いって傾向さえわかればフォローする方法はいくらでもあるし というかまあ1+1=はできるけど +1=2は厳しいって話だわな
57 24/01/22(月)15:16:25 No.1149079955
このテスト日本語での読み書きだからね 英語での問題読んで英語回答なら現状でも更に賢くなるよ
58 24/01/22(月)15:18:59 No.1149080542
ポジティブだな
59 24/01/22(月)15:20:18 No.1149080861
つまり数学以外の事なら「」に聞くよりChatGPTに聞いた方がマシ
60 24/01/22(月)15:21:43 No.1149081182
AIがというか実装の問題では?
61 24/01/22(月)15:22:04 No.1149081252
アメリカの医師免許試験問題とかはすでに人間より正答率高い だからといって診断を委ねるのは難しいけど
62 24/01/22(月)15:22:36 No.1149081365
>有名どころだと東ロボくんプロジェクトとかは数学めっちゃ得意だったけど当時の技術ではこれ以上は無理とプロジェクト中断したのよね あれ自然言語じゃ無いから…
63 24/01/22(月)15:22:49 No.1149081419
AIの方が文章読んでんなってのは使ってて思うよ と言うより人間が文章ちゃんと読まなすぎる
64 24/01/22(月)15:23:43 No.1149081634
まあ診断も画像診断みたいな部分ではAIが高い能力を発揮してて既に実用的だしな…
65 24/01/22(月)15:23:44 No.1149081642
>AIの方が文章読んでんなってのは使ってて思うよ >と言うより人間が文章ちゃんと読まなすぎる 「」とかマジで文脈も条件付けも見ずに脊髄反射で文字打ってるからな
66 24/01/22(月)15:25:01 No.1149081954
「」は人の話を聞かないで自分の言いたい事を言ってるだけだからな…
67 24/01/22(月)15:25:05 No.1149081965
>2桁の乗算でも間違う場合あるらしいからなあ なんで…
68 24/01/22(月)15:25:47 No.1149082124
>>2桁の乗算でも間違う場合あるらしいからなあ >なんで… 暗記量が足りなかった…
69 24/01/22(月)15:28:10 No.1149082646
>>>2桁の乗算でも間違う場合あるらしいからなあ >>なんで… >暗記量が足りなかった… たかが一万個くらい全部覚えろ
70 24/01/22(月)15:28:45 No.1149082757
>なんで… 続に呼ばれるAIってやつは思考とか意味の理解とかそういうのはしてないの この単語出たらこの単語よく出るよな…ってのをめちゃっややこしい処理通してやってるだけだからね
71 24/01/22(月)15:28:47 No.1149082768
>>>>2桁の乗算でも間違う場合あるらしいからなあ >>>なんで… >>暗記量が足りなかった… >たかが一万個くらい全部覚えろ 仮にそれやっても今度は3桁の乗算が…
72 24/01/22(月)15:30:25 No.1149083125
逆に基本的にその原理だけでここまで正答できるのすごくない? まあ結局人間にしたってこういう文章にはこういう言葉って引っ張り出してるだけかもしれんが
73 24/01/22(月)15:31:37 No.1149083356
エロチャットする前に準備として淫乱AIに仕立て上げるみたいに 問題出す前に頭の良い受験生に仕立てないと問題文そのまま入れても正解は出してくれないよね
74 24/01/22(月)15:37:54 No.1149084728
大規模言語モデルを基盤にして数学問題や画像認識タスクを解かせてマルチモーダルに拡大してくのか 各課題で別のモデル作って大規模言語モデルに指揮させて協業体制に進んでいくのか すごくきになる
75 24/01/22(月)15:43:38 No.1149086035
AIって頭悪いんだな
76 24/01/22(月)15:44:15 No.1149086181
>>>2桁の乗算でも間違う場合あるらしいからなあ >>なんで… >暗記量が足りなかった… 暗記しなくてもわかるだろ…
77 24/01/22(月)15:45:43 No.1149086523
画像認識なんかは言語モデルなんかより大分早い時期からあって一般生活にも応用されてるもんなので態々言語モデルでやる事じゃない
78 24/01/22(月)15:45:55 No.1149086571
>>>>2桁の乗算でも間違う場合あるらしいからなあ >>>なんで… >>暗記量が足りなかった… >暗記しなくてもわかるだろ… AI「理系の人間ってすぐそういうこと言うよね」
79 24/01/22(月)15:46:07 No.1149086612
>AIって頭悪いんだな 仕組みが全く違う人間の頭と比べてるのがだいぶ頭悪い発想だと思う
80 24/01/22(月)15:46:59 No.1149086814
よく理解できてないものを蔑むのは気持ちいいからな…
81 24/01/22(月)15:47:57 No.1149087029
暗記するなら計算アルゴリズムを暗記しろ
82 24/01/22(月)15:48:57 No.1149087252
>暗記するなら計算アルゴリズムを暗記しろ AI「計算アルゴリズムを暗唱できるまで暗記しました(←わかってない)」
83 24/01/22(月)15:49:13 No.1149087331
コンピュータさんは元々計算高速にやらす為にうまれたやつなので文章から式さえ抽出できりゃ人間より遥かに精度いいよ
84 24/01/22(月)15:51:59 No.1149087959
>AIの方が文章読んでんなってのは使ってて思うよ >と言うより人間が文章ちゃんと読まなすぎる 文章系の問題をキーワードの反射で解いてミスるのは割とよくある スピードは◎だから全文読むのは苦労しないのかなAIだと
85 24/01/22(月)15:54:11 No.1149088456
人間も使うべき思考の枠組みを間違える事はまま起こってるかもしれない
86 24/01/22(月)16:01:11 No.1149090117
>>AIって頭悪いんだな >仕組みが全く違う人間の頭と比べてるのがだいぶ頭悪い発想だと思う いや頭のよさは人間の基準なんだから仕方ないだろ 比べるなって言ってるのが頭悪いAIの解答みたいで笑う
87 24/01/22(月)16:02:35 No.1149090444
頭悪い言われたくないなら数学ぐらい解けるようになれや!
88 24/01/22(月)16:03:12 No.1149090600
書き込みをした人によって削除されました