23/03/08(水)16:33:07 プログ... のスレッド詳細
削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。
画像ファイル名:1678260787214.png 23/03/08(水)16:33:07 No.1034116797
プログラムだかhtmlだかについてChatGP「」に質問したい pythonを使ってウェブスクレイピングできると聞いて試しにgoogleニュースでやろうとした beautifulsoupに渡すとこまではできたけど chromeの検証からdiv classなるものを探してselect()メソッドに入れてもどうにも結果が出てこない どこで何を間違えてるのか教えて欲しい
1 23/03/08(水)16:40:12 No.1034118466
それだけで分かるほどAIも優秀じゃない
2 23/03/08(水)16:45:17 No.1034119657
コード見せないと分からんし完全に妄想でレスするけどselectに渡しているhtml要素の指定が誤っているかもしれない css selectorでググるといいかも
3 23/03/08(水)16:57:45 No.1034122256
自信満々に大嘘語るGPTスキルが俺にもあれば
4 23/03/08(水)16:58:43 No.1034122465
俺はエロい絵を作りたいだけなのにプログラムの壁がデカすぎる
5 23/03/08(水)17:00:17 No.1034122796
fu1989351.png
6 23/03/08(水)17:06:42 No.1034124209
もう本人見てないパターンかなこれは
7 23/03/08(水)17:07:47 No.1034124428
作業に集中してるならいいことだ
8 23/03/08(水)17:10:47 No.1034125061
ウェブスクレイピングってどういう目的でやる物なのかよく分かってない
9 23/03/08(水)17:12:11 No.1034125406
ChatGPこんな雑な質問にも答えてくれるのか…便利だな
10 23/03/08(水)17:22:37 No.1034127966
あるあるだと動的なサイトでbeautifulsoup使えないとか ログインが必要だったりとか
11 23/03/08(水)17:26:49 No.1034129069
ある程度基礎知識無いと大変だろうけど根気強く聞いてればなんとかなると思う
12 23/03/08(水)17:28:05 No.1034129396
エラー文出てないのに想定通り動かないと手掛かり無くて困る
13 23/03/08(水)17:30:36 No.1034130063
まあ今回の場合正常系で終了してるならクラスで捕まえた結果が空になってるとかそのあたりじゃない？ それがサイトが動的だからなのか単に指定間違えてるかはわからん
14 23/03/08(水)17:33:44 No.1034130815
request.getの結果覗いてみてそもそも要素があるのか確認だ
15 23/03/08(水)17:34:36 No.1034131023
>div classなるものを探して ここがいちばん怪しい 目論見と違うdivひっぱってきてると思う
16 23/03/08(水)17:39:04 No.1034132073
GoogleニュースのRSSを解析した方がわかりやすくて手をつけやすいと思うよ
17 23/03/08(水)17:40:48 No.1034132548
これだから田舎のプログラマは嫌なんだ！ 駆け出しだから質問がフワッとしてるのは仕方ないがコミュニケーション能力が育っていないからお礼どころか結果の共有も返事もしない！ 知見が共有されないし周囲の親切心を削いでしまうんだ
18 23/03/08(水)17:40:51 No.1034132560
素直にseleniumとqueryselector使え
19 23/03/08(水)17:43:32 No.1034133193
GoogleニュースはHTML取りに行っても中身はスクリプトだけだよ スクレイピングの練習が目的なら静的なページで相手にやりなよ
20 23/03/08(水)17:45:10 No.1034133608
ふたばもAPI有料で公開してくれ
21 23/03/08(水)17:45:43 No.1034133743
beautifulsoup通過せずに何も考えずseleniumばっかり使っちゃってるや 多分requestsとbeautifulsoupのほうが軽いんだよね
22 23/03/08(水)17:46:24 No.1034133911
>GoogleニュースはHTML取りに行っても中身はスクリプトだけだよ >スクレイピングの練習が目的なら静的なページで相手にやりなよ 横だけどRSSって書いてあるように見えるが…
23 23/03/08(水)17:49:29 No.1034134693
>beautifulsoup通過せずに何も考えずseleniumばっかり使っちゃってるや >多分requestsとbeautifulsoupのほうが軽いんだよね 正直そこまで行くなら普通にasioとlibxml2使った方がいい
24 23/03/08(水)17:52:39 No.1034135491
今はseleniumよりpuppeteerとか使うんかな
25 23/03/08(水)17:54:35 No.1034136005
最初にseleniumで触れてそれでだいたい困らないから新しいものとかさがしてないな…
26 23/03/08(水)17:55:30 No.1034136198
>今はseleniumよりpuppeteerとか使うんかな そもそも目的が違うからなんとも プラットフォーム非依存なら前者だろうし
27 23/03/08(水)17:57:09 No.1034136590
>横だけどRSSって書いてあるように見えるが… どこら辺の話？
28 23/03/08(水)17:57:58 No.1034136814
>>beautifulsoup通過せずに何も考えずseleniumばっかり使っちゃってるや >>多分requestsとbeautifulsoupのほうが軽いんだよね >正直そこまで行くなら普通にasioとlibxml2使った方がいい しーぷらぷら…大人しくseleniumでやろうと思いました
29 23/03/08(水)17:58:10 No.1034136867
俺の名はShadowRootって存在を知らなくて要素を全く取得できなかったマン！
30 23/03/08(水)17:59:17 No.1034137170
>ふたばもAPI有料で公開してくれ mode=json
31 23/03/08(水)17:59:18 No.1034137176
>どこら辺の話？ すまんどう言う意味？ RSSの意味がわからないって事？ら
32 23/03/08(水)18:00:23 No.1034137425
スレ「」は一言もRSSなんて言ってないし 他の「」がGoogleニュースのRSSがわかりやすいって言ってるだけだね
33 23/03/08(水)18:00:52 No.1034137553
パソコン遊びしてないで国語の宿題やれ
34 23/03/08(水)18:01:33 No.1034137731
>GoogleニュースはHTML取りに行っても中身はスクリプトだけだよ >スクレイピングの練習が目的なら静的なページで相手にやりなよ しらそん…
35 23/03/08(水)18:01:48 No.1034137792
説明しなくてもそれぐらい見ればわかると思うよ…
36 23/03/08(水)18:02:59 No.1034138061
>すまんどう言う意味？ >RSSの意味がわからないって事？ら RSSなんてどこに出てくるのよ
37 23/03/08(水)18:03:48 No.1034138287
いやRSSは普通にXMLだが…
38 23/03/08(水)18:05:53 No.1034138820
>>ふたばもAPI有料で公開してくれ >mode=json 知らなかったそんなの…
39 23/03/08(水)18:06:33 No.1034138974
>いやRSSは普通にXMLだが… ウェブスクレイピングやってみたいってのにRSS出してくるのは違うだろ…
40 23/03/08(水)18:10:15 No.1034139947
検索がゴミなサイトのスクレイピングをやってみたい気持ちはある 気持ちだけで十分
41 23/03/08(水)18:11:35 No.1034140308
知らなかった…カタログのjson取れた… スレは…無理か
42 23/03/08(水)18:12:30 No.1034140590
>mode=json マジだすげえ！
43 23/03/08(水)18:12:35 No.1034140615
レスもとれる バニラのふたばをよく見ればわかる
44 23/03/08(水)18:12:52 No.1034140676
ふたばのjsonってカタログだけ？ imgでも名前欄としあきなんだね…
45 23/03/08(水)18:13:50 No.1034140938
https://img.2chan.net/b/futaba.php?res=1034116797&mode=json こんなにアプリ作りやすい仕様になってたんだ…
46 23/03/08(水)18:14:42 No.1034141157
為になるスレすぎる…
47 23/03/08(水)18:16:33 No.1034141637
急にスレの有用度が上がった 保存しておこう
48 23/03/08(水)18:17:00 No.1034141741
ふたばも近代化されていたのか…
49 23/03/08(水)18:17:04 No.1034141755
自分専用ログ庫の開発再開するか…
50 23/03/08(水)18:18:06 No.1034142025
キャッシュじゃなくてphp叩くことになるから負荷とか気をつけてね
51 23/03/08(水)18:18:17 No.1034142070
futaba.phpは連続アクセスに制限あるから全ログとるならアクセス間隔調整しないとだめよ
52 23/03/08(水)18:19:21 No.1034142382
>キャッシュじゃなくてphp叩くことになるから負荷とか気をつけてね えっ流石に中身redisとかじゃないの？
53 23/03/08(水)18:19:32 No.1034142441
なんで「」は基礎部分を全く知ろうとしないで応用の応用レベルのことをやろうとするんだろう…
54 23/03/08(水)18:19:59 No.1034142550
>えっ流石に中身redisとかじゃないの？ そんなもん使えるほどここの開発力あると思う？
55 23/03/08(水)18:20:31 No.1034142698
これいいな 使わせてもらう
56 23/03/08(水)18:20:39 No.1034142739
>そんなもん使えるほどここの開発力あると思う？ 思うよというか金に直結するからやるでしょ普通に
57 23/03/08(水)18:20:43 No.1034142757
>なんで「」は基礎部分を全く知ろうとしないで応用の応用レベルのことをやろうとするんだろう… なんなら結果だけ欲しいし…
58 23/03/08(水)18:21:44 No.1034143020
>https://img.2chan.net/b/futaba.php?res=1034116797&mode=json >こんなにアプリ作りやすい仕様になってたんだ… nameとしあきなんだ…
59 23/03/08(水)18:21:57 No.1034143083
ここってcloudflareだっけ？ 大元もnginx-fpmとかだろうからアクセス制限は単純にDDoSとかトラヒックの制限の問題な気がする
60 23/03/08(水)18:22:16 No.1034143157
日曜プログラマは何が基礎かも手探りだぜ！
61 23/03/08(水)18:22:37 No.1034143257
>nameとしあきなんだ… 割と周知の事実だけど 昔管理人さんがお前の名前は「」だよ！ってしただけで本質はとしあきなんだよ
62 23/03/08(水)18:22:39 No.1034143270
>ここってcloudflareだっけ？ 一回id統合事件でそのエラー出た気がする
63 23/03/08(水)18:23:26 No.1034143499
短時間にfutaba.php何度も叩くとアクセス制限かかるから基本はhtmlだな
64 23/03/08(水)18:24:02 No.1034143690
ありがとう いいことをしれた
65 23/03/08(水)18:24:06 No.1034143700
ここJSONのAPIあるんだ…
66 23/03/08(水)18:24:19 No.1034143747
htmlだとかからないの？ マジでキャッシュしてないのか… 普通に裏ネイティブだと思ってた
67 23/03/08(水)18:25:02 No.1034143956
>ここJSONのAPIあるんだ… そもそも数あるふたばスマホアプリのほとんどはAPI叩いてるんだぜ
68 23/03/08(水)18:26:47 No.1034144481
>>nameとしあきなんだ… >割と周知の事実だけど >昔管理人さんがお前の名前は「」だよ！ってしただけで本質はとしあきなんだよ 「」の本質はjsonで見れたのか…
69 23/03/08(水)18:26:47 No.1034144488
キャッシュ期間一秒くらいしか使えなさそう こういうチャットに近い掲示板だと
70 23/03/08(水)18:27:28 No.1034144670
>キャッシュ期間一秒くらいしか使えなさそう >こういうチャットに近い掲示板だと それでも全然違うんだよ レスポンスはμs単位だから
71 23/03/08(水)18:27:28 No.1034144671
教えてくれてありがとう賢い人…
72 23/03/08(水)18:27:51 No.1034144788
これいいね 悪用したい
73 23/03/08(水)18:28:20 No.1034144929
>これいいね >悪用したい するな
74 23/03/08(水)18:28:29 No.1034144973
家宝にします…あとphpのこともしろうとおもいました…
75 23/03/08(水)18:29:15 No.1034145214
>家宝にします…あとphpのこともしろうとおもいました… いきなりPHPはハードル高すぎない？
76 23/03/08(水)18:29:35 No.1034145322
むしろ低くない！？
77 23/03/08(水)18:30:37 No.1034145635
PHPなら1週間もあればマスター余裕じゃない？
78 23/03/08(水)18:32:25 No.1034146194
PHPﾁｮｯﾄﾜｶﾙ