23/05/01(月)18:02:09 スクレ... のスレッド詳細
削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。
画像ファイル名:1682931729542.jpg 23/05/01(月)18:02:09 No.1052696582
スクレイビングって何秒くらい間隔空けるのが一般的なんだろうね
1 23/05/01(月)18:04:20 No.1052697213
怒られない程度に
2 23/05/01(月)18:08:51 No.1052698557
300秒で ええ！
3 23/05/01(月)18:09:11 No.1052698644
>300秒で >ええ！ そん なに
4 23/05/01(月)18:11:15 No.1052699255
怒られないギリギリぐらいは怒られると思った方がええ！
5 23/05/01(月)18:11:44 No.1052699425
よくしらないけどwgetって怒られるの？
6 23/05/01(月)18:12:11 No.1052699566
なんも考えずに5秒開ければ文句言われないだろ…って安易に考えて設定したけど よく考えたら処理すべき対象は1000件くらいあるから90分は余裕でかかるなって気がついた
7 23/05/01(月)18:14:26 No.1052700253
テストするなら後ろめたい要素がある違法サイトを対象にすると良いぞ
8 23/05/01(月)18:16:40 No.1052700957
>テストするなら後ろめたい要素がある違法サイトを対象にすると良いぞ つまりいもげでテスト…！
9 23/05/01(月)18:19:15 No.1052701756
1秒開けろよっていうのが標準っぽいけどOPAC skって逮捕された事例もあるからな
10 23/05/01(月)18:30:19 No.1052705077
図書館は酷い例だけど公的機関は慎重すぎるくらい開けたほうがいいよ
11 23/05/01(月)18:52:36 No.1052711986
去年くらいに非同期通信の勉強でﾋのウェブ版の検索機能経由で好きな漫画のイラストをDLして保存するスクリプト書いたな ページ構造が変わって長持ちはしなかったけど
12 23/05/01(月)19:19:27 No.1052721653
>ページ構造が変わって長持ちはしなかったけど 対象とか取り出す要素を外部ファイルで指定するみたいな汎用スクレイピングツール作りたいけどスクリプト言語みたいになってきて収集つかなくなる