ここでは虹裏imgのかなり古い過去ログを閲覧することができます。
23/05/01(月)18:02:09 No.1052696582
スクレイビングって何秒くらい間隔空けるのが一般的なんだろうね
1 23/05/01(月)18:04:20 No.1052697213
怒られない程度に
2 23/05/01(月)18:08:51 No.1052698557
300秒で ええ！
3 23/05/01(月)18:09:11 No.1052698644
>300秒で >ええ！ そん なに
4 23/05/01(月)18:11:15 No.1052699255
怒られないギリギリぐらいは怒られると思った方がええ！
5 23/05/01(月)18:11:44 No.1052699425
よくしらないけどwgetって怒られるの？
6 23/05/01(月)18:12:11 No.1052699566
なんも考えずに5秒開ければ文句言われないだろ…って安易に考えて設定したけど よく考えたら処理すべき対象は1000件くらいあるから90分は余裕でかかるなって気がついた
7 23/05/01(月)18:14:26 No.1052700253
テストするなら後ろめたい要素がある違法サイトを対象にすると良いぞ
8 23/05/01(月)18:16:40 No.1052700957
>テストするなら後ろめたい要素がある違法サイトを対象にすると良いぞ つまりいもげでテスト…！
9 23/05/01(月)18:19:15 No.1052701756
1秒開けろよっていうのが標準っぽいけどOPAC skって逮捕された事例もあるからな
10 23/05/01(月)18:30:19 No.1052705077
図書館は酷い例だけど公的機関は慎重すぎるくらい開けたほうがいいよ
11 23/05/01(月)18:52:36 No.1052711986
去年くらいに非同期通信の勉強でﾋのウェブ版の検索機能経由で好きな漫画のイラストをDLして保存するスクリプト書いたな ページ構造が変わって長持ちはしなかったけど
12 23/05/01(月)19:19:27 No.1052721653
>ページ構造が変わって長持ちはしなかったけど 対象とか取り出す要素を外部ファイルで指定するみたいな汎用スクレイピングツール作りたいけどスクリプト言語みたいになってきて収集つかなくなる