23/11/24(金)17:21:35 虹裏の... のスレッド詳細
削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。
画像ファイル名:1700814095897.png 23/11/24(金)17:21:35 No.1127725160
虹裏のスレを保存するスクリプト作ってみてるんだけど気を付けることはあるだろうか 今やってるのはこれくらいなんだけど - サムネイル画像とかは一度ダウンロードしたファイルを使いまわす - html の取得頻度を数分に一回程度にする - 全スレ対象ではなく指定したスレのみ保存する - 一度に保存するスレの上限数をもうけて制限する
1 23/11/24(金)17:33:29 No.1127728274
目的が分からないから何とも言えないところはあるけど 正確に記録を残しておきたいなら削除されたレスも保存するとか？
2 23/11/24(金)17:35:18 No.1127728745
指定方法は？ 個別に都度指定？ キーワード一致で自動？
3 23/11/24(金)17:35:39 No.1127728840
全レス保存予定なら２，３か月分くらいまとめて今度公開してほしい まさはるスレデータセット作ってimg分析コンペやりたい
4 23/11/24(金)17:36:12 No.1127728991
ログサイトだらけの今わざわざ自分で保存する必要ある？
5 23/11/24(金)17:36:48 No.1127729165
保存するスレの上限数の概念がよくわからんけど そういう変な制限より帯域と時間あたりのリクエスト数で制限した方がいいと思う
6 23/11/24(金)17:36:58 No.1127729209
どうせならカタログも定期的に保存しておいて
7 23/11/24(金)17:37:54 No.1127729485
>ログサイトだらけの今わざわざ自分で保存する必要ある？ 全部保存かつ長期保存してくれるところないよねたぶん あったら教えてほしい
8 <a href="mailto:sage">23/11/24(金)17:38:04</a> [sage] No.1127729522
>正確に記録を残しておきたいなら削除されたレスも保存するとか？ なるほど負荷対策ばかり考えててその発想はなかった >指定方法は？ 個別に都度指定みたいな感じなのでそんなに保存対象は多くならないとは思っているよ
9 23/11/24(金)17:38:39 No.1127729689
>ログサイトだらけの今わざわざ自分で保存する必要ある？ "なんでもいいから作りたいぞ。"
10 23/11/24(金)17:39:58 No.1127730068
もう作ってるわけじゃないのか？ 更新をどうやって確認してるのかわからんけど文字数やサイズだけだと削除で減ることもあるよ
11 23/11/24(金)17:42:09 No.1127730672
ログ公開サイトは正直リスク高すぎてなあ… 誹謗中傷とか表示してるだけでもアウトだから
12 23/11/24(金)17:42:11 No.1127730682
スレに貼られたあぷのファイルも保存して
13 <a href="mailto:sage">23/11/24(金)17:44:20</a> [sage] No.1127731284
>そういう変な制限より帯域と時間あたりのリクエスト数で制限した方がいいと思う なんか難しそうだけど調べてみる >スレに貼られたあぷのファイルも保存して あぷ小の保存はいるかもしれないけどあぷは必要かな？
14 <a href="mailto:sage">23/11/24(金)17:45:18</a> [sage] No.1127731532
>>スレに貼られたあぷのファイルも保存して >あぷ小の保存はいるかもしれないけどあぷは必要かな？ 連投制限に引っかかってやむなくあぷに上げる人もいるから
15 23/11/24(金)17:55:41 No.1127734744
5分毎に全ログ取得してなーの発生時刻を確認してる「」とかいたな…
16 23/11/24(金)18:17:00 No.1127741528
JSONで差分だけ取る方法があった気がする
17 23/11/24(金)18:18:42 No.1127742110
ありがたい…
18 23/11/24(金)18:30:29 No.1127746238
JSONのAPIを使うと鯖に優しいかも ｶﾝﾘﾆﾝｻﾝの都合でAPIの仕様が変わるかもしれないけど
19 23/11/24(金)18:31:36 No.1127746632
削除されたレスを残す
20 23/11/24(金)18:47:38 No.1127752609
>JSONのAPIを使うと鯖に優しいかも >ｶﾝﾘﾆﾝｻﾝの都合でAPIの仕様が変わるかもしれないけど ハードコードならhtmlのが負担かからない可能性もあるから何とも…