21/07/02(金)21:37:24 scrapy... のスレッド詳細
削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。
21/07/02(金)21:37:24 No.819346610
scrapyでsetting.pyファイルの中で DUPEFILTER_CLASS = 'scrapy.dupefilters.BaseDupeFilter' にしているのに 重複したリクエストがあるとそこでクローリングが停止してしまうんだけど どうしたら重複したリクエストのフィルタリング無効にできるんだ？
1 21/07/02(金)21:38:52 No.819347319
書き込みをした人によって削除されました
2 21/07/02(金)21:40:24 No.819348086
重複じゃないんじゃないの？
3 21/07/02(金)21:40:48 No.819348284
停止してる理由が重複以外にあるんじゃねーの
4 21/07/02(金)21:41:24 No.819348588
>重複じゃないんじゃないの？ ログ見る限り以前読み込んだページをリクエストしたところで Closing spider (finished) してるので重複だとは思うんだけど…
5 21/07/02(金)21:42:28 No.819349119
stackoverflowでやれ
6 21/07/02(金)21:43:04 No.819349449
teratailでやれ
7 21/07/02(金)21:43:16 No.819349535
正確に言うとリクエスト先のページがなくて 別のページに飛ばされることが二回あると scrapyが閉じる
8 21/07/02(金)21:43:50 No.819349796
Qiitaでやれ
9 21/07/02(金)21:44:08 No.819349952
>別のページに飛ばされることが二回あると >scrapyが閉じる なんで！？
10 21/07/02(金)21:44:22 No.819350061
>Qiitaでやれ それは困る
11 21/07/02(金)21:44:33 No.819350144
俺詳しくないけどQiita引っ張ってきた！ https://qiita.com/wroc/items/4c6cc2bc642a33456d82
12 21/07/02(金)21:46:08 No.819350883
パイパイ
13 21/07/02(金)21:47:48 No.819351644
とにかく質問は認められん Qiitaのブランドに傷がつくからな
14 21/07/02(金)21:49:23 No.819352394
こんなポエムのたまり場に権威なんてありませぇええん！！！
15 21/07/02(金)21:50:14 No.819352794
今もうQiitaにも質問用のフィードあるぞ
16 21/07/02(金)21:52:47 No.819353948
自然言語で詳細設計書くだけで自動的にコーディングしてくれるツールできねえかな ＭＢＤとかじゃなく
17 21/07/02(金)21:55:53 No.819355476
>自然言語で詳細設計書くだけで自動的にコーディングしてくれるツールできねえかな 富士通くんにご相談だ！
18 21/07/02(金)21:57:58 No.819356597
>自然言語で詳細設計書くだけ 本当にできる？
19 21/07/02(金)21:58:10 No.819356714
ここはお前のstackoverflow
20 21/07/02(金)21:59:54 No.819357598
>本当にできる？ あー要件かくだけで自動的に俺の裏の要望まで読み取って仕様書かいてくれる奴隷できねえかな
21 21/07/02(金)22:00:07 No.819357704
数日前にコメント書くと関数の中身を提案してくれるやつのニュースなかったっけ vscodeから使えるって
22 21/07/02(金)22:01:36 No.819358478
>正確に言うとリクエスト先のページがなくて >別のページに飛ばされることが二回あると >scrapyが閉じる もう全部探査し終わったと判断したのでは ルールを見直そう
23 21/07/02(金)22:02:51 No.819359069
コードを書くとコメントを自動で付けてくれるほうが嬉しい
24 21/07/02(金)22:03:54 No.819359539
>あー要件かくだけで自動的に俺の裏の要望まで読み取って仕様書かいてくれる奴隷できねえかな 月100万からでいいよ…
25 21/07/02(金)22:04:27 No.819359769
>コードを書くとコメントを自動で付けてくれるほうが嬉しい //TODOまみれになった…おかしい…こんなはずでは…
26 21/07/02(金)22:06:33 No.819360744
最近のIDEは//TODO 書くとリマインドしてくれるのがありがたい …むぅ…これはプレッシャー
27 21/07/02(金)22:11:07 No.819362914
githubのcopilot申し込んだ 通ったらochinpo_standupとか関数名書いたらどんなコード返してくれるのか楽しみだ
28 21/07/02(金)22:14:02 No.819364300
>githubのcopilot申し込んだ >通ったらochinpo_standupとか関数名書いたらどんなコード返してくれるのか楽しみだ isPrimeNumber(int num) って書いたらどうなるんだろう
29 21/07/02(金)22:14:11 No.819364365
openis...