虹裏img歴史資料館

1 20/11/13(金)21:01:16 No.745835358

ふつうにjsonで吐かせるapi作ってvueかなんかでガワ被せればいいんじゃないの

2 20/11/13(金)21:01:26 No.745835432

何のデータ？

3 20/11/13(金)21:01:56 No.745835614

javaだjavaはすべてを解決する…

4 20/11/13(金)21:02:38 No.745835902

どこに置くです？

5 20/11/13(金)21:02:51 No.745836009

ここで聞くのが間違ってるんじゃ

6 20/11/13(金)21:03:24 No.745836253

>ふつうにjsonで吐かせるapi作ってvueかなんかでガワ被せればいいんじゃないの vueは調べてる途中に出てきたけれどjavascript使えないので候補から外してたわ ちょっと調べてみるね Javaなら使えるんだけれど……

7 20/11/13(金)21:03:34 No.745836333

csvに変換してスプレッドシートにしてあげるとかで十分かな…

8 20/11/13(金)21:03:44 No.745836410

モンティ・廃村

9 20/11/13(金)21:03:49 No.745836442

>どこに置くです？ Herokuにおいてついでにクローラもherokuで定期実行するようにしようかなって

10 20/11/13(金)21:04:09 No.745836576

>イメージとしては収集したデータがDBに入ってるからクライアントの選択にあわせて指定したデータを整形して表示みたいな感じのやつ >自分で調べたところそういう用途だとwordpressかDjangoで作るのがいいっぽいけど他になにかあるかな 見た目にこだわらないならHTML直吐きが一番楽だぞ

11 20/11/13(金)21:04:20 No.745836639

>何のデータ？ えっちなやつ

12 20/11/13(金)21:04:52 No.745836843

java使いならspring bootが手っ取り早いかな

13 20/11/13(金)21:05:02 No.745836911

>見た目にこだわらないならHTML直吐きが一番楽だぞ DBから動的に生成するにはphpとかpythonとかrubyとかで記述する必要あると思ってたけれど違うの？

14 20/11/13(金)21:05:08 No.745836947

サマリーだけ公開でいいんじゃね？

15 20/11/13(金)21:08:04 No.745838102

あと関係ないかもしれんけどCとPythonとJavaは開発経験ある

16 20/11/13(金)21:09:42 No.745838697

そんだけできればweb系なんてどうとでもなりそうだけども

17 20/11/13(金)21:10:39 No.745839067

俺だったら色々考えるの面倒なのでCSV書き出すバッチ作っておしまいかな…

18 20/11/13(金)21:12:28 No.745839742

>java使いならspring bootが手っ取り早いかな Javaにも有名なweb系のフレームワークあったのか 業務用ツール開発でしか使ったことなかったから考慮してなかったわ

19 20/11/13(金)21:13:38 No.745840181

えっちなやつということは画像ですか？

20 20/11/13(金)21:15:58 No.745841044

djangoは趣味でやるには重いからflaskかな… ガワを豪華にしたいならJSは避けられない気がするけどよくわからん

21 20/11/13(金)21:16:04 No.745841079

>えっちなやつということは画像ですか？ 画像＋テキスト＋数値みたいな感じ

22 20/11/13(金)21:16:48 No.745841316

Apolloとかつかうと楽よ

23 20/11/13(金)21:17:23 No.745841527

>djangoは趣味でやるには重いからflaskかな… >ガワを豪華にしたいならJSは避けられない気がするけどよくわからん マウスオーバーすると画像が拡大表示されるやつ実装したい！

24 20/11/13(金)21:17:52 No.745841730

wordpressはブログ向けだからdb操作との親和性は微妙かも でも他に何かあるかと言われてもnginxくらいしか思い付かない…

25 20/11/13(金)21:18:12 No.745841838

それならもうjsお勉強するしかないのでは…

26 20/11/13(金)21:18:47 No.745842068

JS使えないのは致命的すぎる

27 20/11/13(金)21:19:08 No.745842201

△から自動で児童画像を

28 20/11/13(金)21:19:43 No.745842442

>△から自動で児童画像を ああ…数値って6yo的な

29 20/11/13(金)21:20:32 No.745842724

>>△から自動で児童画像を >ああ…数値って6yo的な 企業運営のクラウドにそんなの置いちゃ駄目だよ！

30 20/11/13(金)21:21:03 No.745842932

>それならもうjsお勉強するしかないのでは… 単品で欲しい機能があるぐらいならリファレンス引けばいけるかなーって

31 20/11/13(金)21:21:05 No.745842946

webに置くならJSは避けられないんじゃね？

32 20/11/13(金)21:21:20 No.745843046

JSってそういう…

33 20/11/13(金)21:22:09 No.745843332

jsと遊ぼうぜ…jsの奥を弄ろうぜ…

34 20/11/13(金)21:22:42 No.745843517

js簡単だからちょっとやってみたら？ それだけ出来るならなんとなくで書けると思う

35 20/11/13(金)21:23:22 No.745843760

spring bootかflaskメインにjsもちょっと勉強する感じでやってみるね 相談に乗ってくれてありがとう

36 20/11/13(金)21:23:39 No.745843852

猿人Ｘ

37 20/11/13(金)21:24:21 No.745844083

横からだけどjsってそんな簡単にヤれるの？おぱいぱいしか弄ったことないんだけど

38 20/11/13(金)21:24:34 No.745844146

エクセルでくれ

39 20/11/13(金)21:25:03 No.745844290

図書館の書籍データベースとかどうかな！？ たまに図書館員と警察が捕まえにくるけど

40 20/11/13(金)21:27:08 No.745845068

>横からだけどjsってそんな簡単にヤれるの？おぱいぱいしか弄ったことないんだけど 文法は覚えやすいけどなんか匿名関数をむやみに使ったりして独自のコーディング文化が強い印象

41 20/11/13(金)21:27:52 No.745845392

女子小学生の略は適当に書いて動くので取っつく分には簡単よ 真っ当に作るととクソじゃねえかなぁってなる なった

42 20/11/13(金)21:28:29 No.745845615

>真っ当に作るととクソじゃねえかなぁってなる まず僕の考えた最強のJS派生が多すぎない？

43 20/11/13(金)21:29:03 No.745845831

jsのえっちな画像のwebデータベースか

44 20/11/13(金)21:30:06 No.745846141

これで商売がしたい qiitaやteratailを切り貼りして作った不出来な子だが 何だかんだ役目はこなすし売れると思う どういうふうに売ったらいいのかそもそもこういうのの著作権ってどうなってるのかわからない

45 20/11/13(金)21:30:58 No.745846455

なんとかhubの出番だ

46 20/11/13(金)21:31:12 No.745846542

パイソンって何ができるの？

47 20/11/13(金)21:31:13 No.745846551

中身次第だからなんとも言えん

48 20/11/13(金)21:31:34 No.745846700

>これで商売がしたい >qiitaやteratailを切り貼りして作った不出来な子だが >何だかんだ役目はこなすし売れると思う >どういうふうに売ったらいいのかそもそもこういうのの著作権ってどうなってるのかわからない PV稼げるなら自分で運営してアフィ広告貼るのが一番楽じゃね

49 20/11/13(金)21:31:34 No.745846702

>これで商売がしたい >qiitaやteratailを切り貼りして作った不出来な子だが >何だかんだ役目はこなすし売れると思う >どういうふうに売ったらいいのかそもそもこういうのの著作権ってどうなってるのかわからない webアプリならアフィリエイトつけて公開すりゃいいんじゃね

50 20/11/13(金)21:31:35 No.745846707

ネットでクロールして手に入れたデータなら無料で公開して自己顕示欲を満たすだけにするべきよ

51 20/11/13(金)21:31:45 No.745846776

>パイソンって何ができるの？ 下回り以外なんでも

52 20/11/13(金)21:32:02 No.745846891

>パイソンって何ができるの？ 可読性高くかける

53 20/11/13(金)21:32:05 No.745846917

cloudantとnode-redで連携してますよ私は

54 20/11/13(金)21:32:36 No.745847114

パイソン君そんなに読みやすいかなあれ…

55 20/11/13(金)21:32:40 No.745847143

>これで商売がしたい >qiitaやteratailを切り貼りして作った不出来な子だが >何だかんだ役目はこなすし売れると思う >どういうふうに売ったらいいのかそもそもこういうのの著作権ってどうなってるのかわからない まだspring bootかflaskか迷ってる俺と違って完成しているのは凄いぞ！

56 20/11/13(金)21:32:46 No.745847179

>パイソンって何ができるの？ めっちゃ書きやすいからもう雑な計算にも便利だし何でもできるよ

57 20/11/13(金)21:33:02 No.745847286

>パイソン君そんなに読みやすいかなあれ… 誰が書いても同じになるという意味では

58 20/11/13(金)21:33:05 No.745847314

最近はRustとか使うの…?

59 20/11/13(金)21:33:11 No.745847363

wordpressはなんか大変そう python使うならdjangoでいいんじゃないかな

60 20/11/13(金)21:33:16 No.745847391

>パイソン君そんなに読みやすいかなあれ… 変な書き方をしなければ初心者にも読みやすい

61 20/11/13(金)21:33:33 No.745847516

>ネットでクロールして手に入れたデータなら無料で公開して自己顕示欲を満たすだけにするべきよ それやるのは控えてそれをやれるソフトそのものを売ろうかと考えてる

62 20/11/13(金)21:35:01 No.745848041

>最近はRustとか使うの…? Rustの時代が来ると言われ続けて何年経ったことか…

63 20/11/13(金)21:35:06 No.745848067

>>ネットでクロールして手に入れたデータなら無料で公開して自己顕示欲を満たすだけにするべきよ >それやるのは控えてそれをやれるソフトそのものを売ろうかと考えてる クローラなんてそこらへんに置いてあるうえに △やパンダとかを対象にしたエロ画像収集収集ツールも無料で公開してるところたくさんあるので 機械学習加えて自動でエロ画像判別とかそういう機能でも搭載していない限り無理じゃない？

64 20/11/13(金)21:35:20 No.745848153

クロール先が仕様変更するだけで動かなくなるものが売れると思うか？

65 20/11/13(金)21:35:22 No.745848170

jsのブックマークレートでhtmlのクラスタグにチェックボックスとサブミットボタンを実装して 画像収集マクロをより直感的に操作するとか割と普通に出来る感じの車輪の再発明を思い付いた

66 20/11/13(金)21:35:28 No.745848205

jsやるんならnodeから触って全身jsにした方がいいんじゃねぇかな

67 20/11/13(金)21:36:03 No.745848406

jsは入門の入口がよくわからない ど…どれ…？ってなる

68 20/11/13(金)21:36:03 No.745848407

クローラてサーバーに負荷かかって迷惑なんじゃないか不安なんだけど 上手くやればそんなでもない？

69 20/11/13(金)21:36:48 No.745848663

>>>ネットでクロールして手に入れたデータなら無料で公開して自己顕示欲を満たすだけにするべきよ >>それやるのは控えてそれをやれるソフトそのものを売ろうかと考えてる >クローラなんてそこらへんに置いてあるうえに >△やパンダとかを対象にしたエロ画像収集収集ツールも無料で公開してるところたくさんあるので >機械学習加えて自動でエロ画像判別とかそういう機能でも搭載していない限り無理じゃない？ 存在しているってのとみんな気軽に使えるって距離あると思うの！

70 20/11/13(金)21:36:51 No.745848687

HTML 情報記述してあるやつ CSS 情報の見た目を整えてくれるやつ js カッチョイイ動作をしてくれるやつ って印象がある

71 20/11/13(金)21:37:15 No.745848817

毎秒何百とリクエスト送ったりしないでクロール先のサーバーの負荷を気遣えばまあそんなに迷惑でも無いんじゃないかな

72 20/11/13(金)21:37:18 No.745848833

時代はOSSさ

73 20/11/13(金)21:37:21 No.745848863

適度にsleepいれて田代にならんようにする必要はある

74 20/11/13(金)21:37:31 No.745848928

>クロール先が仕様変更するだけで動かなくなるものが売れると思うか？ 普通にいっぱい売ってありそう

75 20/11/13(金)21:37:59 No.745849088

フロント作るのが難しいならgraphqlサーバーにして好きに叩いてもらおうぜ

76 20/11/13(金)21:38:00 No.745849093

ｻｰﾊﾞｰﾁｮｯﾄﾜｶﾙならnodeでフロントなら魔窟なのでよくわからないです

77 20/11/13(金)21:38:05 No.745849118

>クローラてサーバーに負荷かかって迷惑なんじゃないか不安なんだけど >上手くやればそんなでもない？ 法律上1秒間に1回しか駄目ってことになったはず

78 20/11/13(金)21:38:49 No.745849392

1秒に1回ってhttpリクエストが？

79 20/11/13(金)21:39:04 No.745849492

気軽に使える夢のソフト作ったのはいいけどサポートとかしないといけなくなるんじゃ

80 20/11/13(金)21:39:25 No.745849634

ﾋの動画保存ランキングを真似て今流行りのフリートを保存できるツールを作ったけど非公開APIを叩いてるツールにアフィ貼ったら普通に怒られそうだ…

81 20/11/13(金)21:39:56 No.745849885

ソフトウェアの販売といえばメルカリ用のクローラどっかで売ってたな

82 20/11/13(金)21:40:30 No.745850099

>1秒に1回ってhttpリクエストが？ はい…… ECサイトクローリングしようとしたら何日かかるんだろうな

83 20/11/13(金)21:40:36 No.745850144

>存在しているってのとみんな気軽に使えるって距離あると思うの！ クローラーを必要としている人はそこら辺に置いてるのを使うし 気軽に欲しい人はクローラーなんて使わないのでは…

84 20/11/13(金)21:41:18 No.745850432

>クロール先が仕様変更するだけで動かなくなるものが売れると思うか？ いまふたば見るのに使ってるこのアプリをバカにしたか？

85 20/11/13(金)21:41:31 No.745850514

パイソン最近触り始めたけどこれ簡単にRPAできちゃわない？すげぇ！

86 20/11/13(金)21:41:35 No.745850538

まぁ売るだけ売ってダメだったらいいやって発想でもいいのか

87 20/11/13(金)21:41:53 No.745850680

>法律上1秒間に1回しか駄目ってことになったはず 法律上じゃなくて判例だし別に1秒だからokってわけでもないぞ 1秒開けてればアクセス負荷にはならんでしょって理屈なだけで

88 20/11/13(金)21:42:19 No.745850844

web系触ってみるのにはいい動機だから売れるかは置いといていいんじゃねぇかな

89 20/11/13(金)21:42:28 No.745850893

>パイソン最近触り始めたけどこれ簡単にRPAできちゃわない？すげぇ！ 総務「は？許可ないソフト入れるなよエクセルでやれ」

90 20/11/13(金)21:42:51 No.745851057

>パイソン最近触り始めたけどこれ簡単にRPAできちゃわない？すげぇ！ 退屈なことはPythonにやらせよう ってそのまんまの本あるし……

91 20/11/13(金)21:43:31 No.745851308

逆に1秒に1回も送っていいんだ おれ怖くて30秒に1回くらいしかとりにいかせてないのに

92 20/11/13(金)21:43:57 No.745851497

クローリングでrobots.txtは無視してもいいけれど 会員登録後にしか取得できない情報については規約を守らなくちゃ駄目ってことでいいんだよね？

93 20/11/13(金)21:44:04 No.745851535

クロールして収集したデータって売ってもいいものなのかな なんか法律引っ掛かりそうな気もする

94 20/11/13(金)21:44:27 No.745851690

>パイソン最近触り始めたけどこれ簡単にRPAできちゃわない？すげぇ！ OpenCVも入れて画像認識もできるぞ

95 20/11/13(金)21:44:52 No.745851861

>クロールして収集したデータって売ってもいいものなのかな >なんか法律引っ掛かりそうな気もする それがだめならリサーチ会社全部だめになりそう

96 20/11/13(金)21:45:11 No.745851968

改正後の法律についてはこのあたりがわかりやすいと思う https://storialaw.jp/blog/5756

97 20/11/13(金)21:45:13 No.745851978

>クロールして収集したデータって売ってもいいものなのかな >なんか法律引っ掛かりそうな気もする クロール型の検索エンジンさん…

98 20/11/13(金)21:45:50 No.745852219

>1秒に1回ってhttpリクエストが？ はい 技術屋が法律に関わらないとこういうバカな判例が出てしまう

99 20/11/13(金)21:45:53 No.745852246

>クロールして収集したデータって売ってもいいものなのかな >なんか法律引っ掛かりそうな気もする なあ聞いてるかGoogle

100 20/11/13(金)21:46:01 No.745852283

>>クロールして収集したデータって売ってもいいものなのかな >>なんか法律引っ掛かりそうな気もする >クロール型の検索エンジンさん… そうかそもそもそいつを忘れてた

101 20/11/13(金)21:46:06 No.745852317

Cかけるならフロントエンドwebassemblyで作ろう >Rustの時代が来ると言われ続けて何年経ったことか… もうきてるよ！

102 20/11/13(金)21:46:43 No.745852522

そういや最近じゃばお見ないな

103 20/11/13(金)21:46:58 No.745852613

収集したデータ自体に著作権が発生しなきゃいいんじゃない 絵とかは売っちゃだめだ

104 20/11/13(金)21:47:17 No.745852738

>改正後の法律についてはこのあたりがわかりやすいと思う >https://storialaw.jp/blog/5756 著作物の内容を配信したりしなければいいって感じなのかな

105 20/11/13(金)21:47:25 No.745852794

>収集したデータ自体に著作権が発生しなきゃいいんじゃない >絵とかは売っちゃだめだ 学習データセットという扱いなら売ってもよかったはず！

106 20/11/13(金)21:47:45 No.745852924

何か勘違いしてる「」がいそうだけどLibrahack事件のことならアクセスの頻度自体をどうこう定めたものじゃないぞあれ

107 20/11/13(金)21:48:20 No.745853167

システムそのものを売れるのであればそれなりに価値が出ると思う 俺も中途半端に技術屋やってたけどもうちょっと頑張って勉強して簡単なパッケージソフトでも作ってみようかな

108 20/11/13(金)21:48:28 No.745853212

>何か勘違いしてる「」がいそうだけどLibrahack事件のことならアクセスの頻度自体をどうこう定めたものじゃないぞあれ 一秒一回だったけど逮捕されたしな

109 20/11/13(金)21:49:26 No.745853538

・そのURLにたどり着くためには本来はログイン後のページに書かれたURLを見る必要がある ・URLさえ知ってれば認証なしでアクセスできる ・URLは別のデータから推測できる っていう状況でログインなしでURL直打ちでのアクセスは不正アクセスにならないっていうのがなんかしっくりこない

110 20/11/13(金)21:50:17 No.745853852

httpがよくわかってない useragent以外の相手に行く情報もわからない

111 20/11/13(金)21:50:44 No.745854017

>>何か勘違いしてる「」がいそうだけどLibrahack事件のことならアクセスの頻度自体をどうこう定めたものじゃないぞあれ >一秒一回だったけど逮捕されたしな 法律って正しい知識で作られるんじゃなくて利益だけで作られるんだなってよく解った

112 20/11/13(金)21:50:58 No.745854114

>っていう状況でログインなしでURL直打ちでのアクセスは不正アクセスにならないっていうのがなんかしっくりこない URLがわかれば認証無しでアクセスできるんだし別に認証を破ったわけでもないんだから不正じゃないんじゃない？

113 20/11/13(金)21:51:28 No.745854313

img観るのも不正アクセスになっちまう

114 20/11/13(金)21:51:32 No.745854337

>・そのURLにたどり着くためには本来はログイン後のページに書かれたURLを見る必要がある >・URLさえ知ってれば認証なしでアクセスできる >・URLは別のデータから推測できる >っていう状況でログインなしでURL直打ちでのアクセスは不正アクセスにならないっていうのがなんかしっくりこない 認証なしでアクセスできるんならそりゃそうじゃね

115 20/11/13(金)21:52:11 No.745854555

imgに認証いるんですか！？

116 20/11/13(金)21:52:29 No.745854654

>システムそのものを売れるのであればそれなりに価値が出ると思う >俺も中途半端に技術屋やってたけどもうちょっと頑張って勉強して簡単なパッケージソフトでも作ってみようかな そんな感じの考えてる個人向けよりは金払いよさそうだし

117 20/11/13(金)21:52:34 No.745854698

youtubeにあるずっとストリーミングされてるBGMをブラウザ使わずに ffplay "$(youtube-dl -g 動画URL)" とかで流してたんだけど プレイリストのURLは数時間で無効になって403返ってくるようになってるのに インターバルなしでおそらく毎秒数回の再リクエストを一晩中送り続けててヤッベってなった今日

118 20/11/13(金)21:52:35 No.745854699

>imgに認証いるんですか！？ お前虹裏料払ってないのか！？

119 20/11/13(金)21:52:40 No.745854729

おぺにす認証…

120 20/11/13(金)21:52:44 No.745854745

雰囲気でパイソンを書いている まあ動くしいいやってなる

121 20/11/13(金)21:53:24 No.745854994

>っていう状況でログインなしでURL直打ちでのアクセスは不正アクセスにならないっていうのがなんかしっくりこない そもそもネットに公開してる状態なんだからアクセスされたら不正と思うのはおかしい

122 20/11/13(金)21:53:46 No.745855133

誰かimgクローリングしていいね多いレスだけ抽出するの作ってよ

123 20/11/13(金)21:53:54 No.745855169

ディレクトリのツリー構造とかを理解した前提なら 推測できるURLがログインが不要という前提付きでアクセスできるのは 不正アクセスでも何でもないってわかるだろ 言ってしまえば検索エンジンで特定のブログの特定の日時の記事にアクセスするようなものだぞ

124 20/11/13(金)21:54:02 No.745855216

>雰囲気でパイソンを書いている >まあ動くしいいやってなる 雰囲気でスペースでのインデントと思ったら タブなのいいよね……

125 20/11/13(金)21:54:07 No.745855239

構造が単純で頻繁に更新されるimgはクローラの作例にちょうど良さそう

126 20/11/13(金)21:54:08 No.745855246

森の動物的な画像をダウンロードするのは違法だけれど クローラで自動的にダウンロードしてしまった場合の扱いはどうなるんだ？

127 20/11/13(金)21:54:10 No.745855255

>っていう状況でログインなしでURL直打ちでのアクセスは不正アクセスにならないっていうのがなんかしっくりこない 現実問題として悪意を持ってアクセスしたのかたまたま(どこかで公開されていたとか)なのか区別つかないし

128 20/11/13(金)21:54:26 No.745855343

認証済んでないユーザーはログインページへリダイレクトさせることもできるしUUID使う手もあるからその辺怠ってるなら不正アクセスではないんじゃないかな

129 20/11/13(金)21:54:29 No.745855366

>誰かimgクローリングしていいね多いレスだけ抽出するの作ってよ うんこついてるやつがどこのスレに書き込んでるか調べるツール！

130 20/11/13(金)21:54:32 No.745855382

最終的なアクセス所に認証かかってないって時点で不正アクセスに取れるわけないじゃん 認めると世の中のありとあらゆるページ不正アクセス扱いにできるよ

131 20/11/13(金)21:54:36 No.745855408

いいねなんてねぇよ

132 20/11/13(金)21:54:42 No.745855451

>そもそもネットに公開してる状態なんだからアクセスされたら不正と思うのはおかしい 有償コンテンツ例えば動画配信サービスとかでもセーフなんかね流石にアウトだと思いたいけど

133 20/11/13(金)21:54:49 No.745855494

認証かけてないけどかけてるつもりなの！ ってページにアクセスしたらダメだったらGoogleとか正規の大罪人になるんじゃないの

134 20/11/13(金)21:55:40 No.745855769

>有償コンテンツ例えば動画配信サービスとかでもセーフなんかね流石にアウトだと思いたいけど 認証かけてないならセーフだと思う というかそういうのは認証かけるべきなのでは？

135 20/11/13(金)21:55:55 No.745855866

クローラは暴走が怖いよね 迷惑かけたら死ねる

136 20/11/13(金)21:55:58 No.745855883

>有償コンテンツ例えば動画配信サービスとかでもセーフなんかね流石にアウトだと思いたいけど 流石にガバすぎるしリンク踏ませてはい不正アクセス～お金払ってねになるからダメよ

137 20/11/13(金)21:56:29 No.745856066

>認証かけてないならセーフだと思う >というかそういうのは認証かけるべきなのでは？ そうだよな… 大手音楽レーベルのサイトだし報告入れてくるわ…

138 20/11/13(金)21:56:33 No.745856091

pythonはこんなに雑に書いたのに動いていいの…って思いながら触ってる

139 20/11/13(金)21:56:50 No.745856207

>うんこついてるやつがどこのスレに書き込んでるか調べるツール！ 全スレ監視してIDついた瞬間に他のスレでIDが出たのを検知できればあるいは