ここでは虹裏imgのかなり古い過去ログを閲覧することができます。
20/03/06(金)00:49:46 No.668678422
ｷﾀ━━━━━━(ﾟ∀ﾟ)━━━━━━ !!!!!
1 20/03/06(金)00:51:38 No.668678932
そのデータをどういう風に扱いたいかによるんじゃない？
2 20/03/06(金)00:52:54 No.668679304
横断検索したいんじゃないの？
3 20/03/06(金)00:54:28 No.668679765
SQLで引っ張り出したいならリストにして格納する奴は殺したくなる JAVAは知らん
4 20/03/06(金)00:55:42 No.668680097
自分ならツイートだけKVSでツイートID:ツイート内容のやつを作るかな
5 20/03/06(金)00:55:56 No.668680158
どういう風に使うかによる
6 20/03/06(金)00:57:52 No.668680708
sql?nosql?
7 20/03/06(金)00:58:12 No.668680795
一つのフィールドに1ユーザー分の全ツイートをリストにして突っ込むって事？ それDBの利点潰してると思うからやめた方がいい
8 20/03/06(金)00:59:47 No.668681170
あとで探すだけならRDBじゃなくてKVSの方が無難じゃ 今は一応json型もあるけど
9 20/03/06(金)01:00:16 No.668681266
新しいツイートが発生した時にどう更新するか考えたら自然と答え出ない？
10 20/03/06(金)01:01:19 No.668681522
更新頻度低くて取得するとき必ず全ツイート取得と決まってて可能な限りレコード数減らしたいならリストでもいいと思う そうでもなければ個別のレコードにした方がいい
11 20/03/06(金)01:01:34 [s] No.668681595
ユーザーAのツイートから特定キーワード（複数ある）で抽出するような使い方をしたい ツイート毎に別々にした方がいいかな 使うのはPythonとSQLiteにするつもり
12 20/03/06(金)01:01:35 No.668681605
素直にIDをキーにして発言と日時をログっちゃダメなのか そんな容量食うのか
13 20/03/06(金)01:01:52 No.668681665
作品の評価見るのにやってみたいとか前に言ってたやつか
14 20/03/06(金)01:01:53 No.668681666
>自分ならツイートだけKVSでツイートID:ツイート内容のやつを作るかな どう言うふうに扱いたいかにもよるけど俺もパッと思いついたのはこれだな
15 20/03/06(金)01:03:42 No.668682164
KVS…そういうのもあるのか 揮発しない辞書みたいなものと思えばいいのかな？IDとツイート内容さえ取得できればいいからこれ使えばいいかな
16 20/03/06(金)01:04:02 No.668682271
>ユーザーAのツイートから特定キーワード（複数ある）で抽出するような使い方をしたい これなら紐付けようにID使う形でツイート毎に別でデータ格納するのがいいだろうな というかそれ以外の方法取るならSQLまで使ってやることじゃねぇと思う
17 20/03/06(金)01:04:48 No.668682506
形態素解析したいなら日時でくくってログ引き出せるようにしないとマジでひたすらめんどうになるから ID：発言内容：日時で1ログ取るようにしたほうがいい 形態素分析は発言ログに対して個別にかければいい
18 20/03/06(金)01:06:01 No.668682811
一回思いついた方法でやってみて何かおかしいって思うところまで作ってみないと良い方法が何故良い方法なのか理解できなかったりするからとりあえず作れ
19 20/03/06(金)01:09:29 No.668683752
>ユーザーAのツイートから特定キーワード（複数ある）で抽出するような使い方をしたい 特定キーワードって増えたり減ったりする？
20 20/03/06(金)01:10:52 No.668684121
作品名（ポケモンとか）の関連キーワード（ピカチュウとか）をGoogleのサジェストから取得 ↓ 特定ユーザーのツイートを取得 ↓ 関連キーワードでツイートを検索してキーワードに関連するツイートだけを抽出する やりたい事はこんな感じなんだけど伝わるだろうか 今のところ作品毎に関連キーワード、ユーザー毎にツイートのcsvファイルを別々に作って上記の機能は実現してるんだけど、データベースにまとめたいなって あと作品問わず出現する関連キーワード（グッズとか声優とか）を除外するような仕組みも作りたい
21 20/03/06(金)01:12:17 No.668684502
SQL書いたほうがいいんじゃないかな…
22 20/03/06(金)01:14:27 No.668685038
ユーザーIDとツイートでカラム分けるだけでいいんじゃあ
23 20/03/06(金)01:15:39 No.668685303
いっそプレーンテキストでもいい
24 20/03/06(金)01:15:58 [s] No.668685358
ありがとうID:ツイート内容:日時でSQL作ってみる
25 20/03/06(金)01:16:07 No.668685391
サジェスト語のテーブルとID:発言のテーブル作ってSQLのWHERE句で書けば全部解決しそうなんだけど そんなにSQL書くの嫌なの？って気持ちになる
26 20/03/06(金)01:18:37 No.668686038
>そんなにSQL書くの嫌なの？って気持ちになる 前立ってたスレ読んだ限りだとSQLで何が出来るかも分かってない様子だったからそう言うわけではないと思う 頑張って勉強しろとは思う
27 20/03/06(金)01:18:39 No.668686044
ﾋの場合 https://twitter.com/id/status/0000000000000000000 みたいにツイート毎にユニークな値振られてるから最後のステータス拾えば良いんじゃね
28 20/03/06(金)01:18:42 No.668686057
まずpythonでDBアクセスとか操作できるようになってから考えた方がいいんじゃないかな…
29 20/03/06(金)01:19:00 No.668686118
>ユーザーIDとツイートでカラム分けるだけでいいんじゃあ ツイートのタイムスタンプぐらいはほしいところだな
30 20/03/06(金)01:19:16 No.668686197
個人に粘着するくらいの用途しか思い浮かばなくて怖い…
31 20/03/06(金)01:20:24 No.668686457
ﾋのデータ取得ってtwitterAPI使うの？ 確かあれjsonで取得だよね
32 20/03/06(金)01:20:34 No.668686502
はい「」勉強します…
33 20/03/06(金)01:22:06 No.668686841
確かにRDB弄ったことないまま聞いてるからおかしな事になってる気はする まずは繋いで適当なデータ入れて遊んでみなよ
34 20/03/06(金)01:25:04 No.668687568
>ツイート毎に別データとするの 普通はこれだろ >ユーザー毎の全ツイートをリストに格納してひとつのデータにするの こっちはたぶん重くて使い物にならなくなるし扱いにくいぞ
35 20/03/06(金)01:26:49 No.668687936
最初はDB環境用意してA5とかで接続するだけでも一苦労だったりするからな
36 20/03/06(金)01:26:49 No.668687938
twitterAPIが返すデータフォーマットままをDBに突っ込んで使い方考えたほうがいいと思う…
37 20/03/06(金)01:26:51 No.668687953
普通にTwitterで出来る検索以上のものができなさそう
38 20/03/06(金)01:27:58 No.668688202
>普通にTwitterで出来る検索以上のものができなさそう そのあとpandasでちょっと加工して形態素解析にかける下準備だろ ユーザーを絞る理由まではちょっと見えないけど
39 20/03/06(金)01:29:03 No.668688447
>ユーザーを絞る理由まではちょっと見えないけど 単純に自分が好ましい話題を多く話す人を絞り込みたいだけじゃねえの？ なぜそう勘繰る
40 20/03/06(金)01:31:08 No.668688883
>単純に自分が好ましい話題を多く話す人を絞り込みたいだけじゃねえの？ >なぜそう勘繰る 対象ユーザーが恣意的になりそうで意味あんのかなーとは思う この手の分析はちょっとした違いが敏感に出すぎて難しいんだよね経験上 いや話題と全く関係ないのですいませんなんだけど…
41 20/03/06(金)01:31:31 No.668688971
形態素解析とかする予定なのか 単純にキーワードで部分一致取るくらいなのかと
42 20/03/06(金)01:31:33 No.668688982
何件格納するのかによるだろうな パフォーマンス次第で設計は変わってくる
43 20/03/06(金)01:33:11 No.668689320
>なぜそう勘繰る >やりたい事はこんな感じなんだけど伝わるだろうか が「なんのために？」って部分を抜かして方法を語りだすからちょっと怖ッ…って
44 20/03/06(金)01:34:01 No.668689514
RDBに入れてSQLで検索でもいいしKVSにjsonぶっこんでアプリ側で処理でもどっちでも実現できるけどどんくらいデータ集めてどんくらいの頻度で抽出するかによって最適な設計は変わるので両方のパターンで試してみるのが勉強になっていいよ
45 20/03/06(金)01:34:20 No.668689593
>形態素解析とかする予定なのか >単純にキーワードで部分一致取るくらいなのかと 意味のないツイート省くために絞るって理解だけど勘繰りすぎかな… とりあえず抽出にそういう細かいチューニングが必要ならSQLマストだと思う リストなんてもってのほかすぎる
46 20/03/06(金)01:35:12 No.668689840
とりあえずクソでもいいから作って人に見せるのが一番成長できると思う
47 20/03/06(金)01:37:30 No.668690350
多分今ここで話されている内容以前のレベルから考えないといけないだろうな… しかし0から理解するには何かしら手本がないとキツそう
48 20/03/06(金)01:38:45 No.668690647
ちなみに10万件くらいまでだったらテキストファイルに格納するだけでも実用的な速度でるぞ 場合によってはデータベース使うより速い
49 20/03/06(金)01:40:15 No.668691054
アフィまとめブログの自動生成を勉強するといいぞ！
50 20/03/06(金)01:43:13 No.668691846
3時からプログラムさらさら祭を行い続ければスキルが跳ね上がるかも知れない メモ帳の作り方が洗練されるだけかも知れない
51 20/03/06(金)01:44:20 No.668692044
なんでスレ爆失敗してんの
52 20/03/06(金)01:47:12 No.668692628
なんで爆破…？