23/07/26(水)18:40:56 104万行... のスレッド詳細
削除依頼やバグ報告は メールフォーム にお願いします。個人情報、名誉毀損、侵害等については積極的に削除しますので、 メールフォーム より該当URLをご連絡いただけると助かります。
画像ファイル名:1690364456988.jpg 23/07/26(水)18:40:56 No.1083021254
104万行を超えるxlsxの読み込み方！ ①数時間かけてAccessに取り込みます ②104万行を下回るように分割してExcel出力します ③Excelで開きます ④それぞれのファイルで必要な加工をします ⑤完成！
1 23/07/26(水)18:44:29 No.1083022519
それAccess経由する必要ないんですよ
2 23/07/26(水)18:46:07 No.1083023085
>104万行を超えるxlsxの読み込み方！ そのxlsxはどうやって作られたの？
3 23/07/26(水)18:47:01 No.1083023397
そんなxlsxあんの
4 23/07/26(水)18:47:13 No.1083023496
csvと間違えてない？
5 23/07/26(水)18:47:23 No.1083023560
>そのxlsxはどうやって作られたの？ 謎のシステムが吐き出した
6 23/07/26(水)18:48:08 No.1083023837
OfficeOpenXML形式自体に行数制限ないからね… CSVでよくない？
7 23/07/26(水)18:48:53 No.1083024124
Accessに取り込んだ時点で10GBくらいになったんだっけ
8 23/07/26(水)18:49:15 No.1083024268
何が記されてるの
9 23/07/26(水)18:49:15 No.1083024271
あの「」やり遂げたのか…
10 23/07/26(水)18:49:47 No.1083024461
行数より恐ろしいのがxlsxって中身をzip圧縮してるものだから開くときは解答保存するときは圧縮してるわけで数ギガ単位のファイルの場合…
11 23/07/26(水)18:50:26 No.1083024706
>行数より恐ろしいのがxlsxって中身をzip圧縮してるものだから開くときは解答保存するときは圧縮してるわけで数ギガ単位のファイルの場合… 実体はさらに数倍の容量ってこと…？
12 23/07/26(水)18:51:06 No.1083024948
>実体はさらに数倍の容量ってこと…？ 解答した結果が多分 >Accessに取り込んだ時点で10GBくらいになったんだっけ
13 23/07/26(水)18:51:38 No.1083025141
>行数より恐ろしいのがxlsxって中身をzip圧縮してるものだから開くときは解答保存するときは圧縮してるわけで数ギガ単位のファイルの場合… 無圧縮で数ギガ読み書きするのもそれはそれで重いぞ
14 23/07/26(水)18:51:46 No.1083025188
それは今後どうメンテナンスするんで？
15 23/07/26(水)18:53:19 No.1083025758
クソみたいなExcel管理
16 23/07/26(水)18:54:04 No.1083026040
>それは今後どうメンテナンスするんで？ 200万行の中からとある条件に一致する行を探す作業をしたかっただけらしいからとりあえず一回開ければ良かったんじゃない
17 23/07/26(水)18:55:47 No.1083026718
簡単な抽出や集計に機能を絞るかわりに 1億レコード扱えるExcelがあったら欲しい
18 23/07/26(水)18:57:11 No.1083027219
>簡単な抽出や集計に機能を絞るかわりに >1億レコード扱えるExcelがあったら欲しい 1億いけるか知らんが思想的にはPowerQueryとかPowerBIがそれじゃね
19 23/07/26(水)18:58:04 No.1083027583
編集しなくていいならzipとして展開しちゃってデータのxmlを検索しちゃうのが一番早いか？
20 23/07/26(水)18:58:24 No.1083027719
>簡単な抽出や集計に機能を絞るかわりに >1億レコード扱えるExcelがあったら欲しい Filemakerを使いなさる レコード数なら6京4000兆まで扱える
21 23/07/26(水)19:00:12 No.1083028407
>Filemakerを使いなさる >レコード数なら6京4000兆まで扱える Excelが104万行扱えます！(扱えない)と同じ欺瞞を感じる
22 23/07/26(水)19:00:32 No.1083028525
>>簡単な抽出や集計に機能を絞るかわりに >>1億レコード扱えるExcelがあったら欲しい >Filemakerを使いなさる >レコード数なら6京4000兆まで扱える クラリスワークスの亡霊来たな…
23 23/07/26(水)19:01:00 No.1083028718
運用でカバーします
24 23/07/26(水)19:01:19 No.1083028847
>クラリスワークスの亡霊来たな… 会社名がクラリスになったから亡霊じゃなくて実体だぜ…
25 23/07/26(水)19:01:28 No.1083028918
>編集しなくていいならzipとして展開しちゃってデータのxmlを検索しちゃうのが一番早いか？ 解凍したら10GBのxmlを直接参照するの…？ 出来たとして文字列条件以外だとどうしようもないね
26 23/07/26(水)19:01:34 No.1083028969
謎のシステム怖すぎる 破壊させろ
27 23/07/26(水)19:01:41 No.1083029022
>Excelが104万行扱えます！(扱えない)と同じ欺瞞を感じる ？
28 23/07/26(水)19:02:07 No.1083029185
>①数時間かけてAccessに取り込みます 死ね
29 23/07/26(水)19:02:27 No.1083029324
>解凍したら10GBのxmlを直接参照するの…？ >出来たとして文字列条件以外だとどうしようもないね SAXでストリーム読み込みしてどうにか…
30 23/07/26(水)19:04:07 No.1083029986
ファイルではなくデータが重要なら DBに突っ込んじゃうのがいいと思う
31 23/07/26(水)19:04:11 No.1083030033
Accessはゴミが結構残るからなぁ
32 23/07/26(水)19:05:05 No.1083030383
CSVにしてしまえば扱えるテキストエディタはあると思う
33 23/07/26(水)19:06:25 No.1083030977
>DBに突っ込んじゃうのがいいと思う Accessに入れた！Access分かんない！Excelにエクスポートした！
34 23/07/26(水)19:08:23 No.1083031815
>Accessに入れた！Access分かんない！Excelにエクスポートした！ だから抽出した結果じゃなく全件をまたエクセルに戻したのか…
35 23/07/26(水)19:09:05 No.1083032089
コワ～…
36 23/07/26(水)19:12:29 No.1083033512
104万行を超えるxlsxの元データはDBか何かに保存されているだろうから そこで >④それぞれのファイルで必要な加工をします この操作を直接したいね いろいろ理由があってできないのはわかる
37 23/07/26(水)19:12:40 No.1083033580
Accessはストレージが遅い頃の仕様そのままだから操作するとファイルサイズゴリゴリ膨らむんだよな
38 23/07/26(水)19:14:04 No.1083034159
何らかのDBのデータがエクセルファイルになった結果検索しにくくなって そのエクセルファイルを分割して更に検索しにくくなった 人を経由するとどんどん情報が使いにくくなる様子を見た気がする
39 23/07/26(水)19:14:30 No.1083034335
>>クラリスワークスの亡霊来たな… >会社名がクラリスになったから亡霊じゃなくて実体だぜ… 仕事の関係で一瞬だけ触ったけどこれ便利なのか…？ってなったな ローコード開発で小規模ならありなのか？
40 23/07/26(水)19:14:35 No.1083034360
>Accessはストレージが遅い頃の仕様そのままだから操作するとファイルサイズゴリゴリ膨らむんだよな なんで？遅いならファイル小さいほうがいいんじゃないの？
41 23/07/26(水)19:16:33 No.1083035177
てすきと…で104万行ならいくらでも扱う手段あるのにな
42 23/07/26(水)19:16:47 No.1083035278
せめて謎のシステムはcsv吐き出せないの？
43 23/07/26(水)19:16:58 No.1083035350
>仕事の関係で一瞬だけ触ったけどこれ便利なのか…？ってなったな >ローコード開発で小規模ならありなのか？ まさにそれ用だよ 使ってるけど便利だよ
44 23/07/26(水)19:17:07 No.1083035420
ファイルがくそデカくても全部をメモリに展開しないよね…？
45 23/07/26(水)19:17:16 No.1083035490
>②104万行を下回るように分割してExcel出力します ここが信用できねえ…
46 23/07/26(水)19:18:14 No.1083035887
>なんで？遅いならファイル小さいほうがいいんじゃないの？ 削除したレコードを詰めないでひたすら後ろに追記するからだよ レコード書き換える時も内部的には削除と追加してる
47 23/07/26(水)19:18:26 No.1083035964
アクセスはなんであんなにクエリデザインがクソなん…？
48 23/07/26(水)19:19:01 No.1083036180
>なんで？遅いならファイル小さいほうがいいんじゃないの？ ファイル書き直すより差分を追記した方が速いし障害に強いからな
49 23/07/26(水)19:19:40 No.1083036444
立てるか…SqlServer…！
50 23/07/26(水)19:20:24 No.1083036728
一発で入れれたとは思えないからなぁ データインポート何度か入れなおしてたら肥大化するよね
51 23/07/26(水)19:20:38 No.1083036835
データ解析といえばエクセルですよね！って職場にたまに現れる化物みたいな巨大ファイルいいよね…
52 23/07/26(水)19:21:23 No.1083037069
そもそも何でそこまでデータが肥大化してるの？
53 23/07/26(水)19:21:28 No.1083037107
>アクセスはなんであんなにクエリデザインがクソなん…？ クソがよ…って思いながら前年と同じ作業で使ってる 最初に使おうと思ったやつクソ漏らせ
54 23/07/26(水)19:23:36 No.1083037865
帳票作ってくのにはまぁ便利なんだけどね DB本体部分は別のシステムがいいわ
55 23/07/26(水)19:24:17 No.1083038111
前に超巨大エクセルでDB作ろうとしてた「」か…
56 23/07/26(水)19:24:38 No.1083038248
>そもそも何でそこまでデータが肥大化してるの？ それだけの量のデータを扱う必要があるってだけだろ
57 23/07/26(水)19:25:20 No.1083038543
>Accessはストレージが遅い頃の仕様そのままだから操作するとファイルサイズゴリゴリ膨らむんだよな 大抵のDBって基本そう言う仕様じゃない？
58 23/07/26(水)19:26:32 No.1083039018
>>ローコード開発で小規模ならありなのか？ >まさにそれ用だよ >使ってるけど便利だよ うちの県の最大手求人情報誌がそれらしくて社内エンジニアの求人載せてたな 半年ぐらい載ってたかな
59 23/07/26(水)19:29:19 No.1083040089
accessに登録して出力したい形式で引っ張ってくるって想像は一般には難しい
60 23/07/26(水)19:31:04 No.1083040808
最近はあんまりない気がするけど一昔前はエクセルのデータ破損度々遭遇したので程度にもよるけどデータ管理としては俺は全く信用できない
61 23/07/26(水)19:31:36 No.1083041022
Accessで10GBって手動でシャーディングでもしたのかな…
62 23/07/26(水)19:32:52 No.1083041529
>最近はあんまりない気がするけど一昔前はエクセルのデータ破損度々遭遇したので程度にもよるけどデータ管理としては俺は全く信用できない そりゃ表計算ソフトにデータ管理させようとする方がおかしいし…
63 23/07/26(水)19:33:32 No.1083041797
ExcelくんとACCESSさんの限界を試そうとしている
64 23/07/26(水)19:33:35 No.1083041822
>うちの県の最大手求人情報誌がそれらしくて社内エンジニアの求人載せてたな そういうのは超得意だからな ファイルメーカーから自動組版して印刷してたりもするのかも
65 23/07/26(水)19:37:29 No.1083043431
ACCESSってパソコンに入ってる？
66 23/07/26(水)19:40:25 No.1083044603
違う違う！ プロフェッショナル買うほどじゃないんだよ！ Accessランタイム！Accessランタイムでいいから！
67 23/07/26(水)19:43:17 No.1083045842
何々何の何！？！？！？
68 23/07/26(水)19:43:19 No.1083045856
DB使って正面から向き合わせて……
69 23/07/26(水)19:43:30 No.1083045934
コードからxlsxやaccdb使うだけならOffice本体いらないんだよね、すごくない？
70 23/07/26(水)19:44:21 No.1083046307
神様データを神殺す
71 23/07/26(水)19:45:03 No.1083046586
あの「」生きてたのか… ニュースになるのはいつかと思っていたが無事やり遂げてしまったか 次の犠牲者は「」の後輩かな
72 23/07/26(水)19:48:22 No.1083048019
えっ結局IT部門もいないのにこれで行こうってなったの？ どう見てもホラー映画の導入でしかないけど大丈夫か？
73 23/07/26(水)19:49:13 No.1083048383
>あの「」生きてたのか… >ニュースになるのはいつかと思っていたが無事やり遂げてしまったか >次の犠牲者は「」の後輩かな これダークソウルで見た
74 23/07/26(水)19:49:18 No.1083048418
emeditorなら16TBまで開けてcsv編集できるぞ 試したことないけど
75 23/07/26(水)19:51:16 No.1083049220
1都市分の個人情報がこのように取り扱われていると思うと恐怖でしかない
76 23/07/26(水)19:53:14 No.1083050129
SQLiteはいいぞ