A 文件 500MB,B 文件 500MB,如何将两文件读进内存,比较出其中的文件内容差,再写进 C 文件云？

demon 的个人博客 / 0 / 12 / 创建于 6年前

A文件500MB,B文件500MB,如何将两文件读进内存,比较出其中的文件内容差,再写进C文件云

大文件读取文件内容对比

本作品采用《CC 协议》，转载必须注明作者和本文链接

demon

课程读者 34 声望

暂无个人描述~

0 人点赞

从零开发一个电商项目，功能包括电商后台、商品 & SKU 管理、购物车、订单管理、支付宝支付、微信支付、订单退款流程、优惠券等

我们将带你从零开发一个项目并部署到线上，本课程教授 Web 开发中专业、实用的技能，如 Git 工作流、Laravel Mix 前端工作流等。

讨论数量: 12

小李世界

Laravel 8.x 译者 2.0k 声望 / Doge 先锋 @ dogeow.com

路过，Dropbox 支持 :see_no_evil:。你弄这么高科技的，貌似会的寥寥无几啊。

6年前评论

demon （楼主）

dropbox好像百度不到这玩意

小黄

课程读者 8 声望 / PHP低级开发工程师 @ 自由职业

mark一下

6年前评论

Epona

站长 1.8k 声望 / 石头剪刀部长 @ Poper

每行读取？或者每10行读取？ 1G的内存云主机的话要爆掉的😂

6年前评论

iMactool

课程读者 46 声望 / php @ ph

https://www.zhihu.com/question/21827402 刚好看到这个。
海量数据处理算法—Bloom Filter

6年前评论

mengdodo

Laravel 9.x 译者 109 声望 / Backend Manager @ 萌嘟嘟 https://www.mengdodo.com/

pandas迭代方式读取文件，注意限定列的数据类型，这样可以减少不少内存，用矩阵来对比试试，两个500M文件，我感觉还好，我以前干过2个G的

6年前评论

demon （楼主）

大佬能不能写下例子给点代码看下

qufo

Laravel 8.x 译者 304 声望

diff a b > c
为什么不问问已经造好的轮子呢？

6年前评论

demon （楼主）

这东西同样卡的 comm A B

qufo （作者）

@demon 能不能考虑下 split 到一小块一小块再 diff ?

ruke

118 声望 / php2go @ xxxx

像极了好未来的面试题

6年前评论

lovecn

188 声望

参考下这个 https://github.com/vra/dompare

6年前评论

讨论应以学习和精进为目的。请勿发布不友善或者负能量的内容，与人为善，比聪明更重要！

帮助

未填写

私信