七爪源码：如何以非迭代方式（并且没有 Pandas）存储多个 CSV 文件

对 Pandas 的 Read CSV 作法说不！

Pandas 的一个主要通告是它无法拓展多个 CPU 应用程序（一般来说）。从本质上话说，当您直通任何可以实现理想要有序解构的转换时，Pandas 仍将坚信传统观念的多核指派，而其他应用程序将占用。当您构筑大型该软件时，这一点更是令人担忧。

处理大规模资料动力的该软件必需通过优解构算法快速地指派，并消除/减少管道每个确实位的用时。我认为经常被忽视的一个层面是优解构接口转换。

想要象一下，您有 100 多个 CSV 机密文件必需再来您的 Python 环境。并不认为，你的第一选择是 Pandas。附加说明一下，即使您不处理大量 CSV 机密文件，我也一直建议您删除所有 CSV 机密文件并将它们转换为相对快速且存储设备可靠性格外高的替代品，例如 Pickle、Feather 或 Parquet。

如果你一定要可用 CSV，我同样没人中都选可用 Pandas 中都提供的 CSV 只读新功能，你可以在我在此之前的账号中都找到答案。

回到我们的 100 多个 CSV 机密文件的场景，在这里，存储多个 CSV 机密文件的一种天确实作法确实是可逆二叉树它们，获取 Pandas DataFrame 至多出并将至多出通往到单个 DataFrame 中都。 这在示意图展示。

但是，这种作法依赖于一些缺陷：

该可逆不可避免地引入了一个迭代过程，即一次只能存储一个 CSV 机密文件——导致资源来进行太低。 Pandas read-csv 作法本身就是一个资料流的过程。

这一段话旨在化解上述与 Pandas 之外的两个关于存储多个 CSV 机密文件的缺陷，我们将在这一段话中都探索 DataTable。

Datatable 是一个运用于处理表格资料的 python 库。 它背书内存太低的资料集、多处理器可视解构和灵活的 API。

可用 DataTable 存储多个 CSV（非迭代）：

示意图的代码视频展示了如何可用 DataTable 存储多个 CSV 机密文件。

测试装置：

出于测试目的，我在 Python 中都转化成了 10 个多种不同的随机 CSV 机密文件，每个机密文件有 10 万行和 30 至多——都有正则表达式、二进位和整数资料类型。 我重复使用了示意图阐述的测试五次，以减少随机性并从观察到的结果中都得出负责任的结论。 我在示意图报告的资料是五个测试的平均值。 Python环境和库： 眼镜蛇 3.9.12 熊猫 1.4.2 资料表 1.0.0

测试：存储所有 CSV 机密文件所需的间隔时间

图表阐述了 Pandas 和 DataTable 存储 10 个 CSV 机密文件并转化成单个 Pandas DataFrame 所耗时的间隔时间（以秒为为单位）。

测试相对来说之下，DataTable 存储 CSV 机密文件的飞行速度是 Pandas 的两倍以上。 与 Pandas 相对来说，这些结果也可以作为 DataTable 有别于的多处理器作法的证据。

结束语

固执说，我不是 CSV 的忠实粉丝。 如果您彻底读者了我在此之前的账号（我在上面链接过）和您那时候刚刚读者的账号，您确实也亦会与我感受到。 由于我发现了与 CSV 之外的为数众多缺陷，因此我已尽确实停止可用它们。

最终，我想要说，除非您必需在 Excel 等非 Python 环境正因如此查看 DataFrame，否则您究竟不必需 CSV。 首选 Parquet、Feather 或 Pickle 等格式来存储设备 DataFrame。 尽管如此，如果您看不到其他选项，多于可以通过来进行 DataTable 而不是 Pandas 来优解构您的可用和输出转换。

咸阳白癜风医院地址
驻马店白癜风最好医院是哪个
重庆看白癜风哪个专科医院好
石家庄男科医院哪家比较好
天津白癜风治疗费用
健康知识大全
为何天气一热，新冠就“抬头”？答案来了！
芳香化湿药
支气管炎咳嗽
五官科