pandas - Python 数据分析库 - pandas 数据分析库

处理 CSV 文件有多快

来源: datapythonista blog - pandas | 作者: Marc Garcia | 发布于: 2024 年 2 月 22 日

简介逗号分隔值 (CSV) 是一种极其流行的数据存储格式，因为它简单易写，易于存储表格数据。与 parquet 等更高效的二进制格式不同，CSV 文件可以直接由人读取，例如： name,age Maryam,23 梦瑶 …

pandas 2.2 有哪些新变化

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2024 年 1 月 25 日

关于新版本最有趣的事情 pandas 2.2 于 2024 年 1 月 22 日发布。让我们来看看这个版本引入了哪些东西，以及它将如何帮助我们改进 pandas 工作负载。它包含了一系列改进，将提升用户…

深入探讨 pandas 写入时复制模式 - 第三部分

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 9 月 28 日

解释写入时复制的迁移路径简介引入写入时复制 (CoW) 是一项破坏性变更，将对现有的 pandas 代码产生一定影响。我们将研究如何调整代码以避免在默认启用 CoW 时出错。这目前计划在 pandas …

pandas 2.1 有哪些新变化

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 9 月 6 日

关于新版本最有趣的事情 pandas 2.1 于 2023 年 8 月 30 日发布。让我们来看看这个版本引入了哪些东西，以及它将如何帮助我们改进 pandas 工作负载。它包含了一系列改进，以及一套新的…

深入探讨 pandas 写入时复制模式 - 第二部分

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 8 月 16 日

解释写入时复制如何优化性能简介第一篇文章解释了写入时复制机制的工作原理。它突出了一些在工作流程中引入副本的区域。本文将重点介绍确保这不会减慢平均工作流程速度的优化。我们利用了 pandas 内部使用的技术…

深入探讨 pandas 写入时复制模式 - 第一部分

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 8 月 8 日

解释写入时复制的内部工作原理简介 pandas 2.0 于 4 月初发布，为新的写入时复制 (CoW) 模式带来了许多改进。此功能预计在 pandas 3.0 中成为默认设置，目前计划于 2024 年 4 月发布。目前没有计划…

pandas 内部机制解析

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 7 月 20 日

解释 pandas 数据模型及其优势简介 pandas 允许你在不同类型的数组之间选择来表示 DataFrame 的数据。从历史上看，大多数 DataFrame 都由 NumPy 数组支持。pandas 2.0 引入了使用 PyArrow 数组作为存储格式的选项。存在…

Dask 性能基准测试实战：修复 pandas 瓶颈

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 6 月 27 日

在发布前一天得知存在严重的性能退化令人沮丧，但快速发现并解决它感觉棒极了！我们在 JupyterCon 2023 的展位上做准备时收到了一条通知：我们团队的一位工程师发现 Dask 中存在严重的性能退化。伴随…

从 pandas 角度比较 pandas 与 Polars 的基准测试

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 6 月 14 日

或者：如何编写高效的 pandas 代码很重要简介我经常看到显示 Polars 比 pandas 快多少的基准测试。Polars 比 pandas 快并不太令人惊讶，因为它支持多线程而 pandas 大多是单核。然而，巨大的差异让我感到惊讶。那是…

利用 PyArrow 改进 pandas 和 Dask 工作流程

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 6 月 4 日

立即充分利用 PyArrow 对 pandas 和 Dask 的支持简介本文探讨了我们现在可以在哪里使用 PyArrow 来改进 pandas 和 Dask 工作流程。pandas 2.0 为 pandas 和 Dask 添加了对 PyArrow dtypes 的通用支持。这解决了一系列…

欢迎 pandas 2.0

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 3 月 22 日

API 如何变化以及如何利用新功能简介经过 3 年的开发，pandas 2.0 的第二个候选版本于 3 月 16 日发布。pandas 2.0 中有许多新功能，包括改进的扩展数组支持、对 DataFrames 的 pyarrow 支持以及…

pandas 2.0 与 Arrow 革命（第一部分）

来源: datapythonista blog - pandas | 作者: Marc Garcia | 发布于: 2023 年 2 月 17 日

简介在撰写本文时，我们正在发布 pandas 2.0。该项目拥有大量用户，并被个人和企业用户广泛用于生产环境。庞大的用户基础迫使我们保持保守，并使我们…

pandas 中高效数据选择指南

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2023 年 2 月 9 日

提高从 pandas 对象选择数据的性能简介存在不同的方法从 pandas 对象中选择数据子集。根据具体操作，结果将是指向原始数据的视图或原始数据的副本。这与…

解决 pandas 索引操作中的不一致问题

来源: Patrick Hoefler - pandas | 作者: Patrick Hoefler | 发布于: 2022 年 12 月 22 日

摆脱烦人的 SettingWithCopyWarning 消息简介 pandas 中的索引操作非常灵活，因此有许多情况下的行为差异很大，从而产生意外结果。此外，很难预测何时会触发 SettingWithCopyWarning 以及它的确切含义。我将展示一些…

处理数亿行数据的 pandas

来源: datapythonista blog - pandas | 作者: Marc Garcia | 发布于: 2022 年 9 月 21 日

问题我们想找出美国平均（平均）国内航班延误时间最长的前 5 个机场。数据我们将使用哈佛数据库中的 Data Expo 2009：准时航班数据数据集。数据包含航班到达和出发详情…

关于副本和视图：摆脱 SettingWithCopyWarning

来源: Joris Van den Bossche - pandas | 作者: Joris Van den Bossche | 发布于: 2022 年 4 月 7 日

pandas 当前关于索引是返回视图还是副本的行为令人困惑，即使是经验丰富的用户也是如此。但情况并非必须如此。通过简化副本/视图规则，我们可以让 pandas 的这一方面更容易理解，同时提高 pandas 的内存效率。并摆脱 SettingWithCopyWarning。

关于 NumFOCUS 资助改进 pandas 基准测试和多样性的报告

来源: pandas blog | 作者: pandas 团队 | 发布于: 2022 年 4 月 1 日

作者：Lucy Jiménez 和 Dorothy Kabarozi B. 我们想分享我们在改进 ASV 基准测试框架和由 NumFOCUS 赞助的 pandas 项目多样性工作中的经验。这项资助侧重于

pandas 1.0

来源: pandas blog | 作者: pandas 团队 | 发布于: 2020 年 1 月 29 日

今天，pandas 发布了 1.0.0 版本。在许多方面，这只是一个普通的版本，其中包含大量新功能、性能改进和错误修复，这些都在文档中进行了说明。

朝着 pandas 中一致的缺失值处理迈进

来源: Joris Van den Bossche - pandas | 作者: Joris Van den Bossche | 发布于: 2019 年 11 月 30 日

这篇博文提供了关于我提出的关于 pandas 中更好缺失值支持的提案的一些背景和动机，以及已合并到开发版本（将在 pandas 1.0 中发布）中的更改：引入了一个新的 pd.NA 标量，它可以在所有数据类型中一致使用。

关于 pandas 文档的更新

来源: datapythonista blog - pandas | 作者: Marc Garcia | 发布于: 2019 年 11 月 28 日

一些背景这篇文章主要是一篇技术文章，介绍 pandas 文档的状态。但让我提供一些关于其来源的背景。这是一种个人观点，但我认为 pandas 是开源如何转变…

新的 pandas 工作流程

来源: datapythonista blog - pandas | 作者: Marc Garcia | 发布于: 2019 年 11 月 17 日

一些令人兴奋的消息。经过几年的组织冲刺和维护开源项目后，我一直在思考如何为像 pandas 这样活动量高的项目提供更高效的工作流程。一个夸张的例子是我想在 pandas 中创建 1,600 个议题。每个议题对应…

2019 年 NumFOCUS 奖项和新贡献者表彰

来源: pandas Archives - NumFOCUS | 作者: Admin | 发布于: 2019 年 11 月 15 日

博文“2019 年 NumFOCUS 奖项和新贡献者表彰”最初发布于 NumFOCUS。

陈·扎克伯格倡议资助 NumFOCUS 项目维护

来源: pandas Archives - NumFOCUS | 作者: Admin | 发布于: 2019 年 11 月 14 日

博文“陈·扎克伯格倡议资助 NumFOCUS 项目维护”最初发布于 NumFOCUS。

2019 年 Pandas Hackathon 亮点

来源: pandas Archives - NumFOCUS | 作者: nf-admin | 发布于: 2019 年 9 月 13 日

博文“2019 年 Pandas Hackathon 亮点”最初发布于 NumFOCUS。

EuroSciPy 数据框峰会报告

来源: datapythonista blog - pandas | 作者: Marc Garcia | 发布于: 2019 年 9 月 10 日

上周，EuroSciPy 2019 在西班牙毕尔巴鄂举行。今年，我们推出了维护者专题，一个专门供维护者讨论的房间。这个想法类似于其他会议的“志同道合者 (Birds of a Feather)”或非会议 (unconference) 议程。但专注于开源项目的维护者和贡献者。我们安排了…

2019 年 pandas 用户调查

来源: pandas blog | 作者: pandas 团队 | 发布于: 2019 年 8 月 22 日

pandas 最近进行了一项用户调查，以帮助指导未来的开发。感谢所有参与者！本文介绍了概要结果。分析和原始数据可在以下位置找到：

GeoPandas 现在使用 pandas ExtensionArray 接口

来源: Joris Van den Bossche - pandas | 作者: Joris Van den Bossche | 发布于: 2019 年 8 月 13 日

简短总结：即将发布的 GeoPandas 0.6.0 版本将包含基于 pandas ExtensionArray 接口的重构。虽然这一更改应能保持用户界面基本稳定，但它实现了与 pandas 更稳固的集成，并为未来的更多更改铺平了道路。鉴于底层代码的侵入性更改，非常欢迎进行测试！

pandas：两种文化

来源: datapythonista blog - pandas | 作者: Marc | 发布于: 2019 年 7 月 22 日

Leo Breiman 是加州大学伯克利分校的一位杰出统计学家，以其对 CART（决策树）和集成技术（主要是自助聚合）的重大贡献而闻名。结合这两者，他能够定义即使在今天（发表 18 年后）仍然是最流行的机器学习模型之一，…

pandas 扩展数组

来源: pandas blog | 作者: pandas 团队 | 发布于: 2019 年 1 月 4 日

可扩展性是 pandas 在过去几个版本开发中的一个主要主题。本文介绍了 pandas 扩展数组接口：其背后的动机以及它可能如何影响你。

首届 NumFOCUS 奖项和新贡献者表彰

来源: pandas Archives - NumFOCUS | 作者: Admin | 发布于: 2018 年 9 月 27 日

博文“首届 NumFOCUS 奖项和新贡献者表彰”最初发布于 NumFOCUS。

全球 Pandas 文档冲刺：深入探究

来源: pandas Archives - NumFOCUS | 作者: Admin | 发布于: 2018 年 3 月 27 日

博文“全球 Pandas 文档冲刺：深入探究”最初发布于 NumFOCUS。

#pandasSprint 报告

来源: datapythonista blog - pandas | 作者: Marc | 发布于: 2018 年 3 月 22 日

去年 3 月 10 日举行了 #pandasSprint。据我所知，这是一个前所未有的活动，约有 500 人共同致力于改进流行的 pandas 库的文档。作为参与组织活动的一员，我想写…

3 月 10 日文档冲刺期间 pandas github 仓库上的活动

来源: Joris Van den Bossche - pandas | 作者: Joris Van den Bossche | 发布于: 2018 年 3 月 13 日

上周末，Marc Garcia 和许多其他人组织了一次全球性的 pandas 文档冲刺 (https://python-sprints.github.io/pandas/)。目标是改进 pandas API 文档，我不得不说，这是一次巨大的成功！

pandas 用户为何应对 Apache Arrow 感到兴奋

来源: Wes McKinney - pandas | 作者: Wes McKinney | 发布于: 2016 年 2 月 22 日

我非常高兴能参与到新的开源 Apache Arrow 社区倡议中。对于 Python（以及 R！），它将有助于实现：大幅提升数据访问速度，更接近原生性能，用于 Apache Spark 等大数据系统的 Python 扩展，用于嵌套/类 JSON 数据的新的内存分析功能。有很多地方可以了解更多关于 Arrow 的信息，但这篇博文是关于它如何与 pandas 用户特别相关。例如，请参阅：“Python 和 Hadoop：现状报告”、“介绍 Apache Arrow：一种快速、可互操作的内存列式数据结构标准”、“介绍 Apache Arrow：列式内存分析”。

NumFOCUS 宣布新的财政赞助项目： pandas

来源: pandas Archives - NumFOCUS | 作者: nf-admin | 发布于: 2015 年 10 月 9 日

作者：Gina Helfrich NumFOCUS 很高兴地宣布 pandas 成为我们最新的财政赞助项目。pandas 是一个开源的 BSD 许可库，为 Python 编程语言提供了高性能、易于使用的数据结构和数据分析工具。pandas 使用户能够在 Python 中执行他们完整的数据分析工作流程，而无需切换到更具领域特定性的语言，例如 […] 博文“NumFOCUS 宣布新的财政赞助项目： pandas”最初发布于 NumFOCUS。