自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

how-to-pandas

Python

pandasのデータを上から順に1行ずつ処理をする方法

pandasで簡単な条件でフラグを作る方法などは下記の記事で紹介しました。今回はより複雑な条件で、データを上から順に処理をすることで汎用的に使えそうな方法を試してみました。この方法を使うことによって例えば、日売データから「商品ごとに累積金額...
Python

pandasに新しいカラムを追加する5つの方法

ヒノマルク今回はDataFrameに新しいカラムを追加する方法をまとめました。例えば全て1という値のカラムを追加したり、特定のルールにしたがって区分値を付与し直す時などに新規カラムを追加することになります。ボストンの住宅価格データセットを読...
Python

[pandas] その3 evalとqueryでのデータ抽出方法をまとめてみた

ヒノマルク前回はセルの値を条件にして抽出する方法をまとめました。今回はpandasのevalメソッドとqueryメソッドでの抽出方法をまとめてみたいと思います。evalメソッドについてevalメソッドはdf.eval("抽出条件")のように...
Python

[pandas] その2 条件式でのデータ抽出方法をまとめてみた

ヒノマルク前回は行の番号や列のラベルでデータを抽出していました。今回はセルの値を条件にして抽出する方法を調べて見ます。下記記事の続きになります。Boolean Indexing (ブール索引) によるデータ抽出ある行や列を特定の値で絞り込み...
Python

[pandas] その1 行と列の選択でのデータ抽出の方法をまとめてみた

ヒノマルクpandasの使い方をまとめていきます。まずは行と列のデータの抽出方法です。中々忘れがちですよね。pandasのバージョンによって非推奨になる機能もあります。事前に下記記事ご覧になっておくとより理解が深まると思います。条件式での特...
Python

[pandas] read_csvでUnicodeDecodeErrorが出る場合の解決方法

ヒノマルク今まで動いていたコードが動かなくなったことありますよね。read_csvでウェブ上のテキストファイルを読み込んでいたのですが、なぜかUnicodeDecodeErrorというエラーが出るようになってしまいました。今回解決できたので...
Python

pandasで様々なデータをデータフレームに読み込んでみよう(TSV編)

どうもヒノマルクです。今回はCSVファイルではなくTSVとスペースで区切られたファイルを読み込んでみます。import pandas as pdpd.__version__Out'1.3.4'TSVを読み込む# API reference:...
Python

pandasで様々なデータをデータフレームに読み込んでみよう(CSV編)

どうもヒノマルクです。今日はCSVをpandasで読み込みたいと思います。データは下記のようなものを準備しました。CSVファイルドラえもん,2112-9-3野比 のび太,1964-8-7源 静香,1964-5-2骨川 スネ夫,1964-3-...
Python

Pythonでの分析用ライブラリであるpandasとは何か

どうもhinomarucです。記念すべき新ブログでの分析系記事の1番目です。仕事をしていてもしばらく使わなかったら忘れがちなpandasの使い方を記事化しようとかなと思います。pandasとは何かpandasとはPythonのライブラリです...