Data Analytics データマイニングのフレームワークであるCRISP-DMとは
ヒノマルクデータマイニングを教わったときにCRISP-DMが基本概念にありました。ClementineというIBMのSPSS Modelerの前身のデータイニングツールで分析キャリアを始めました。ClementineでCRISP-DMが導入...
hinomaruc
Data Analytics 
Python Macでkaggleのデータをターミナルからダウンロードできるようにする
ヒノマルクここまでの記事でデータの読み込みから加工方法まで基本的なところを学べてきたと思います。今回から様々なデータを使ってデータ分析をしていきたいなと思っています。分析データの取得元の一つにKaggleというコンペサイトがあります。API...
Python pandasに新しいカラムを追加する5つの方法
ヒノマルク今回はDataFrameに新しいカラムを追加する方法をまとめました。例えば全て1という値のカラムを追加したり、特定のルールにしたがって区分値を付与し直す時などに新規カラムを追加することになります。ボストンの住宅価格データセットを読...
Python [pandas] その3 evalとqueryでのデータ抽出方法をまとめてみた
ヒノマルク前回はセルの値を条件にして抽出する方法をまとめました。今回はpandasのevalメソッドとqueryメソッドでの抽出方法をまとめてみたいと思います。evalメソッドについてevalメソッドはdf.eval("抽出条件")のように...
Python [pandas] その2 条件式でのデータ抽出方法をまとめてみた
ヒノマルク前回は行の番号や列のラベルでデータを抽出していました。今回はセルの値を条件にして抽出する方法を調べて見ます。下記記事の続きになります。Boolean Indexing (ブール索引) によるデータ抽出ある行や列を特定の値で絞り込み...
Python [pandas] その1 行と列の選択でのデータ抽出の方法をまとめてみた
ヒノマルクpandasの使い方をまとめていきます。まずは行と列のデータの抽出方法です。中々忘れがちですよね。pandasのバージョンによって非推奨になる機能もあります。事前に下記記事ご覧になっておくとより理解が深まると思います。条件式での特...
Python [Python] Numpyとは何かまとめてみました。
ヒノマルクpandasの使い方を書く前に、numpyの知識も必要だと思い調べました。自分があまり理解できていなかったことを痛感しました。記事をまとめるのにそれなりに時間がかかりましたが、勉強になりました。Numpyとは何かNumpyとはNu...
Python [pandas] read_csvでUnicodeDecodeErrorが出る場合の解決方法
ヒノマルク今まで動いていたコードが動かなくなったことありますよね。read_csvでウェブ上のテキストファイルを読み込んでいたのですが、なぜかUnicodeDecodeErrorというエラーが出るようになってしまいました。今回解決できたので...
Python PythonでSQLAlchemyを使ってpostgreSQLを操作してみる
ヒノマルクpythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。SQLAlchemyに関...
Python hiveのデータをpandasに読み込んでみる
ヒノマルク今回はhiveのデータをpandasのデータフレームに読み込めるようにします。hiveを使うということはかなり大きなデータを扱っていると思います。データクリーニングやサマリデータの作成はなるべくhive側でさせてからpythonに...