Python PythonでSQLAlchemyを使ってpostgreSQLを操作してみる
ヒノマルクpythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。SQLAlchemyに関...
Pandas
Python Python hiveのデータをpandasに読み込んでみる
ヒノマルク今回はhiveのデータをpandasのデータフレームに読み込めるようにします。hiveを使うということはかなり大きなデータを扱っていると思います。データクリーニングやサマリデータの作成はなるべくhive側でさせてからpythonに...
Python PostgreSQLのデータをpandasに読み込んでみる
ヒノマルク今日はpostgreSQLのデータをpandasのデータフレームに読み込めるようにします。データベースからCSVに吐き出したものをpandasに読み込んでいる方はぜひ直接DBから読み込んでみてください。psycopg2をインポート...
Python Oracleのデータをpandasに読み込んでみる
ヒノマルクここまで環境構築系の記事をメインにアップしていました。今日からpandasの使い方に戻ろうと思います。> 2022/11/30追記cx_Oracleは名称が変わりpython-oracledbというライブラリになったようです。これ...
Python pandasで様々なデータをデータフレームに読み込んでみよう(TSV編)
どうもヒノマルクです。今回はCSVファイルではなくTSVとスペースで区切られたファイルを読み込んでみます。import pandas as pdpd.__version__Out'1.3.4'TSVを読み込む# API reference:...
Python pandasで様々なデータをデータフレームに読み込んでみよう(CSV編)
どうもヒノマルクです。今日はCSVをpandasで読み込みたいと思います。データは下記のようなものを準備しました。CSVファイルドラえもん,2112-9-3野比 のび太,1964-8-7源 静香,1964-5-2骨川 スネ夫,1964-3-...
Python Pythonでの分析用ライブラリであるpandasとは何か
どうもhinomarucです。記念すべき新ブログでの分析系記事の1番目です。仕事をしていてもしばらく使わなかったら忘れがちなpandasの使い方を記事化しようとかなと思います。pandasとは何かpandasとはPythonのライブラリです...