自分のキャリアをあれこれ考えながら、Pythonで様々なデータを分析していくブログです

db-access

Python

pythonからOracleを操作する「cx_Oracle」が「python-oracledb」になったのでさっそく使ってみた

今までPythonからOracleデータベースにアクセスするライブラリとして、「cx_Oracle」を利用していました。しかし、cx_Oracleは「python-oracledb」という名称になったようです。cx_Oracle has a...
Python

PythonでSQLAlchemyを使ってpostgreSQLを操作してみる

ヒノマルクpythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。SQLAlchemyに関...
Python

hiveのデータをpandasに読み込んでみる

ヒノマルク今回はhiveのデータをpandasのデータフレームに読み込めるようにします。hiveを使うということはかなり大きなデータを扱っていると思います。データクリーニングやサマリデータの作成はなるべくhive側でさせてからpythonに...
Python

PostgreSQLのデータをpandasに読み込んでみる

ヒノマルク今日はpostgreSQLのデータをpandasのデータフレームに読み込めるようにします。データベースからCSVに吐き出したものをpandasに読み込んでいる方はぜひ直接DBから読み込んでみてください。psycopg2をインポート...
Python

Oracleのデータをpandasに読み込んでみる

ヒノマルクここまで環境構築系の記事をメインにアップしていました。今日からpandasの使い方に戻ろうと思います。> 2022/11/30追記cx_Oracleは名称が変わりpython-oracledbというライブラリになったようです。これ...
Python

Pythonからimpylaでhiveを操作してみる

ヒノマルクどうもヒノマルクです。今日はhiveへのアクセスになります。最近だとBigQueryに移行している企業もいるかと思いますが、まだまだ現役でゾウさんとハチさんに頑張ってもらっている企業も多いのではないでしょうか?ヒノマルクは業務上、...
Python

[Mac] Pythonからcx_OracleでOracleデータベースを操作してみる

ヒノマルクどうもヒノマルクです。今日から吹き出しアイコンを使ってみました。この画像で作ると中々シュールです (笑) 今日はPythonからOracleデータベースにアクセスしてみようと思います。よろしくお願いします。> 2022/11/30...
Python

PythonからPsycopg2を使ってPostgreSQLのデータを操作してみる

明けましておめでとうございます。2022年の最初の投稿になります、ヒノマルクです。前回投稿した日から暫く経ってしまいました。PythonからPostgreSQLにアクセスできるようにしようと思います。Psycopgについて今回はPsycop...