Python [pandas] read_csvでUnicodeDecodeErrorが出る場合の解決方法
ヒノマルク今まで動いていたコードが動かなくなったことありますよね。read_csvでウェブ上のテキストファイルを読み込んでいたのですが、なぜかUnicodeDecodeErrorというエラーが出るようになってしまいました。今回解決できたので...
2022-01
Python Python PythonでSQLAlchemyを使ってpostgreSQLを操作してみる
ヒノマルクpythonからデータベースに接続するライブラリでSQLAlchemyというものがあります色々な記事で使い方が載っていますが、よく理解せずに利用していました。今回公式ページをきちんと読んでまとめてみました。SQLAlchemyに関...
Python hiveのデータをpandasに読み込んでみる
ヒノマルク今回はhiveのデータをpandasのデータフレームに読み込めるようにします。hiveを使うということはかなり大きなデータを扱っていると思います。データクリーニングやサマリデータの作成はなるべくhive側でさせてからpythonに...
Python PostgreSQLのデータをpandasに読み込んでみる
ヒノマルク今日はpostgreSQLのデータをpandasのデータフレームに読み込めるようにします。データベースからCSVに吐き出したものをpandasに読み込んでいる方はぜひ直接DBから読み込んでみてください。psycopg2をインポート...
Python Oracleのデータをpandasに読み込んでみる
ヒノマルクここまで環境構築系の記事をメインにアップしていました。今日からpandasの使い方に戻ろうと思います。> 2022/11/30追記cx_Oracleは名称が変わりpython-oracledbというライブラリになったようです。これ...
Python [Mac] Python3.7の仮想環境を作成する
ヒノマルクどうもヒノマルクです。今日は異なるバージョンのPythonをインストールし、異なるバージョンのPythonの仮想環境を作成したいと思います。automlの調査をしていた時、色々なライブラリを比較していたのですが、mlboxというa...
Python Pythonからgoogle-cloud-bigqueryでBigQueryにアクセスしてみる
ヒノマルクどうもヒノマルクです。今日はBigQueryにPythonから接続できるようにしようと思います。google-cloud-bigqueryというライブラリを使用します。google-cloud-bigqueryに対応しているPyt...
Python Pythonからimpylaでhiveを操作してみる
ヒノマルクどうもヒノマルクです。今日はhiveへのアクセスになります。最近だとBigQueryに移行している企業もいるかと思いますが、まだまだ現役でゾウさんとハチさんに頑張ってもらっている企業も多いのではないでしょうか？ヒノマルクは業務上、...
Python [Mac] Pythonからcx_OracleでOracleデータベースを操作してみる
ヒノマルクどうもヒノマルクです。今日から吹き出しアイコンを使ってみました。この画像で作ると中々シュールです (笑) 今日はPythonからOracleデータベースにアクセスしてみようと思います。よろしくお願いします。> 2022/11/30...
Python PythonからPsycopg2を使ってPostgreSQLのデータを操作してみる
明けましておめでとうございます。2022年の最初の投稿になります、ヒノマルクです。前回投稿した日から暫く経ってしまいました。PythonからPostgreSQLにアクセスできるようにしようと思います。Psycopgについて今回はPsycop...