2021-01-01から1年間の記事一覧

pandas.rolling.apply で行を渡す

import pandas as pd def f(v): print(v) return 1 rol = pd.DataFrame([[1,2],[3,4]]).rolling(2, method="table") rol.apply(f, raw=True, engine="numba", engine_kwargs={'nopython': False, 'nogil': False, 'parallel': False} )

解決!プロバイダを変えたらGoogle(等)以外のサイトにつながらなくなった件

世間のポイ活ブームに乗り遅れないために「楽天ひかり」に乗り換えました。 楽天推奨の新しいWifiルーター(バッファロー製)も購入し、当日妻は有給休暇を取り、ネコに餌もやり、万全の体制で迎えました。 しかし(予想通り)トラブルが発生しました。 現象…

dockerでpip installした構成を永続化したい

dockerのコンテナの中で、pythonまたはjupyter notebookを動かしている場合、コンテナの中で pip install して作った環境を使いまわしたいことがあります。 コンテナは一時的なものですから、コンテナが削除されると pip installして作った環境は消えます。 …

dockerの中からコンテナIDを取得する方法

簡単です。docker内のシェルから、/proc/self/cgroup を確認しましょう。 $ more /proc/self/cgroup

Physical Review の投稿画面でのLatexエラーの回避の方法

Physical Review に投稿する際、テキトーにtexファイルをアップロードすると、エラーが出て困ってしまう。 例えば、こんなエラーメッセージ Classification description value must be selected for each file and cannot be left unknown. これは、ファイル…

Guild AI でタスクを並列に走らせて高速化

コア数が多いマシンを使っているときは、実験パラメータが異なるタスクをパラレルに実行したくなります。 昨日紹介したGuild AIは、シリアルな実行しかサポートしてませんが、キューを複数立ち上げるという回避策で、パラレルな実行ができます。 ```キューを…

Guild AI で機械学習の実験管理を整然と行いたい

機械学習の実験は、たくさんの設定値やハイパーパラメータをゴニョゴニョしていくので、結果の管理が大変です。 いろいろ調べて良さそうだったので、GuildAI使ってみました。 良さそうだった理由 - 簡単そう - Jupyter Notebookと相性が良さそう - 実験の再…