とあるエンジニアの作業ブログ

「 Data Analytics 」 一覧

Pythonほぼ初心者が作る画像分類評価 ~多ラベル分類編~

Python初心者に毛が生えた程度の筆者が画像分類の評価をした時のお話。 ただのPython文法メモ的な。 目次 分類問題設定 動作環境 作った物 自分的文法メモ 分類問題設定 1000枚ぐらいある画 …

「詳解 ディープラーニング 第2版」を読んで ~単純パーセプトロンの実装~

目次 ニューラルネットワークとディープラーニング 単純パーセプトロンの実装 ニューラルネットワークとディープラーニング ニューラルネットワーク ··· 脳がニューロンとそのネットーワークで情報処理する …

Cloud DataprepでExcelをBigQueryに定期取込みしようとしたけどできなかったはなし

GCPのCloud Dataprep by TrifactaでExcelデータをBQに取り込む試行錯誤をあれやこれやした時のメモ。 結局やりたかったことは実現できなかった。。。 目次 実現したいこと: …

Tableauで損益計算書を作る

Tableauで損益計算書(正確には管理会計、すなわち売上と費用の予実分析資料)を作成することになったのでその結果のまとめ。 目次 実現したいこと いきなり残念な結論 一応Tableauでやるとどうな …

様々な言語モデルを箇条書きで解説

本やWebで調べた自然言語処理における言語モデルやアルゴリズムに関する知識を箇条書きまとめ。 文章の確からしさ 5-gram言語モデル(n-gram言語モデル) n-gram言語モデルは単語の出現確率 …

『統計学が最強の学問である[実績編]』を読んで自分用メモ

前作に続いて、西内啓さんの「統計学が最強の学問である[実績編]」を読んで自分用のメモ。 目次 洞察の統計学とは・・・? データの分布を把握するための指標値 平均値 正規分布(ガウス分布) 四分位点 分 …

中心極点定理ぃぃぃ????

【備忘】中心極限定理に関する自分なりの解釈

中心極限定理を自分なりに腹落ちするためのメモ。 要するにの中心極限定理の理解は、 元データが正規分布に従ってなくても、そのデータをサンプル抽出していくつか足し合わせたものはたいてい正規分布に従う とい …

『統計学が最強の学問である』を読んで自分用メモ

西内啓さんの「統計学が最強の学問である」を読んで自分用のメモ。 自分用なのでかなり偏ってます。 目次 データをビジネスで使うための「3つの問い」 サンプリング収集したデータが十分であるかどうかを検証す …

【入門】専門じゃない人のためのデータ分析でよく使う用語まとめ

データ分析とか統計の本を読んでいるとよくでてくる用語で、数学とか統計とかそういう畑を出てない自分にとって馴染みの薄いものを備忘的にまとめていくメモ。 用語 概要 因子 因果関係の原因となる項目。 e. …

【初心者向け】Pythonで初めてのスクレイピング

2019/01/25   -Python
 ,

Python学習中のためスクレイピングをやってみる。 すでに山ほど参考サイトがあるが、以下がソースも短くライトそうなので拝借し、本家はBeautifulSoupを使っているところをpyqueryに改造 …