Pythonでの「本格的データ分析」事例紹介

Pythonデータ分析での、すごい事例がまた出てきました。
ウチの受講生の方のものなのですが、正直、僕もびっくりです。

ガラパゴスタディーの小川です。
https://forum.pc5bai.com/company/#ogawaprofile

二週間ぶりのメールになってしまいました。

「Pythonデータ分析ゼミ」説明会の連絡を待たれているみなさんへのお知らせも、ちょっと滞っています。
申し訳ありません。

会計情報管理/請求書・領収書等の発行を行うシステムを作る必要があり、先月末にかけてこれにかなり時間を取られていました。
会計データということもあり、認証アプリでの二段階認証の仕組みなども入れました。
また、一部オープンソースのライブラリを使っているのですが、日本語化されていない部分への対応等あり...。

「Pythonデータ分析ゼミ」の説明会については、以下のフォームからご連絡いただいた方優先でご連絡をさしあげる予定です。
よろしくお願いいたします。
https://forum.pc5bai.com/toiawase/request/python-data-priority-invitation/

今日は『Pythonでの「本格的データ分析」事例紹介』ということで、「Pythonを学ぶことこんなことができるよ」というご案内をさしあげます。

自力で、Pythonで、「主成分分析」

というか、すごい事例がまた出てきました。
僕もびっくりです。

前回のメルマガで、「aliceさん」という受講生を紹介しました。

講座受講開始数ヶ月の段階では、インボイス番号をネット経由で国税庁に自動で問い合わせるPythonプログラムを作られていました。

ほかにも

• PDFファイルの解析や分割、結合をするPythonプログラム
• フォームから情報入力して自動処理するPythonプログラム
• 一定条件にマッチするファイルやフォルダをアーカイブ用のファイルサーバに移動させるPythonプログラム

等々。
1年のゼミ期間中にも、いろいろ書いては、ゼミ中に情報シェアしてくれました。

以下の記事では、彼女が「Linux」の技術に慣れていき、Pythonで作ったプログラムをWebサーバで公開できるようになるまでのaliceさんの体験談をご紹介しました。

Python上達の「簡単」かつ「確実な方法」とは
https://forum.pc5bai.com/article/how-to-learn-python-speedy/

さて、そのaliceさんなのですが。

「主成分分析」というデータ分類手法を使った分析をされたそうです。
その体験談を、以下の記事を公開されています。ぜひ読んでください。

Python日記vol.23🐍お茶の香りを主成分分析してみる（パロディ🍵）
https://note.com/alice37308108/n/n0f633a0f1c1b

「パロディ」とおっしゃっていますが、「実務データではない」というだけで、実際、分析手法の使い方はとても適切です。

サンプルデータはAIに作ってもらい、参考記事を見ながらこの分析をやりきられたそうです。

「主成分分析」は、「クラスター分析」と並ぶ、データ分類の代表的な手法です。
この2つをマスターできたならば、データ分析のうちでも「データの分類」にかかる仕事はたいてい解決できるようになります。

「主成分分析」とは、簡単に言うと、こういうものです:

• 商品やブランドの「特徴」ってたくさんあるので(次元が多い)
• 複数の特徴をまとめた「新しい特徴」を作って、その特徴の軸で商品やブランドについて説明しよう(「次元削減」と言います)

これをトコトンやると、今回のaliceさんの事例で出てきた「お茶の特徴は、『甘み』とか『渋み』とか『コク」とか挙げてくと、10個くらいあるよねー」という話が、「すっきり感」、「焙煎度高め」、「クセあり系」という新しい3軸で説明できるようになったりします。
(この新しい軸にどういう名前をつけるかというのも、センスが試されたり、それはそれでネーミングが楽しかったりします)

主成分分析をちゃんと理解していないのでパロディです。
やってみたら楽しかったのでnoteに書いてみました。

とご本人はおっしゃっていますが...。
こうして、「分かりきってないなりにでも、やりきれる」というのはとてもすばらしいです。

なお、補足ですが...。僕は統計＆マーケティングの先生でもあります。
以前は、「早稲田大学オープンカレッジ」でも統計＆マーケティング、エクセルデータ分析等の講座を持っていました。
こういうデータ分析系の話題も大好物です (^^*

上に紹介した記事でのaliceさんのお仕事は、そんな僕から見ても、「おお！」と叫びたくなるような鮮やかな分析です。
「本格的なデータ分析とは、こういうものです」と安心して紹介できるクオリティです。

なお、aliceさんが参加されたのは、「Pythonウェブプログラミングゼミ」という、「ウェブサーバを立てて、ウェブアプリを公開しましょう」というゼミでした。

Pythonの基礎はしっかりお伝えしました。
「Pythonウェブプログラミング」についてもしっかりお伝えしました。
Pythonの学習法についても、言うまでもなく、かなりしっかりお伝えしました。

ですが、「データ分析」については、僕は特別何もお伝えしていないのです。

それでも不案内な「データ分析」について、統計学的な知識がしっかりなくてもやりきれてしまうって、すごいことです。

「基礎力があれば、応用分野にも食いついていける」という、よい例だと思います。

こういう受講生が出てくると、僕はますますうれしいです。

やっぱり、「基礎教育」が大事です。

昨今はAIの普及もあって、「基礎」をしっかり学んだ人の伸びるペースがものすごいです。
以前とは比較になりません。

「いいなぁ」と思ったただ指をくわえて見ているだけの人との差がどんどんついていく時代です。
このメールを読まれているあなたをはじめとした多くの方を、一刻も早くこちらにお連れして、この学びと成長の楽しみを共有したいと思っています。

「Python上達の最短ルート」とは

Python上達の最短ルートをたどるには、以下の3つの条件が大切です。

1. 教材と指導者に恵まれること
2. 対話型の「直接指導」を受ける機会が多いこと
3. いっしょに学ぶ仲間がいること

1. 教材と指導者に恵まれること

どんな学習でも、「教材」と「指導者」というのはとても大切な要素です。

基礎から体系的に学べるような教材を用意していますし、体系的に学べる学習方法をアドバイスしています。
この点は、どんなときもブレません。

とりわけ、基礎教育が大切です。
基礎がしっかりしている人ほど、応用力が高いです。

2. 対話型の「直接指導」を受ける機会が多いこと

ゼミ内で「もくもく会」と呼んでいるオンラインサポートの場や掲示板等、直接対話をできる場が多くあることが大切です。
対話の機会、画面共有して操作を見せてもらいながらのアドバイスの機会など、直接指導の場があればあるほど受講生にとっては有利です。

また、参加者全員が効率的に学べるように、このような対話の内容は原則すべてゼミ生に共有しています。

3. いっしょに学ぶ仲間がいること

「ほかの方といっしょの場で、ワイワイやりながら」というのも、上達にはとても有利です。

同じレベルの方同士、失敗のグチを聞いてもらったり、講師もいたならば、「あ、今、○○さんが、『初心者がやりがちな典型的なミス』やっちゃいました。なので、サポートついでに参加者のみなさんにシェアしますね」と、講師から情報共有があったり。

やっぱり、こういう場があると挫折しにくいですね。

「ひとりでやりきる」というのは、相当の根性と意志の固さと、元々のセンスのようなものが必要です。
それは、言ってみれば、ひとり乗りの船で、海図もなしで、あてもなく船を漕ぎまくるようなものです。

この点、「ゼミ」のような場で「みんなでわいわい」となると、「クルーズ船に乗ってみんなでワイワイやっている間に、気づいたら成果がでている」と、そんな感じの学習体験になります。

学びにかかる負荷が段違いです。

今後のあなたの学びの参考にしてください。

今回のメルマガへのフィードバックをお寄せください。
「Pythonを学ぶのにどんな準備が必要ですか」、「自分にもできますか」、「こんなことも聞いてみたい」、等々、何でもお気軽にどうぞ (^^*

以下よりお願いします。(フィードバックフォームを新たにつくりました)
https://forum.pc5bai.com/news/feedback/python-data-analysis-example-pca/

新らしい学びの場として、今、「Pythonデータ分析ゼミ」を準備しています。
去年-今年にかけて実施した「Pythonウェブプログラミングゼミ」同様、手厚いサポートであなたをはじめとした多くのみなさんを成功に導きたいと思っています。

aliceさんはじめとした「Pythonウェブプログラミングゼミ」参加者のみなさんのような成功をあなたも受け取れるように、僕もしっかりサポートしたいと思っています。

「Pythonデータ分析ゼミ」の説明会については、以下のフォームからご連絡いただいた方優先でご連絡をさしあげる予定です。
よろしくお願いいたします。
https://forum.pc5bai.com/toiawase/request/python-data-priority-invitation/

このテーマのバックナンバー:

Python上達の「簡単」かつ「確実な方法」とは
https://forum.pc5bai.com/article/how-to-learn-python-speedy/

Python習得→成功のストーリー: 「OCRで画像認識するRPA」も「工場現場のためのウェブアプリ」も自由自在
https://forum.pc5bai.com/article/how-to-by-python-mastery-ocr-rpa-web-programming/

「画像認識するRPA」を作って、「毎月1,000件の手入力」を自動化された事例
https://forum.pc5bai.com/article/rpa-by-python/

なぜ、「文系出身、PC,IT知識ほとんどなし」の彼は「Pythonデータサイエンティスト」への道を自信を持って歩めるようになったのか
https://forum.pc5bai.com/article/how_to_be_a_data_scientist/

「DX人材」として社内で口コミされる人とは
https://forum.pc5bai.com/article/known_as_a_dx_expert_in_your_company/