未集計の Dojo で集計が難しい Dojo も追加したい

[yasulab]

関連: 未集計の Dojo で集計可能な Dojo を追加したい #236

Facebook/Doorkeeper/connpass ではないけれど、統計をとっている Dojo に直接訪ねて聞きました ✅

• 柏の葉: 29回
• 南柏: 3回
• 柏湘南: 4回
• 小平: 63回 ( https://coderdojo-kodaira.connpass.com/ )

静的に追加する方法があれば、それで上記の値をDBに記録したい (今のところはない、という認識です💦)

関連 Issue: #191

実装方法: 静的なデータは yaml で追加

• static_event_histories.yaml的なのに保存しておいてaggregationのrake task実行時に取り込む
• そうすれば dojos.yml のように誰でも更新できる
• 集計バッチが走るタイミングにならないと反映されないが、インタフェース的にはその方がスッキリ

[nalabjp]

静的に追加する方法があれば、それで上記の値をDBに記録したい (今のところはない、という認識です💦)

なにかしらインタフェースを作ったほうが良い気はしています。
Googleフォームだったり自前のフォームだったりで管理されている場合や、
過去はそういう運用だったっていうケースのイベント履歴はどこからも取得できないので、
レコード相当のstaticなデータを何処かに持ってしまってevent_historiesテーブルに流し込める形式が良さそうかなーと思っています。

[nalabjp]

static_event_histories.yaml的なのに保存しておいてaggregationのrake task実行時に取り込む、
みたいなのだとどうでしょうかね？🤔

[yasulab]

static_event_histories.yaml的なのに保存しておいてaggregationのrake task実行時に取り込む、
みたいなのだとどうでしょうかね？🤔

おー！いいアイデアですね！そうすれば dojos.yml のようにこちら側で更新することもできますし、各Dojoにそれぞれ更新してもらうことができそうですね ;)

[nalabjp]

はい、PRベースで動く方が良いかなと。
集計バッチが走るタイミングにならないと反映されないですけど、
インタフェース的にはその方がスッキリするイメージがあります😌

[yasulab]

ですね! description に追記しておきました! 📝 💨

実装方法: 静的なデータは yaml で追加

• static_event_histories.yaml的なのに保存しておいてaggregationのrake task実行時に取り込む
• そうすれば dojos.yml のように誰でも更新できる
• 集計バッチが走るタイミングにならないと反映されないが、インタフェース的にはその方がスッキリ

[togazo]

横からスミマセン。Kataなどで「（各Dojo側で）こういうフォーマットで情報をまとめていてくれると、統計データの取得などデータの二次利用・三次利用がしやすい」という情報などあげて頂けると、Dojo側からも情報提供しやすいかなと思いました。そうすると、Dojo側でデータをまとめる協力者を集めたりもできるかな、ともです。
現状、日々の運営に手一杯で情報の整理ができておらず、それはそれでよくないなぁと思っているのですが…^^;

[yasulab]

こういうフォーマットで情報をまとめていてくれると、統計データの取得などデータの二次利用・三次利用がしやすい

まだ yaml ファイルのフォーマットを決めていないので、おいおい詰めていきますね 🔧 💨

現状ではすべての Dojo が統計情報をまとめる必要はなく、例えば Facebook Event や connpass, Doorkeeper でイベント管理している Dojo はAPI経由で統計情報を取得できるので、特に何かをする必要はありません 🙆 また、自前でイベント管理をしている柏の場合は、独自の API を実装する方法で話が進んでいます。ただしこちらは例外的なケースのため、他の道場にも同じようなことをやってもらう予定はありません ;)

上記のいずれにも該当しないケースについては、先ほど議論に上がったように次のような形で対応しようと考えています ✅

実装方法: 静的なデータは yaml で追加

• static_event_histories.yaml的なのに保存しておいてaggregationのrake task実行時に取り込む
• そうすれば dojos.yml のように誰でも更新できる
• 集計バッチが走るタイミングにならないと反映されないが、インタフェース的にはその方がスッキリ

[togazo]

丁寧にありがとうございます。
私も全てのDojoがまとめる必要はないと思いますが、何かしら協力できることがあれば可能な範囲でお手伝いしますよ〜という位なので、色々決まったらまた情報公開していただけるとありがたいです！

[yasulab]

統計情報のページを実装していて気づいたんですが、「いつイベントが開催されたか?」や「そのイベントに何人来たか?」という情報がないと EventHistory が作り込めなさそうですね 🤔

https://coderdojo.jp/stats

これらの情報を yaml ファイルに書き出すのは流石に一苦労だと思うので (少なくとも手動でやる場合は)、合計数には乗せられても、上記の統計テーブルに組み込むのは厳しいのかもしれないなぁと考えています 😓

あと、合計数には静的な数字を含めて、統計テーブルには含めないとなると「あれ、統計テーブルの情報と合計数の数が離れすぎていないか? (この統計本当にあってるの?)」という疑念に繋がるかもしれない、という懸念もあります 😥

今のところ何か解決策を思いついているわけではないですが、とりあえず気づいた点をこちらに挙げておきます 📝

[nalabjp]

#191 の温度感からそのあたりのデータはお願いすれば提供してもらえるのかなぁと想像していたのですが、なかなか難しい感じでしょうか？

過去分の詳細データがない or エクスポートが楽に出来ない、というような環境だと仰る通り整合性が取りづらい状況になりそうだなと思います。

一方で、googleフォームを利用しており提供可能な場合はエクスポートしたcsv -> yamlにすれば良いので、エクスポートをどうやるかみたいな部分だけの問題かなとも思います。

• エクスポートしたデータに個人情報が入っていないか
• エクスポートしたデータが要求を満たしているか
• エクスポート作業自体を行う余裕があるか

など。
独自フォームでそういうのは厳しい、だと苦戦しそうですね😭

[yasulab]

googleフォームを利用しており提供可能な場合はエクスポートしたcsv -> yamlにすれば良いので、エクスポートをどうやるかみたいな部分だけの問題かなとも思います。

ですね。手動でやるのはキツそうだなと思いましたが、エクスポートしたファイルを import する分には大丈夫かなと思います🤔

当初は「(export/import ではなく) 手動で集計した結果をを yaml ファイルに追加」と考えていたのですが、テーブルを実際に作ってみて「あ、これ手動だと現実的ではないな」と感じた次第です 😅

僕が観測した範囲だと Google Form が多いので、まずは Google Form のサンプルデータがあると検討もしやすそうですね 🤔

@togazo さん、上記の背景からサンプルデータがあると嬉しいのですが、 Google Form から export した結果ってもらうことできますかね? >< 💦 (Facebook Message などでも大丈夫です!)

[yasulab]

代替案

@nalabjp さん、もう１つ思いついたアイデアとしては、毎年一回世界中の CoderDojo に向けてアンケートが配布されるのですが、恐らくその結果が CoderDojo API のデータベースに反映されているはずなので、API 経由で情報を拾ってくるというやり方もあるかもしれません 💭 (要: API 経由でどこまで情報を取得できるか確認)

Pros/Cons

(CoderDojo API 経由で年次の情報が取得できるという前提で)

• APIを叩けば良いので自動化が楽
• 年次で集計されているはずなので、月次での集計はできない
• 回答していない Dojo もそこそこあるので、どの程度補足できるかはわからない