各種イベント管理サービスのAPIで統計情報を集計したい

[yasulab]

やりたいこと

• 全国のDojoの集計情報が欲しい
• アンケートでもいいけど、イベント情報から集計するのが的確そう
• TVや雑誌から取材されたときや、企業に協賛を求めるときに便利

数字の根拠を明確にし、かつ、その集計方法が誰でも検証可能である状況にしたい 📈 👀

数字の使用例

子ども向けプログラミング道場を推進する一般社団法人 CoderDojo Japanを さくらインターネットが支援、「さくらのクラウド」を無料提供
https://www.sakura.ad.jp/press/2017/0720_cloud-coderjapan/

CoderDojoは、7～17歳を対象に、日本全国88カ所以上で開催されている非営利のオープンソースコミュニティです。2011年にアイルランドで始まり、世界では69カ国・1,200の道場があります。日本でも、2012年から活動が始まり、これまでに1,000回以上のイベントが開催されています。

少なくとも2,000~3,000回ぐらいは達成していそうだったが、今回は主要な道場のみを指先確認して1,000以上あることを確認した。しかし、より正確な根拠があれば、もっと正確な数字が伝えられる。CoderDojo の参加者数についても同様で、計測方法が確立すれば、より正確な数字が伝えられる。

cf. 日本の CoderDojo (zen登録済) - Google Spreadsheet
https://docs.google.com/spreadsheets/d/17-M-qv5c0MdE_ZIFk566I2CGCIDHFkQwXWiunDXCGVw/edit#gid=354377216

欲しい情報

1. Dojo毎の開催回数
   • 全Dojoの開催回数合計
2. Dojo毎の参加者数
   • 全Dojoの参加者数合計
3. 以下、あると嬉しいけど、今は考えない:
   • Dojo毎のメンター数
   • 全Dojoのメンター数合計
   • ☝️ これらの数字は、イベント情報からは分からない可能性が高い

対応する必要のあるイベント管理サービス

• Doorkeeper API
• Connpass API
• Peatix (今は考えない) ※ 利用例@会津
• Facebook Event API (今は考えない)
• CoderDojo Zen (今は考えない)

あとでやる (今はやらない)

• 統計情報をどう見せるか
• 統計情報のビジュアライゼーション

[yasulab]

API利用の参考事例: http://qiita.com/kiida/items/373446edd2fb09da82ca

[yasulab]

@nalabjp こちらが先ほど話していた Issue になります 🙏

次のアクション

• 開発に関するAPIキーなどを @nalabjp さんと共有する (yasulab)
• CoderDojo ごとに使っているイベントサービスをまとめる (yasulab)
• DB設計
• cron 回す (月に1回ぐらい)
• 他、ドキュメント化されていない情報を都度具体化していく

今はやらない / 考えない

直近のイベント情報を見せる仕組みを考える #110

[yasulab]

TIPS: ナラさんが2015年頃、似たようなイベント情報収集機能をRailsで実装していた 😮

Push notification of events - GitHub
https://github.com/nalabjp/pesca

[yasulab]

ナラさんが当時、実装していて気づいたこと:

• わりと connpass の実装に似たサービスが多い
• Doorkeeper API は他のイベント管理サービスと少し異なる
• DBに何を格納するか、どう寄せるか、考えなくてはいけない

[nalabjp]

memo: connpassのAPI

ref: https://connpass.com/about/api/
series_idというキーが使えそう
例えばCoderDojo浜松の場合series_idは2431で1件取得すると以下のようなレスポンスが取れる

CoderDojo浜松の例

I, [2017-07-29T21:23:29.487805 #51862]  INFO -- : get https://connpass.com/api/v1/event/?count=1&format=json&series_id=2431&start=1
D, [2017-07-29T21:23:29.487897 #51862] DEBUG -- request: User-Agent: "Faraday v0.9.2"
I, [2017-07-29T21:23:31.688439 #51862]  INFO -- Status: 200
D, [2017-07-29T21:23:31.688603 #51862] DEBUG -- response: cache-control: "max-age=300"
content-language: "ja"
content-type: "text/json; charset=utf-8"
date: "Sat, 29 Jul 2017 12:23:31 GMT"
expires: "Sat, 29 Jul 2017 12:27:25 GMT"
last-modified: "Sat, 29 Jul 2017 12:22:25 GMT"
server: "nginx"
vary: "Accept-Language, Cookie"
x-frame-options: "DENY"
transfer-encoding: "chunked"
connection: "Close"
{"results_returned"=>1,
 "events"=>
  [{"event_url"=>"https://coderdojo-hamamatsu.connpass.com/event/62418/",
    "event_type"=>"participation",
    "owner_nickname"=>"DojoHamama",
    "series"=>
     {"url"=>"https://coderdojo-hamamatsu.connpass.com/",
      "id"=>2431,
      "title"=>"CoderDojo浜松"},
    "updated_at"=>"2017-07-17T10:49:15+09:00",
    "lat"=>"34.696983500000",
    "started_at"=>"2017-08-11T13:30:00+09:00",
    "hash_tag"=>"",
    "title"=>"第19回CoderDojo浜松",
    "event_id"=>62418,
    "lon"=>"137.733223100000",
    "waiting"=>0,
    "limit"=>nil,
    "owner_id"=>96922,
    "owner_display_name"=>"CoderDojo浜松",
    "description"=>
     "<h1>CoderDojo浜松とは</h1>\n" +
     "<p>CoderDojo浜松は、浜松市を中心に活動する、小中学生向けのプログラミング道場です。主な活動として</p>\n" +
     "<ul>\n" +
     "<li>\n" +
     "<p>Scratch (ブロックを組合わせて簡単プログラミング)</p>\n" +
     "</li>\n" +
     "<li>\n" +
     "<p>HTML / CSS / JavaScript などを活用したWEBサイト作成</p>\n" +
     "</li>\n" +
     "<li>\n" +
     "<p><a href=\"https://code.org/learn\" rel=\"nofollow\">Hour of Code</a>や<a href=\"https://studio.code.org/\" rel=\"nofollow\">Code Studio</a>を利用してのプログラミング学習</p>\n" +
     "</li>\n" +
     "</ul>\n" +
     "<p>を行っています。</p>\n" +
     "<h1>内容</h1>\n" +
     "<p>各人にテキストやScratchカードを見てもらい、その内容を実装してもらいます。またHTMLやCSSを使ってホームページをつくってみたい人はテキストもしくはカードを用意いたします。</p>\n" +
     "<p>また、自分で取り組みたいプログラミングがある場合はそちらをしていただいてもかまいません。</p>\n" +
     "<p>また、プログラミングを始めてみたいが何をしていいか分からないという人でも、<a href=\"https://code.org/learn\" rel=\"nofollow\">Hour of Code</a>や<a href=\"https://studio.code.org/\" rel=\"nofollow\">Code Studio</a>といった教材でプログラミングを学習することができます。</p>\n" +
     "<p>最後は全員で成果を発表しましょう。</p>\n" +
     "<h1>参加資格</h1>\n" +
     "<ul>\n" +
     "<li>\n" +
     "<p>7歳～17歳までのプログラミングに興味がある方ならどなたでも参加いただけます。</p>\n" +
     "</li>\n" +
     "<li>\n" +
     "<p>その他運営に支障をきたすと判断した場合は参加をお断りする場合がございます。</p>\n" +
     "</li>\n" +
     "</ul>\n" +
     "<h1>注意事項</h1>\n" +
     "<ul>\n" +
     "<li>\n" +
     "<p>無線LANに接続可能なノートPCの持参をお願いします（Wi-Fi環境はこちらで用意します）。</p>\n" +
     "</li>\n" +
     "<li>\n" +
     "<p>小学生以下のお子さんが参加される場合、保護者の方は会場までの送迎をお願いします。</p>\n" +
     "</li>\n" +
     "<li>\n" +
     "<p>Scratchは事前に<a href=\"https://scratch.mit.edu/scratch2download/\" rel=\"nofollow\">ここ</a>を参照しオフラインエディタをインストールしていただけると当日スムーズに作業が開始できます。</p>\n" +
     "</li>\n" +
     "</ul>",
    "address"=>"静岡県浜松市中区海老塚二丁目25-17",
    "catch"=>"小中学生向けのプログラミング道場",
    "accepted"=>5,
    "ended_at"=>"2017-08-11T15:30:00+09:00",
    "place"=>"浜松市南部協働センター 第3講座室"}],
 "results_start"=>1,
 "results_available"=>12}

results_availableは12で過去分を含めた全てのイベントは12件存在している
https://coderdojo-hamamatsu.connpass.com/event/

ただし、series_idを引っ張ってくるためには一度apiを叩く必要があり、なにかしらのkey, valueが必要。
例に挙げたCoderDojo浜松のDBにあるデータは以下のとおりで、

- name: 浜松 (東海)
  logo: https://pbs.twimg.com/profile_images/679526979456991234/3ycBOGYG.png
  url: http://www.coderdojo-hamamatsu.org/
  description: 静岡県浜松市で毎月開催
  order: 180
  tags:
  - Scratch
  - Webサイト
  - Ruby

CoderDojo浜松のデータを取るためのキーワードがなさそうなので、
series_idを引くためのkey,valueを別途持つ必要がある。

ちなみに、下北沢の場合は以下のようなデータで、

- name: 下北沢 (関東)
  url: https://coderdojo-tokyo.connpass.com/
  logo: https://graph.facebook.com/346407898743580/picture?type=large
  description: 東京都世田谷区で毎週開催
  order: 0
  tags:
  - Scratch
  - Webサイト
  - ゲーム

dojosテーブルのurlがconnpassのサブドメインなのだが、
coderdojo-tokyo.connpass.comをkeywordにしてもヒットしないためseries_idは引けない。

[nalabjp]

memo: doorkeeperのapi

ref: https://www.doorkeeperhq.com/developer/api

connpassと同様にgroupというキーが使えそう。
ただ、こちらもgroupを引くためのvalueが必要。
doorkeeperはqというkeyで検索するしかなく、Keyword to search for from the title or description fields.という仕様の模様。

[yasulab]

現状、dojos.yaml には公式サイトへのURLを入力する項目 (url) がありますが、これとは別に当該道場のイベント管理ページへのURLを入力する欄を設けても良いかもしれないですね🤔

[nalabjp]

当該道場のイベント管理ページへのURLを入力する欄を設けても良いかもしれないですね

これなんですが、

coderdojo-tokyo.connpass.comをkeywordにしてもヒットしないためseries_idは引けない。

という理由からイベントリストを束ねるseries_id(doorkeeperではgroup)を引くという観点からはあまり有効なcolumnになれなさそうなんですよね。
なので、もういっそのこと手運用（apiを叩く簡単なrake taskぐらいは用意）でseries_idを取ってきてから登録してしまおうかと思っています。

[yasulab]

なるほど、手運用でも良さそうですね! その場合は yaml ではなく Dojo モデルに更新をかけるような形が良いかなと思いました! (yaml は各道場運営者に編集してもらうためのファイルで、なるべく簡潔で分かりやすい状態の方がよいので💦)