Support Facebook API in Statistics::Aggregation #164

nalabjp · 2017-10-29T15:05:22Z

Statisctics::AggregationにおいてFacebook APIをサポートしました。
これにより、Facebookイベントの開催履歴を集計することができます。

FacebookのGraph APIはkoala.gem経由で扱います。
dojo_event_servicesテーブルのgroup_idカラムで使用するFacebookのgroup idはlookup-id.comで検索します。
Facebookグループのtopページurlである https://www.facebook.com/[group_name] をlookup-idに入れるとgroup idが返却されるので、db/dojo_event_services.yaml経由で登録しておきます。
（Graph APIで提供されているのかもしれないけど、ちょっと見つけられなかった😢）

TODO

Upserting dojo_event_services table #140 を最新に更新してから先にマージした方が良さそう（それまでWIP）

nalabjp · 2017-10-29T15:06:07Z

app/models/dojo_event_service.rb

@@ -1,4 +1,4 @@
 class DojoEventService < ApplicationRecord
  belongs_to :dojo
-  enum name: %i( connpass doorkeeper )
+  enum name: %i( connpass doorkeeper facebook )


facebookサポートにより追加

yasulab · 2017-10-29T15:06:46Z

👀 ✨

nalabjp · 2017-10-29T15:09:33Z

db/migrate/20171029065909_integer_to_string_on_group_id_in_dojo_event_services.rb

@@ -0,0 +1,9 @@
+class IntegerToStringOnGroupIdInDojoEventServices < ActiveRecord::Migration[5.0]
+  def up
+    change_column :dojo_event_services, :group_id, :string, null: false


facebookのgroup idが15桁なのでintegerからstringに変更した。
bigintにしておくという手もあるが、別のイベントサイトをサポートする際に数値である保証もないので今のうち（？）にstringに変更した。

nalabjp · 2017-10-29T15:09:41Z

...rate/20171029071514_integer_to_string_on_service_group_id_and_event_id_in_event_histories.rb

+class IntegerToStringOnServiceGroupIdAndEventIdInEventHistories < ActiveRecord::Migration[5.0]
+  def up
+    change_column :event_histories, :service_group_id, :string, null: false
+    change_column :event_histories, :event_id, :string, null: false


nalabjp · 2017-10-29T15:10:23Z

lib/statistics/aggregation.rb

@@ -20,7 +22,7 @@ def run(dojos, date)

          dojos.each do |dojo|
            cnps.fetch_events(params.merge(series_id: dojo.dojo_event_service.group_id)).each do |e|
-              next unless e.dig('series', 'id') == dojo.dojo_event_service.group_id
+              next unless e.dig('series', 'id').to_s == dojo.dojo_event_service.group_id


カラムの型変更に伴いto_sするようにした

nalabjp · 2017-10-29T15:10:32Z

lib/statistics/aggregation.rb

@@ -47,7 +49,7 @@ def run(dojos, date)

          dojos.each do |dojo|
            drkp.fetch_events(params.merge(group_id: dojo.dojo_event_service.group_id)).each do |e|
-              next unless e['group'] == dojo.dojo_event_service.group_id
+              next unless e['group'].to_s == dojo.dojo_event_service.group_id


nalabjp · 2017-10-29T15:11:57Z

lib/statistics/client.rb

+
+    class Facebook
+      def initialize
+        @client = Koala::Facebook::API.new(ENV.fetch('FACEBOOK_ACCESS_TOKEN'))


Facebook Graph APIを使うためのaccess tokenは環境変数経由で取得する

nalabjp · 2017-10-29T15:12:53Z

lib/tasks/oauth.rake

+namespace :oauth do
+  desc 'Facebookのaccess tokenを取得します'
+  task :facebook_access_token, [:app_id, :app_secret] => :environment do |_tasks, args|
+    puts 'Access Token: ' + Koala::Facebook::OAuth.new(args[:app_id], args[:app_secret]).get_app_access_token


Facebookのapp_idとapp_secretでaccess tokenを取得するRake task

nalabjp · 2017-10-30T18:08:28Z

Resolved conflicts 4f1b20d

yasulab · 2017-10-31T08:57:45Z

@himajin315 @nanophate お手隙の際にこちらのPRをレビューしてもらえると嬉しいです...!! 🙏

himajin315 · 2017-10-31T10:52:04Z

lib/statistics/aggregation.rb

+    class Facebook
+      class << self
+        def run(dojos, date)
+          fsbk = Client::Facebook.new


fsbkってfacebookを省略した言葉なんですね🤔

ローカル変数なので雑に省略しています😅

nalabjp · 2017-10-31T12:46:45Z

lib/statistics/client.rb

@@ -113,7 +113,7 @@ def fetch_events(group_id:, since_at: nil, until_at: nil)
          limit: 100,
          since: since_at,
          until: until_at
-        }.compact!
+        }.compact


valueがnilのものがない場合はparamsがnilになってしまうのでbangは不要

nalabjp · 2017-10-31T12:48:03Z

lib/statistics/client.rb

@@ -119,7 +119,7 @@ def fetch_events(group_id:, since_at: nil, until_at: nil)

        collection = @client.get_object("#{group_id}/events", params)
        events.push(*collection.to_a)
-        while collection.paging['next'] do
+        while !collection.empty? && collection.paging['next'] do


collection.empty? == trueの場合、collection.pagingがnilなのでcollectionがemptyかどうかチェックしておく

yasulab · 2017-10-31T13:34:54Z

@nalabjp PRありがとうございます! 😸 ちょっと細かな点ですが、Facebook API の Access Token Key は Travis CI や Heroku にも渡す必要があるかなという認識ですが、既に各環境の環境変数で渡している感じですかね? 🤔 (テストが通っているところを見ると、大丈夫そう?)

あと Facebook の Access Token は確か短期と長期のトークンがあって、60日ごとに更新する必要があったのかなと思うのですが、トークンが Expire された場合って何かしら Rake タスクを手動で走らせる必要があるって認識で大丈夫ですかね? 💭

cf. アクセストークンの有効期限と延長 - Facebook for Developers
https://developers.facebook.com/docs/facebook-login/access-tokens/expiration-and-extension

nalabjp · 2017-10-31T16:06:24Z

Facebook API の Access Token Key は Travis CI や Heroku にも渡す必要がある

はい、CIは設定済みですね。
APIのレスポンスにモックを使っている関係で、任意の文字列で良いようになっています。
https://github.com/coderdojo-japan/coderdojo.jp/pull/164/files#diff-354f30a63fb0907d4ad57269548329e3R23
Herokuにはまだ設定していないので、別途設定するか必要な時に取得しにいく必要があります。

トークンが Expire された場合って何かしら Rake タスクを手動で走らせる必要があるって認識で大丈夫ですかね?

はい、今のところその通りです。
access tokenを取得するRake taskは作っておいたので、ひとまずこちらが使えます。
https://github.com/coderdojo-japan/coderdojo.jp/pull/164/files#diff-e895c9dc20985fff884645b79fb7ac96R3

有効期限が切れたケースにまだ遭遇できていないので未実装なのですが、
有効期限切れならリトライしてENVを更新するようにするか、
常に毎回取得しに行くのでも良いかもしれませんね。

yasulab · 2017-10-31T16:20:15Z

Herokuにはまだ設定していないので、別途設定するか必要な時に取得しにいく必要があります。

了解です! 🙆 補足ありがとうございます 😸

常に毎回取得しに行くのでも良いかもしれませんね。

確かに。現在の利用方法で API の利用上限には到達しないと思うので、常に毎回取得・更新する方法が楽で良いかもしれないですね🤔 Document を見ても定期的に (1日１回ぐらい) 更新するような使い方が推奨されていそうです 👀

Facebookのサーバーにリクエストを行う日ごとに、1日に1回更新されます。リクエストがまったく行われないと、トークンは約60日後に有効期限切れとなり、新しいトークンを取得するために、利用者はログインフローをやり直す必要があります。

https://developers.facebook.com/docs/facebook-login/access-tokens/expiration-and-extension?locale=ja_JP

トークンを更新するRakeタスクについては、Heroku Scheduler で１日１回実行する形でも良いかなと考えているのですが、どうですかね? 🤔 (もし問題がありそうであれば指摘してもらえると嬉しいです 🙏 💦 )

nalabjp · 2017-10-31T17:00:21Z

現在の利用方法で API の利用上限には到達しないと思うので、走らせるたびに更新する方法が楽で良いかもしれないですね

そうしましょうか。
集計のRake task実行時に取得するように変更して、環境変数に入れてしまう事自体をヤメましょうか。
OAuthでトークンを取ればいいだけなので定期的に更新する必要もなさそうに思えました。

nalabjp · 2017-10-31T18:26:57Z

de9841c
access tokenは環境変数に入れず、Rake taskの実行毎に取得するようにしました。
代わりにapp_idとapp_secretを環境変数に入れておく必要があります。（がこちらは固定なので）

yasulab · 2017-11-01T01:43:02Z

MTG MEMO w/ @nalabjp

Rakeタスクは冪等 => Heroku Scheduler と組み合わせる (担当: @yasulab)
- １日１回 Cron で流す
- Rate Limit: 300 req / 5min (Doorkeeper)
- Fetching since 2012 with Retry
失敗するときはイベントサービス単位で失敗するようにする
実行順序に問題があるかもしれないので念のため確認・修正する
- 現在の実行順序: connpass -> Doorkeeper -> Facebook
エラー通知があると便利そうなので実装する

これが終わったら Review & Merge ✅

nalabjp · 2017-11-02T17:47:43Z

リトライの範囲を小さく（他のイベントサイトの集計結果に影響しないように） a7da867
Rake task終了時にidobataへ通知 cca2f3a
- 環境変数IDOBATA_HOOK_URLの設定が必要

を実装しました。

１日１回 Cron で流す

MTG時に気付かなかったのですが、月初に一度だけ前月分の集計を実行するようなイメージで実装してました。
日単位で実行できるようになっている方が良いですか？

nalabjp · 2017-11-02T17:50:59Z

a7da867 cca2f3a このあたりの実装、facebookサポートと関係ないので別PRにすれば良かったですね😅

yasulab · 2017-11-03T02:59:11Z

MTG時に気付かなかったのですが、月初に一度だけ前月分の集計を実行するようなイメージで実装してました。
日単位で実行できるようになっている方が良いですか？

@nalabjp Facebook の長期トークンが60日間なので、毎月１回でも大丈夫です! 🙆 ただせっかく Heroku の Hobby プランを使っていて、一日中 Dyno が動いているので、アクセスの少ない夜中とかに (APIの利用制限に引っかからない範囲で) 毎日タスクを流してイベント数が徐々に上がっている感じが見えるとインパクトあって良いかなと思った次第です 🤔💭

とはいえ CoderDojo は週末に行われることが多いので、毎週月曜日に実行する形でも、実質的にはほぼ同じ結果が得られるかなとは考えています ;)

nalabjp · 2017-11-03T03:13:43Z

なるほど、毎週月曜は良さそうですね。
APIを叩く際に月単位で検索しているので、月末が近づくと無駄にレコードの作り直しが発生するなと思った次第です。
特に問題があるわけでもないので、一先ずこのまま運用してみましょうか😁

yasulab · 2017-11-03T04:34:56Z

@nalabjp 他に特に懸念点などなければマージしようと思いますが、いかがでしょう...!! 🤔

特に問題があるわけでもないので、一先ずこのまま運用してみましょうか😁

あ、念のため確認ですが、とりあえずは「毎月１回 (各月の初日) 実行する」という認識で大丈夫ですかね? ✅

yasulab · 2017-11-03T04:36:58Z

.oO(明日 DojoCon Japan 2017 があるので、もし集計が間に合えばそこに滑り込ませたいな的なことを考えています) 😅💭

nalabjp · 2017-11-03T05:30:56Z

あ、念のため確認ですが、とりあえずは「毎月１回 (各月の初日) 実行する」という認識で大丈夫ですかね?

はい、月一でも週一でもどちらでも大丈夫です！

nalabjp · 2017-11-03T05:31:44Z

.oO(明日 DojoCon Japan 2017 があるので、もし集計が間に合えばそこに滑り込ませたいな的なことを考えています) 😅💭

なるほど、ひとまずコンフリクトだけ直してしまうので少々お待ち下さい。

nalabjp · 2017-11-03T05:39:57Z

@nalabjp 他に特に懸念点などなければマージしようと思いますが、いかがでしょう...!! 🤔

CI通ったのでマージしてしまいます！ 💪

yasulab · 2017-11-03T05:46:40Z

ありがとうございます! 😸

nalabjp added 8 commits October 24, 2017 01:46

Gem koala

9a845a2

Get access token for Facebook API

16c8169

Split shared context

f246a2e

Add implementation of facebook api

78347bf

Change column type from integer to string for facebook

3344ffe

Change column type from integer to string for facebook

e0b2147

Fix change column type

9589fab

Support facebook on Statistics::Aggregation

213320c

nalabjp commented Oct 29, 2017

View reviewed changes

nalabjp mentioned this pull request Oct 29, 2017

Upserting dojo_event_services table #140

Merged

1 task

nalabjp added 2 commits October 30, 2017 02:18

Add dummy environment variable for CI

59022ea

Merge remote-tracking branch 'upstream/master' into support-facebook-api

4f1b20d

nalabjp changed the title ~~[WIP] Support Facebook API in Statistics::Aggregation~~ Support Facebook API in Statistics::Aggregation Oct 31, 2017

himajin315 reviewed Oct 31, 2017

View reviewed changes

nalabjp added 4 commits October 31, 2017 20:00

Merge remote-tracking branch 'upstream/master' into support-facebook-api

f82cfa5

Merge remote-tracking branch 'upstream/master' into support-facebook-api

4591b46

Remove unnecessary bang

fdf0956

Check response is empty

9d5736f

nalabjp commented Oct 31, 2017

View reviewed changes

nalabjp added 2 commits November 1, 2017 03:03

Merge remote-tracking branch 'upstream/master' into support-facebook-api

39b3fd5

Fetch access token each Rake task execution

de9841c

nalabjp mentioned this pull request Oct 31, 2017

各種イベント管理サービスのAPIで統計情報を集計したい #12

Closed

nalabjp added 2 commits November 3, 2017 01:46

Reduce the range of retry

a7da867

Notify to idobata when task is finished

cca2f3a

Merge remote-tracking branch 'upstream/master' into support-facebook-api

829a0e6

nalabjp merged commit 0db4314 into master Nov 3, 2017

nalabjp deleted the support-facebook-api branch November 3, 2017 05:40

yasulab added the 統計情報 Tracking event record function via APIs: https://coderdojo.jp/stats label Jan 18, 2018

dependabot-preview bot mentioned this pull request Jun 1, 2020

Bump coderay from 1.1.2 to 1.1.3 #836

Merged

Uh oh!

Support Facebook API in Statistics::Aggregation #164

Support Facebook API in Statistics::Aggregation #164

Uh oh!

Conversation

nalabjp commented Oct 29, 2017 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

TODO

Uh oh!

Choose a reason for hiding this comment

Uh oh!

yasulab commented Oct 29, 2017

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

nalabjp commented Oct 30, 2017

Uh oh!

yasulab commented Oct 31, 2017

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

Choose a reason for hiding this comment

Uh oh!

yasulab commented Oct 31, 2017 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

nalabjp commented Oct 31, 2017

Uh oh!

yasulab commented Oct 31, 2017 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

nalabjp commented Oct 31, 2017

Uh oh!

nalabjp commented Oct 31, 2017

Uh oh!

yasulab commented Nov 1, 2017 • edited by nalabjp Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

MTG MEMO w/ @nalabjp

Uh oh!

nalabjp commented Nov 2, 2017

Uh oh!

nalabjp commented Nov 2, 2017

Uh oh!

yasulab commented Nov 3, 2017 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

nalabjp commented Nov 3, 2017

Uh oh!

yasulab commented Nov 3, 2017 • edited Loading Uh oh! There was an error while loading. Please reload this page.

Uh oh!

Uh oh!

yasulab commented Nov 3, 2017

Uh oh!

nalabjp commented Nov 3, 2017

Uh oh!

nalabjp commented Nov 3, 2017

Uh oh!

nalabjp commented Nov 3, 2017

Uh oh!

yasulab commented Nov 3, 2017

Uh oh!

Uh oh!

nalabjp commented Oct 29, 2017 •

edited

Loading

yasulab commented Oct 31, 2017 •

edited

Loading

yasulab commented Oct 31, 2017 •

edited

Loading

yasulab commented Nov 1, 2017 •

edited by nalabjp

Loading

yasulab commented Nov 3, 2017 •

edited

Loading

yasulab commented Nov 3, 2017 •

edited

Loading