Fb API の仕様変更で統計スクリプトが失敗しているので、Fb Groups 権限取得用アプリを申請する

[yasulab]

@chicaco さんにご対応してただけることになりました...!! ありがとうございます (＞人＜ )✨
cf. #297 (comment)

やること

• 統計スクリプトを直す

TODO のコメントが fix されていたように見えたので消しちゃってましたが、これを revert すれば直りそう? 🤔💭
e0b6c5b#diff-8b7db4d5cc4b8f6dc8feb7030baa2478L36

• 2018/12/03〜2018/12/31 までの統計情報も本番環境で集計する

[chicaco]

Gemfile に gem 'faraday_middleware' を追記してみましたが、
$ bin/rake statistics:aggregation[2012,2013] でまだエラーが...。

2012/01~2013/12のイベント履歴の集計でエラーが発生しました
the server responded with status 504
./vendor/bundle/ruby/2.6.0/gems/faraday-0.15.4/lib/faraday/response.rb:9:in `block in call'
./vendor/bundle/ruby/2.6.0/gems/faraday-0.15.4/lib/faraday/response.rb:61:in `on_complete'
./vendor/bundle/ruby/2.6.0/gems/faraday-0.15.4/lib/faraday/response.rb:8:in `call'
./vendor/bundle/ruby/2.6.0/gems/faraday_middleware-0.12.2/lib/faraday_middleware/response_middleware.rb:31:in `call'
./vendor/bundle/ruby/2.6.0/gems/faraday-0.15.4/lib/faraday/rack_builder.rb:143:in `build_response'
./vendor/bundle/ruby/2.6.0/gems/faraday-0.15.4/lib/faraday/connection.rb:387:in `run_request'
./vendor/bundle/ruby/2.6.0/gems/faraday-0.15.4/lib/faraday/connection.rb:138:in `get'
./lib/event_service/client.rb:11:in `get'
./lib/event_service/providers/connpass.rb:25:in `block in fetch_events'
./lib/event_service/providers/connpass.rb:24:in `loop'
./lib/event_service/providers/connpass.rb:24:in `fetch_events'
./lib/statistics/tasks/connpass.rb:17:in `block (2 levels) in run'
...

lib/event_service/providers/doorkeeper.rb で起きることもあり、サクッと解決とはならず。 😢

504 Gateway Timeout ですから、タイミングか制限(?)か...。
本日は time up です。 💦

[chicaco]

引き続き調査＆動確していますが、
Gemfile に gem 'faraday_middleware' が記載されているかどうかは直接関係なさそうです。

rake statistics:aggregation[2018,2018] と実行すると、
8 月分まで成功したように進み(エラーは出ません)、9 月の処理で

type: OAuthException, code: 4, message: (#4) Application request limit reached, x-fb-trace-id: BZCdF4vfVl2 [HTTP 403]

となったり、リトライすると

the server responded with status 502

とのエラーが出ますので、各サービスへの呼び出し処理(繰り返し部分)を見直す必要があるかな、と。

各サービスの API 仕様には明記されていないのですが、短時間に連続して GET するのはできなさそうな気配です...。
作戦変更します。

[yasulab]

MEMO: @nalabjp さんにも確認してもらうようにお願いした (＞人＜ )✨

[yasulab]

type: OAuthException, code: 4, message: (#4) Application request limit reached, x-fb-trace-id: BZCdF4vfVl2 [HTTP 403]

Facebook API のリトライをやりすぎたのかもしれない...? 🤔💭

[chicaco]

@yasulab 本番環境のログに、エラー情報残っていないでしょうか？

週/月ごとに GET でなく、Dojo ごとに期間指定で一括 GET する方式に切り替えようと考えております。

[yasulab]

@chicaco 本番環境も同じRailsアプリケーションなので、ローカル環境でうまく動けば本番環境でも基本的にうまく動くと思います! (違いは環境変数ぐらいかな🤔)

[chicaco]

@yasulab poduction 環境ですと Gem の構成が異なると思います。
faraday_middleware は develop & test では install されますが、production では入らないはずで、
本当に faraday_middleware は無関係かどうかまだ確証がなく。
(今夜にでも調べてみるつもりですが)

[yasulab]

poduction 環境ですと Gem の構成が異なると思います

@chicaco RAILS_ENV=production で本番環境と同じ Gem の構成にできます...!! d(￣ ￣)✨

[chicaco]

RAILS_ENV=production で本番環境と同じ Gem の構成にできます...!! d(￣ ￣)✨

はい、その手で調べてみるつもりでおります。