TaskQueue を使ってみる

まだ Lab 扱いですが、TaskQueue を使用することで大量のデータを効率よく Download できないか調査中です。

デフォルトでは 5/s、5bucket(毎秒5タスク／5タスク制限(Limits the burstiness of the queue's processing)ですが、TaskQueue の設定 で最大毎秒20タスクまで増やすことができます。

この実装により、大量のデータ処理もキューにつんで 30秒以内に応答できるようになります。しかし...

・WebHook でタスクが呼ばれるため、自分で終了判定をしなければならない。
・失敗した場合リトライを自動でおこなう。のはいいですがどうやって止めるの？

と苦戦中です。