server/helpers/requests.ts

   1 import * as Bluebird from 'bluebird'
   2 import { createWriteStream, remove } from 'fs-extra'
   3 import * as request from 'request'
   4 import { ACTIVITY_PUB } from '../initializers/constants'
   5 import { processImage } from './image-utils'
   6 import { join } from 'path'
   7 import { logger } from './logger'
   8 import { CONFIG } from '../initializers/config'
   9
  10 function doRequest <T> (
  11   requestOptions: request.CoreOptions & request.UriOptions & { activityPub?: boolean },
  12   bodyKBLimit = 1000 // 1MB
  13 ): Bluebird<{ response: request.RequestResponse, body: T }> {
  14   if (requestOptions.activityPub === true) {
  15     if (!Array.isArray(requestOptions.headers)) requestOptions.headers = {}
  16     requestOptions.headers['accept'] = ACTIVITY_PUB.ACCEPT_HEADER
  17   }
  18
  19   return new Bluebird<{ response: request.RequestResponse, body: T }>((res, rej) => {
  20     request(requestOptions, (err, response, body) => err ? rej(err) : res({ response, body }))
  21       .on('data', onRequestDataLengthCheck(bodyKBLimit))
  22   })
  23 }
  24
  25 function doRequestAndSaveToFile (
  26   requestOptions: request.CoreOptions & request.UriOptions,
  27   destPath: string,
  28   bodyKBLimit = 10000 // 10MB
  29 ) {
  30   return new Bluebird<void>((res, rej) => {
  31     const file = createWriteStream(destPath)
  32     file.on('finish', () => res())
  33
  34     request(requestOptions)
  35       .on('data', onRequestDataLengthCheck(bodyKBLimit))
  36       .on('error', err => {
  37         file.close()
  38
  39         remove(destPath)
  40           .catch(err => logger.error('Cannot remove %s after request failure.', destPath, { err }))
  41
  42         return rej(err)
  43       })
  44       .pipe(file)
  45   })
  46 }
  47
  48 async function downloadImage (url: string, destDir: string, destName: string, size: { width: number, height: number }) {
  49   const tmpPath = join(CONFIG.STORAGE.TMP_DIR, 'pending-' + destName)
  50   await doRequestAndSaveToFile({ method: 'GET', uri: url }, tmpPath)
  51
  52   const destPath = join(destDir, destName)
  53   await processImage({ path: tmpPath }, destPath, size)
  54 }
  55
  56 // ---------------------------------------------------------------------------
  57
  58 export {
  59   doRequest,
  60   doRequestAndSaveToFile,
  61   downloadImage
  62 }
  63
  64 // ---------------------------------------------------------------------------
  65
  66 // Thanks to https://github.com/request/request/issues/2470#issuecomment-268929907 <3
  67 function onRequestDataLengthCheck (bodyKBLimit: number) {
  68   let bufferLength = 0
  69   const bytesLimit = bodyKBLimit * 1000
  70
  71   return function (chunk) {
  72     bufferLength += chunk.length
  73     if (bufferLength > bytesLimit) {
  74       this.abort()
  75
  76       const error = new Error(`Response was too large - aborted after ${bytesLimit} bytes.`)
  77       this.emit('error', error)
  78     }
  79   }
  80 }