src/conversation/gnunet-helper-audio-record-gst.c

   1 /*
   2      This file is part of GNUnet.
   3      Copyright (C) 2013 GNUnet e.V.
   4
   5      GNUnet is free software; you can redistribute it and/or modify
   6      it under the terms of the GNU General Public License as published
   7      by the Free Software Foundation; either version 3, or (at your
   8      option) any later version.
   9
  10      GNUnet is distributed in the hope that it will be useful, but
  11      WITHOUT ANY WARRANTY; without even the implied warranty of
  12      MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.  See the GNU
  13      General Public License for more details.
  14
  15      You should have received a copy of the GNU General Public License
  16      along with GNUnet; see the file COPYING.  If not, write to the
  17      Free Software Foundation, Inc., 51 Franklin Street, Fifth Floor,
  18      Boston, MA 02110-1301, USA.
  19 */
  20 /**
  21  * @file conversation/gnunet-helper-audio-record-gst.c
  22  * @brief program to record audio data from the microphone (GStreamer version)
  23  * @author LRN
  24  */
  25 #include "platform.h"
  26 #include "gnunet_util_lib.h"
  27 #include "gnunet_protocols.h"
  28 #include "conversation.h"
  29 #include "gnunet_constants.h"
  30 #include "gnunet_core_service.h"
  31
  32 #include <gst/gst.h>
  33 #include <gst/app/gstappsink.h>
  34 #include <gst/audio/gstaudiobasesrc.h>
  35 #include <glib.h>
  36
  37 #define DEBUG_RECORD_PURE_OGG 1
  38
  39 /**
  40  * Number of channels.
  41  * Must be one of the following (from libopusenc documentation):
  42  * 1, 2
  43  */
  44 #define OPUS_CHANNELS 1
  45
  46 /**
  47  * Maximal size of a single opus packet.
  48  */
  49 #define MAX_PAYLOAD_SIZE (1024 / OPUS_CHANNELS)
  50
  51 /**
  52  * Size of a single frame fed to the encoder, in ms.
  53  * Must be one of the following (from libopus documentation):
  54  * 2.5, 5, 10, 20, 40 or 60
  55  */
  56 #define OPUS_FRAME_SIZE 40
  57
  58 /**
  59  * Expected packet loss to prepare for, in percents.
  60  */
  61 #define PACKET_LOSS_PERCENTAGE 1
  62
  63 /**
  64  * Set to 1 to enable forward error correction.
  65  * Set to 0 to disable.
  66  */
  67 #define INBAND_FEC_MODE 1
  68
  69 /**
  70  * Max number of microseconds to buffer in audiosource.
  71  * Default is 200000
  72  */
  73 #define BUFFER_TIME 1000 /* 1ms */
  74
  75 /**
  76  * Min number of microseconds to buffer in audiosource.
  77  * Default is 10000
  78  */
  79 #define LATENCY_TIME 1000 /* 1ms */
  80
  81 /**
  82  * Maximum delay in multiplexing streams, in ns.
  83  * Setting this to 0 forces page flushing, which
  84  * decreases delay, but increases overhead.
  85  */
  86 #define OGG_MAX_DELAY 0
  87
  88 /**
  89  * Maximum delay for sending out a page, in ns.
  90  * Setting this to 0 forces page flushing, which
  91  * decreases delay, but increases overhead.
  92  */
  93 #define OGG_MAX_PAGE_DELAY 0
  94
  95 /**
  96  * Main pipeline.
  97  */
  98 static GstElement *pipeline;
  99
 100 #ifdef DEBUG_RECORD_PURE_OGG
 101 static int dump_pure_ogg;
 102 #endif
 103
 104 static void
 105 quit ()
 106 {
 107   if (NULL != pipeline)
 108     gst_element_set_state (pipeline, GST_STATE_NULL);
 109 }
 110
 111 static gboolean
 112 bus_call (GstBus *bus, GstMessage *msg, gpointer data)
 113 {
 114   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Bus message\n");
 115   switch (GST_MESSAGE_TYPE (msg))
 116   {
 117   case GST_MESSAGE_EOS:
 118     GNUNET_log (GNUNET_ERROR_TYPE_INFO, "End of stream\n");
 119     quit ();
 120     break;
 121
 122   case GST_MESSAGE_ERROR:
 123     {
 124       gchar  *debug;
 125       GError *error;
 126
 127       gst_message_parse_error (msg, &error, &debug);
 128       g_free (debug);
 129
 130       GNUNET_log (GNUNET_ERROR_TYPE_ERROR, "Error: %s\n", error->message);
 131       g_error_free (error);
 132
 133       quit ();
 134       break;
 135     }
 136   default:
 137     break;
 138   }
 139
 140   return TRUE;
 141 }
 142
 143 void
 144 source_child_added (GstChildProxy *child_proxy, GObject *object, gchar *name, gpointer user_data)
 145 {
 146   if (GST_IS_AUDIO_BASE_SRC (object))
 147     g_object_set (object, "buffer-time", (gint64) BUFFER_TIME, "latency-time", (gint64) LATENCY_TIME, NULL);
 148 }
 149
 150 static void
 151 signalhandler (int s)
 152 {
 153   quit ();
 154 }
 155
 156
 157 int
 158 main (int argc, char **argv)
 159 {
 160   GstElement *source, *filter, *encoder, *conv, *resampler, *sink, *oggmux;
 161   GstCaps *caps;
 162   GstBus *bus;
 163   guint bus_watch_id;
 164   struct AudioMessage audio_message;
 165   int abort_send = 0;
 166
 167   typedef void (*SignalHandlerPointer) (int);
 168
 169   SignalHandlerPointer inthandler, termhandler;
 170   inthandler = signal (SIGINT, signalhandler);
 171   termhandler = signal (SIGTERM, signalhandler);
 172
 173 #ifdef DEBUG_RECORD_PURE_OGG
 174   dump_pure_ogg = getenv ("GNUNET_RECORD_PURE_OGG") ? 1 : 0;
 175 #endif
 176
 177 #ifdef WINDOWS
 178   setmode (1, _O_BINARY);
 179 #endif
 180
 181   /* Initialisation */
 182   gst_init (&argc, &argv);
 183
 184   GNUNET_assert (GNUNET_OK ==
 185                  GNUNET_log_setup ("gnunet-helper-audio-record",
 186                                    "WARNING",
 187                                    NULL));
 188
 189   GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 190               "Audio source starts\n");
 191
 192   audio_message.header.type = htons (GNUNET_MESSAGE_TYPE_CONVERSATION_AUDIO);
 193
 194   /* Create gstreamer elements */
 195   pipeline = gst_pipeline_new ("audio-recorder");
 196   source   = gst_element_factory_make ("autoaudiosrc",  "audiosource");
 197   filter   = gst_element_factory_make ("capsfilter",    "filter");
 198   conv     = gst_element_factory_make ("audioconvert",  "converter");
 199   resampler= gst_element_factory_make ("audioresample", "resampler");
 200   encoder  = gst_element_factory_make ("opusenc",       "opus-encoder");
 201   oggmux   = gst_element_factory_make ("oggmux",        "ogg-muxer");
 202   sink     = gst_element_factory_make ("appsink",       "audio-output");
 203
 204   if (!pipeline || !filter || !source || !conv || !resampler || !encoder || !oggmux || !sink)
 205   {
 206     GNUNET_log (GNUNET_ERROR_TYPE_ERROR,
 207         "One element could not be created. Exiting.\n");
 208     return -1;
 209   }
 210
 211   g_signal_connect (source, "child-added", G_CALLBACK (source_child_added), NULL);
 212
 213   /* Set up the pipeline */
 214
 215   caps = gst_caps_new_simple ("audio/x-raw",
 216     "format", G_TYPE_STRING, "S16LE",
 217 /*    "rate", G_TYPE_INT, SAMPLING_RATE,*/
 218     "channels", G_TYPE_INT, OPUS_CHANNELS,
 219 /*    "layout", G_TYPE_STRING, "interleaved",*/
 220      NULL);
 221   g_object_set (G_OBJECT (filter),
 222       "caps", caps,
 223       NULL);
 224   gst_caps_unref (caps);
 225
 226   g_object_set (G_OBJECT (encoder),
 227 /*      "bitrate", 64000, */
 228 /*      "bandwidth", OPUS_BANDWIDTH_FULLBAND, */
 229       "inband-fec", INBAND_FEC_MODE,
 230       "packet-loss-percentage", PACKET_LOSS_PERCENTAGE,
 231       "max-payload-size", MAX_PAYLOAD_SIZE,
 232       "audio", FALSE, /* VoIP, not audio */
 233       "frame-size", OPUS_FRAME_SIZE,
 234       NULL);
 235
 236   g_object_set (G_OBJECT (oggmux),
 237       "max-delay", OGG_MAX_DELAY,
 238       "max-page-delay", OGG_MAX_PAGE_DELAY,
 239       NULL);
 240
 241   /* we add a message handler */
 242   bus = gst_pipeline_get_bus (GST_PIPELINE (pipeline));
 243   bus_watch_id = gst_bus_add_watch (bus, bus_call, pipeline);
 244   gst_object_unref (bus);
 245
 246   /* we add all elements into the pipeline */
 247   /* audiosource | converter | resampler | opus-encoder | audio-output */
 248   gst_bin_add_many (GST_BIN (pipeline), source, filter, conv, resampler, encoder,
 249       oggmux, sink, NULL);
 250
 251   /* we link the elements together */
 252   gst_element_link_many (source, filter, conv, resampler, encoder, oggmux, sink, NULL);
 253
 254   /* Set the pipeline to "playing" state*/
 255   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Now playing\n");
 256   gst_element_set_state (pipeline, GST_STATE_PLAYING);
 257
 258
 259   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Running...\n");
 260   /* Iterate */
 261   while (!abort_send)
 262   {
 263     GstSample *s;
 264     GstBuffer *b;
 265     GstMapInfo m;
 266     size_t len, msg_size;
 267     const char *ptr;
 268     int phase;
 269
 270     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "pulling...\n");
 271     s = gst_app_sink_pull_sample (GST_APP_SINK (sink));
 272     if (NULL == s)
 273     {
 274       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "pulled NULL\n");
 275       break;
 276     }
 277     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "...pulled!\n");
 278     {
 279       const GstStructure *si;
 280       char *si_str;
 281       GstCaps *s_caps;
 282       char *caps_str;
 283       si = gst_sample_get_info (s);
 284       if (si)
 285       {
 286         si_str = gst_structure_to_string (si);
 287         if (si_str)
 288         {
 289           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got sample %s\n", si_str);
 290           g_free (si_str);
 291         }
 292       }
 293       else
 294       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got sample with no info\n");
 295       s_caps = gst_sample_get_caps (s);
 296       if (s_caps)
 297       {
 298         caps_str = gst_caps_to_string (s_caps);
 299         if (caps_str)
 300         {
 301           GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got sample with caps %s\n", caps_str);
 302           g_free (caps_str);
 303         }
 304       }
 305       else
 306         GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "Got sample with no caps\n");
 307     }
 308     b = gst_sample_get_buffer (s);
 309     if (NULL == b || !gst_buffer_map (b, &m, GST_MAP_READ))
 310     {
 311       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG, "got NULL buffer %p or failed to map the buffer\n", b);
 312       gst_sample_unref (s);
 313       continue;
 314     }
 315
 316     len = m.size;
 317     if (len > UINT16_MAX - sizeof (struct AudioMessage))
 318     {
 319       GNUNET_break (0);
 320       len = UINT16_MAX - sizeof (struct AudioMessage);
 321     }
 322     msg_size = sizeof (struct AudioMessage) + len;
 323     audio_message.header.size = htons ((uint16_t) msg_size);
 324
 325     GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 326         "Sending %u bytes of audio data\n", (unsigned int) msg_size);
 327     for (phase = 0; phase < 2; phase++)
 328     {
 329       size_t offset;
 330       size_t to_send;
 331       ssize_t ret;
 332       if (0 == phase)
 333       {
 334 #ifdef DEBUG_RECORD_PURE_OGG
 335         if (dump_pure_ogg)
 336           continue;
 337 #endif
 338         ptr = (const char *) &audio_message;
 339         to_send = sizeof (audio_message);
 340       }
 341       else
 342       {
 343         ptr = (const char *) m.data;
 344         to_send = len;
 345       }
 346       GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 347           "Sending %u bytes on phase %d\n", (unsigned int) to_send, phase);
 348       for (offset = 0; offset < to_send; offset += ret)
 349       {
 350         ret = write (1, &ptr[offset], to_send - offset);
 351         if (0 >= ret)
 352         {
 353           if (-1 == ret)
 354             GNUNET_log (GNUNET_ERROR_TYPE_DEBUG,
 355                 "Failed to write %u bytes at offset %u (total %u) in phase %d: %s\n",
 356                 (unsigned int) to_send - offset, (unsigned int) offset,
 357                 (unsigned int) (to_send + offset), phase, strerror (errno));
 358           abort_send = 1;
 359           break;
 360         }
 361       }
 362       if (abort_send)
 363         break;
 364     }
 365     gst_buffer_unmap (b, &m);
 366     gst_sample_unref (s);
 367   }
 368
 369   signal (SIGINT, inthandler);
 370   signal (SIGINT, termhandler);
 371
 372   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Returned, stopping playback\n");
 373   quit ();
 374
 375   GNUNET_log (GNUNET_ERROR_TYPE_INFO, "Deleting pipeline\n");
 376   gst_object_unref (GST_OBJECT (pipeline));
 377   pipeline = NULL;
 378   g_source_remove (bus_watch_id);
 379
 380   return 0;
 381 }