fix overly pessimistic realloc strategy in getdelim
authorRich Felker <dalias@aerifal.cx>
Sun, 20 Dec 2015 05:32:46 +0000 (00:32 -0500)
committerRich Felker <dalias@aerifal.cx>
Sun, 20 Dec 2015 05:39:35 +0000 (00:39 -0500)
previously, getdelim was allocating twice the space needed every time
it expanded its buffer to implement exponential buffer growth (in
order to avoid quadratic run time). however, this doubling was
performed even when the final buffer length needed was already known,
which is the common case that occurs whenever the delimiter is in the
FILE's buffer.

this patch makes two changes to remedy the situation:

1. over-allocation is no longer performed if the delimiter has already
been found when realloc is needed.

2. growth factor is reduced from 2x to 1.5x to reduce the relative
excess allocation in cases where the delimiter is not initially in the
buffer, including unbuffered streams.

in theory these changes could lead to quadratic time if the same
buffer is reused to process a sequence of lines successively
increasing in length, but once this length exceeds the stdio buffer
size, the delimiter will not be found in the buffer right away and
exponential growth will still kick in.

src/stdio/getdelim.c

index 813b09fcfbc2b91b991158b3721160464b5e411f..1ccd8029238987f05e183c3bfec186287dff89f0 100644 (file)
@@ -30,7 +30,7 @@ ssize_t getdelim(char **restrict s, size_t *restrict n, int delim, FILE *restric
                if (i+k+1 >= *n) {
                        if (k >= SIZE_MAX/2-i) goto oom;
                        size_t m = i+k+2;
-                       if (m < SIZE_MAX/4) m *= 2;
+                       if (!z && m < SIZE_MAX/4) m += m/2;
                        tmp = realloc(*s, m);
                        if (!tmp) {
                                m = i+k+2;