libs: move http.protocol.{date,mime,conditionals} to luci-lib-httpprotoutils

Also adjust the dependencies of components depending on these classes and
flatten the namespace from luci.http.protocol.* to luci.http.*

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: fold luci.http.protocol into luci.http

With only the decoder routines remaining in luci.http.protocol, it makes no
sense to keep the low level protocol class around, so fold the remaining code
into the central luci.http class.

Also adjust the few direct users of luci.http.protocol accordingly.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: refactor luci.http

 - Rewrite getcookie() to use liblucihttp header value parsing
 - Rewrite setfilehandler() to use local variables and have cleaner code
 - Fix build_querystring() to actually *en*code the given params

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: drop luci.util.dtable()

The dtable() function has no user in the entire LuCI repo, so drop it.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Revert "luci-base: add urldecode() and urlencode() C implementations"

This reverts commit ad7dc4a4928e77ae142d0fe040f9e9e64b530e82.

Since we're using liblucihttp now, that library is the appropriate place to
add such decoding helper functions.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: switch to lucihttp based POST data processing

Use the liblucihttp provided multipart and x-www-urlencoded body parsers
and drop the old Lua parsing code.

The C based data parsers are way faster than their old Lua counterparts
while producing less string garbage and more correct results.

While refactoring the luci.http.protocol code, also drop unused functions
and dead code, heavily reducing the module size.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: switch to lucihttp.urldecode() and lucihttp.urlencode()

Drop the Lua implementation in luci.http.protocol and use the optimized C
variants of liblucihttp instead.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

lucihttp: update to latest HEAD

b7470d1 lua: back out early when instantiating parser with bad boundary
e1b1b1f testcases: remove stray .swp file
b46a6ca utils: introduce new LH_URLDECODE_PLUS flag

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1750 from sotux/i18n_zh_cn

luci-base: zh_CN: update Simplified Chinese translation

luci-base: zh_CN: update Simplified Chinese translation

Signed-off-by: Zheng Qian <sotux82@gmail.com>

contrib: package liblucihttp

Package liblucihttp, a utility library providing HTTP parsing and data
decoding helpers.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-openvpn: properly parse low PIDs

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1744 from dibdot/mwan-fix

luci-app-mwan3: bugfix

luci-app-mwan3: bugfix

* two more luci.model.uci fixes for #1743

Signed-off-by: Dirk Brenken <dev@brenken.org>

i18n: sync translations, cleanup

* sync translations
* clean-up old strings from adblock

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #1742 from fantom-x/dhcp_cachesize_max

luci-mod-admin-full: limit dns cachesize to 10000

luci-base: fix rendering of 404 HTML error template

This 404 error template rendering has been broken for a long time due to bad
function environment level in luci.template when invoking the rendering from
the toplevel dispatcher context.

Fix this issue by adding a local function indirection, essentially adding an
additional stack frame.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: error404: do not access request env directly

Instead of attempting to access the request environment directly (which does
not work anyway using the CGI SGI), use the already sanitized
dispatcher.context.request property to print out the not found url.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: don't propagate null bytes in path information

It is possible to inject unescaped markup using a double encoded null byte
via PATH_INFO on certain leaf nodes.

Since there is no legitimate reason to handle null bytes in any part of the
requested url, simply skip over such bytes when parsing the PATH_INFO value.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: add urldecode() and urlencode() C implementations

The C implementations of urlencode and urldecode are considerably faster
than their current Lua counterparts.

On an AMD Geode system, the C variant is up to ten times faster when
decoding strings and up to four times faster when encoding them.

The functions are also designed to only allocate new strings when any
actual changes are required, otherwise they reuse the existing input
strings, reducing the overal memory usage somewhat.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-admin-full: limit dns cachesize to 10000

The value of cachesize is hardcoded to 10000 in
dnsmasq-2.79/src/option.c to 10000 max

    case 'c':  /* --cache-size */
      {
        int size;

        if (!atoi_check(arg, &size))
          ret_err(gen_err);
        else
          {
            /* zero is OK, and means no caching. */

            if (size < 0)
              size = 0;
            else if (size > 10000)
              size = 10000;

            daemon->cachesize = size;
          }
        break;
      }

Tested on Netgear R7800
Signed-off-by: Marc Benoit <marcb62185@gmail.com>

Merge pull request #1741 from dibdot/mwan-fix

luci-app-mwan3: bugfix

luci-mod-admin-full: allow setting dns cachesize

In the case of more powerful routers the default
cachesize value == 150 is too small and can easily
be extended to 1,000's and 10,000's of entries.
It makes sense to make it easy configurable.

Tested on Netgear R7800

Signed-off-by: Marc Benoit <marcb62185@gmail.com>
Fix whitespace, edit the proposed help text.
Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-app-mwan3: bugfix

* make use of luci.model.uci to fix #1740

Signed-off-by: Dirk Brenken <dev@brenken.org>

luci-base: consider empty parameters as well when testing POST requirement

The cbi class will react on an empty "cbi.submit" parameter as well so we
must intercept GET requests using that too.

Fixes 186e690c0 ("luci-base: dispatcher: reject non-POST requests with any cbi.submit value")

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

i18n: sync translations

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

timezone data: update to 2018d

Update timezone data to 2018d

http://mm.icann.org/pipermail/tz-announce/2018-March/000049.html

  In 2018, Palestine starts DST on March 24, not March 31.
     Adjust future predictions accordingly.
  Casey Station in Antarctica changed from +11 to +08

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

luci-app-advanced-reboot: remove explicit libuci requirement

Rewrite affected code to use luci.model.uci in order to avoid the need for
using libuci-lua directly.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-vpnbypass: remove explicit libuci requirement

There is no direct user of the libuci-lua api, just some commented out code.
Rewrite the commented code to use the Map's uci cursor and remove the
explicit require.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: fix luci.model.uci.get_first()

Properly propagate the config parameter to the foreach iterator in order
to fix get_first() lookups.

Fixes #1734.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1733 from stangri/master

luci-app-advanced-reboot & luci-app-vpnbypass: fix uci require for ma…

luci-app-advanced-reboot & luci-app-vpnbypass: fix uci require for master

Signed-off-by: Stan Grishin <stangri@melmac.net>

luci-base: escape path strings and field parameter

Prevent various XSS vectors by not interpolating field and path values
verbatim into script and html contexts.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-openvpn: quote grep expression in getPID()

Fixes c0d9c4f3c ("treewide: filter shell arguments through shellquote() where applicable")

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-mwan: fix translation fallout

Partially fix the fallout from the recent string changes.

Signed-off-by: Hannu Nyman <hannu.nyman@iki.fi>

Merge pull request #1727 from TDT-AG/pr/20180406-luci-app-mwan3-changes

luci-app-mwan3: fix translation and update defaults

Merge pull request #1730 from dibdot/travelmate

luci-app-travelmate: bring back cbi element to wifi_add.lua

luci-app-travelmate: bring back cbi element to wifi_add.lua

* b00b676 fixed the cbi initialization for SimpleForm, therefore bring
  back "Ignore BSSID" flag with dependent input field

Signed-off-by: Dirk Brenken <dev@brenken.org>

luci-base: properly initialize cbi.js on SimpleForms

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-mwan3: show default values in interface page if config is not found

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: update translations

Update hint in the interface page.
Update hint in the policy page.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-mod-admin-full: dispatch SimpleForm models using the form() action

This fixes issues dicovered by check-controllers.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-freifunk: dispatch SimpleForm model using the form() action

This fixes issues dicovered by check-controllers.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-dnscrypt-proxy: dispatch SimpleForm models using the form() action

This fixes issues dicovered by check-controllers.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-wol: dispatch SimpleForm model using the form() action

This fixes issues dicovered by check-controllers.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-firewall: dispatch SimpleForm model using the form() action

This fixes issues dicovered by check-controllers.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-unbound: dispatch SimpleForm models using the form() action

This fixes issues dicovered by check-controllers.sh

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: emit a warning if cbi() delegates a SimpleForm instance

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

build: add check-controller.sh, a utility to test controller files

The main purpose of the script is to check if the module declaration
matches and if associated cbi resources are properly referenced.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-mwan3: fix legacy uci api usage

Explicitely require libuci-lua in model classes that use legacy /var/state
cursor handling.

Also add a specific dependency on libuci-lua to the luci-app-mwan3
Makefile in preparation of the upcoming default removal of libuci-lua.

Finally fix the post data dispatching on the notification tab, see #1722
for reference.

Fixes #1726.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: implement luci.model.uci.get_state()

Introduce a get_state() function which can be used to access legacy
uci state variables. This is usually not needed anymore but some
packages (mainly mwan3) still rely on this.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-proto-ipv6: clarify 6in4 local address hint

Make the hint message more explicit to tell users that the prefix size needs
to be specified as well.

Fixes #1559.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-rpc: rework authentication and session handling

 - Use the ubus session.login procedure to authenticate credentials
 - Fix testing of allowed usernames
 - Support authentication via sysauth cookie

Fixes #1300, #1700, #1711

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-admin-full: fix request path access in uci controller

Fixes #1725
Fixes 731ed77c0 ("treewide: improve handling of page redirections in uci change views")

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-admin-full: escape display parameter

Prevent reflected XSS through the reset button by url encoding the
display parameter.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

treewide: improve handling of page redirections in uci change views

Instead of passing the full LuCI request url, pass the relative resolved
request path instead and filter the received value through the lookup()
dispatcher function to only allow paths to actual internal pages.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: introduce luci.dispatcher.lookup()

The lookup function takes multiple, possibly malformed path fragments,
splits them on slashes, constructs a temporary path and looks up the
result in the dispatch tree.

If a matching node has been found, the function will return both the
node reference and the canonical url to it.

If no corresponding node is found, the function returns nil.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1723 from dibdot/travelmate

luci-app-travelmate: bugfixes

luci-app-travelmate: bugfixes

* use the form() action to invoke the SimpleForm models
* fix 'wifi_add' input form

Signed-off-by: Dirk Brenken <dev@brenken.org>

luci-app-adblock: fix SimpleForm page delegation

Invoke the SimpleForm models using the form() action, not the cbi() ones.
This avoids the extraneous rendering of the cbi header template, avoiding
rejected save operations due to duplicated token value.

Fixes #1722.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

Merge pull request #1718 from dibdot/travelmate

luci-app-travelmate: sync with travelmate 1.2.0

Merge pull request #1709 from dibdot/get_interface-fix

luci-base/network.lua: fix get_interface function

treewide: filter shell arguments through shellquote() where applicable

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: introduce luci.util.shellquote()

Introduce a new function luci.util.shellquote() which encloses the given
string argument in single quotes and escapes any embedded single quote
characters.

This function is intended to be used when interpolating untrusted input
into shell commands.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-admin-full: fix possible shell injection in bandwith status

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: fix possible shell injection in luci.tools.status.switch_status()

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: dispatcher: reject non-POST requests with any cbi.submit value

Due to the fact that luci.model.cbi reacts on any "cbi.submit" value while
the dispatcher only required POST for cbi.submit == 1, the CSRF token
protection could be bypassed.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-freifunk-diagnostics: use FULL_REQUEST_URI

Switch from using the REQUEST_URI CGI variable directly to the canonicalized
FULL_REQUEST_URI property.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-commands: use FULL_REQUEST_URI

Switch from using the REQUEST_URI CGI variable directly to the canonicalized
FULL_REQUEST_URI property.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: use FULL_REQUEST_URI on login form templates

Switch from using the REQUEST_URI CGI variable directly to the canonicalized
FULL_REQUEST_URI property.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: add FULL_REQUEST_URI template property

Introduce a new template property FULL_REQUEST_URI which returns the full
canonicalized request URL built from SCRIPT_NAME, PATH_INFO and QUERY_STRING.

This new property is safer to use compared to using the raw REQUEST_URI CGI
environment variable directly as this value is essentially untrusted user
input which may contain embedded escaped slashes, double forward slashes and
other oddities allowing XSS exploitation or request redirection.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-mod-admin-full: use strict hostname validation for dhcp hosts

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: add a strict flag to the hostname validator

Some applications, e.g. dnsmasq, do not allow hostnames starting with an
underscore, therefor extend the existing hostname datatype validator with
a `strict` which disallows a leading underscore.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-base: switch to ubus uci operations

Switch luci.model.uci to use ubus uci calls instead of driving libuci-lua
directly.

This prepares support for more advanced features such as per-session change
isolation and configuration rollback on errors.

Signed-off-by: Jo-Philipp Wich <jo@mein.io>

luci-app-travelmate: sync with travelmate 1.2.0

* remove needless 'automatic' and 'trigger' options plus small fixes

Signed-off-by: Dirk Brenken <dev@brenken.org>

Merge pull request #1715 from TDT-AG/pr/20180403-luci-app-mwan3-update

luci-app-mwan3: fixes and improvments

luci-app-mwan3: remove unnecessary 'tracking active' hint

Remove the unnecessary 'tracking active' hint from the status interface
page.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: remove diag-rc-legend field id

On the material theme the "Collecting data" hint in the status pages
was still present on the page even though the command was sucessfull executed.

Remove the legend tag and move the info "Collecting data" to the
"diag-rc-output" tag will solve this issue.

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: calculate max interface usage from mmx_mask value

Show max interface value on interface page dependent on the mmx_mask
value

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-base: zh_CN: update Simplified Chinese translation

Signed-off-by: Qian Zheng <sotux82@gmail.com>

luci-base/network.lua: fix get_interface function

* fix wrong private function call to handle
  section id as parameter (fix for #1687)

Signed-off-by: Dirk Brenken <dev@brenken.org>

Merge pull request #1706 from musashino205/l10n/tmate-upd-ja

luci-app-travelmate: update Japanese translation

luci-app-travelmate: update Japanese translation

Updated Japanese translations.

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

i18n: sync translations

Signed-off-by: INAGAKI Hiroshi <musashino.open@gmail.com>

Merge pull request #1703 from dibdot/travelmate

luci-app-travelmate: made "ignore bssid" flag conditional

Merge pull request #1704 from TDT-AG/pr/20180328-luci-app-mwan3-fixes

luci-app-mwan3: fix syntax error and update notify page

luci-app-mwan3: update notify info

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: fix strict XHTML syntax error

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-travelmate: made "ignore bssid" flag conditional

* made the "ignore bssid" flag conditional to ease connection
  to hidden networks:
    * default for hidden networks "disabled"
    * default for all others "enabled"

Signed-off-by: Dirk Brenken <dev@brenken.org>

Merge pull request #1697 from TDT-AG/pr/20180323-luci-base-fix-tblsection

luci-base: add missing colspan in tblsection if table is empty

luci-base: fix colspans calculation in tblsection

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

Merge pull request #1701 from SvenRoederer/patch-2

wireguard: add dependency to luci-proto-wireguard

wireguard: add dependency to luci-proto-wireguard

Installing luci-app-wireguard should also install luci-proto-wireguard, to have it as an protocol for interface setup.

Signed-off-by: Sven Roederer <devel-sven@geroedel.de>

Merge pull request #1696 from TDT-AG/pr/20180323-luci-app-mwan3-add-boxes-again

luci-app-mwan3: add boxes again and update css in luci-theme-material

luci-theme-material: add missing css classes

* Add missing css class danger
* Add missing css class success
* Update background color for css class warning

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: add missing graphics boxes again

Add css boxes for mwan3 status again

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

luci-app-mwan3: remove notMonitored status information

This case is not supported by mwan3 anymore

Signed-off-by: Florian Eckert <fe@dev.tdt.de>

Merge pull request #1695 from dibdot/regex-dhcphost

luci-base/util.lua: enhance checklib function

luci-base/util.lua: enhance checklib function

* enhance the checklib function in util.lua to check the 'fullpathexe'
  as well, e.g. this fixes runtime errors on the dhcp/dns template in
  environments without dnsmasq

Signed-off-by: Dirk Brenken <dev@brenken.org>

Merge pull request #1693 from sotux/master_zh-cn-translation

luci-app-upnp: zh_CN: Update Simplified Chinese translation