Error when recording commands with NULL (0x00) in the output

[humitos]

I found that there are some sphinx-build commands that use NULL (0x00) character in the output and that output is used to hit the API endpoint https://readthedocs.org/api/v2/command/

This endpoint fails because

ValueError('A string literal cannot contain NUL (0x00) characters.',)

We do some sanitization at https://github.com/rtfd/readthedocs.org/blob/40a4ff3337812621d3c26a0d93d783e097da5ad5/readthedocs/doc_builder/environments.py#L160-L164

but we probably need more than that.

Related Sentry issues:

• https://sentry.io/read-the-docs/readthedocs-org/issues/474597261/
• https://sentry.io/read-the-docs/readthedocs-org/issues/450801246/

This is producing the Builds to fail with an unexpected error.

[stsewd]

I'm not sure if understand the issue, but I can't replicate with this

resp = client.post(
    '/api/v2/command/',
    {
        'build': build['id'],
        'command': 'echo test',
        'output': 'f\0o',
        'exit_code': 0,
        'start_time': str(now - datetime.timedelta(seconds=5)),
        'end_time': str(now),
    },
    format='json',
)

[humitos]

I can't reproduce this locally, even knowing that in production fails with project climt. I think it worth a test with the same database we have in production: Postgres 9.3

[humitos]

This is the problem,

In [31]: for char in bc.output:
    ...:     if char == '\x00':
    ...:         print(char)
    ...:         print(bc.output.index(char))


In [30]: bc.output[7700:8150]
Out[30]: 'lock ending on line 68\nSpecify :okexcept: as an option in the ipython:: block to suppress this message\n\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00\x00----------------'

[JoyMonteiro]

is there anything that can be done from my end? Can I modify something in my docs or build process to
prevent these nulls from appearing in the output?

We just did a major refactor and I would like to update the docs to reflect it.

[JoyMonteiro]

I tried re-building my docs, and it worked just fine, thanks! However, RTD still reports that
the build errored. Not sure what it means since the the docs are live!

https://readthedocs.org/projects/climt/builds/7686064/

[stsewd]

The PR was merged, but the code wasn't deployed yet, probably it failed in the pdf generation step

[JoyMonteiro]

I see, thanks. How long does this process normally take? I'm in no hurry since the HTML docs are live, but just curious.

[stsewd]

We do not have a schedule, but I think a deployment is planned for next week.

[JoyMonteiro]

Great, thanks!

[humitos]

This is already fixed and merged. I will deployed in the next days, so @JoyMonteiro you will just need to re-build your version once it's deployed.

[JoyMonteiro]

Thanks, @humitos!

[humitos]

I'm reopening this issue because after yesterday's deploy it's still happening.