[SOLVED] Hi, Iโ€™ve been trying to deploy to Dagster...
# ask-community
h
[SOLVED] Hi, Iโ€™ve been trying to deploy to Dagster Cloud but I got an error I donโ€™t understand. No logs to debug either. Posting the logs as a reply, any help appreciated ๐Ÿ™‚
Copy code
Building project dependencies for Python 3.8, writing to /var/folders/fp/75kvyxcj6td_58znsqwk66rm0000gn/T/tmpds0412oz
Warning: Failed to build dependencies in current environment, falling back to build in a docker environment
Running docker <http://ghcr.io/dagster-io/dagster-manylinux-builder:latest|ghcr.io/dagster-io/dagster-manylinux-builder:latest>
Mapped folders:
 - /var/folders/fp/75kvyxcj6td_58znsqwk66rm0000gn/T/tmpds0412oz -> /output
Error: Failed to build dependencies using docker
Error: โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ Traceback (most recent call last) โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ
โ”‚ /opt/python/cp38-cp38/lib/python3.8/site-packages/dagster_cloud_cli/commands โ”‚
โ”‚ /serverless/__init__.py:427 in build_python_dependencies                     โ”‚
โ”‚                                                                              โ”‚
โ”‚   424 โ”‚   pex_flags: str,                                                    โ”‚
โ”‚   425 ):                                                                     โ”‚
โ”‚   426 โ”‚   ui.print(f"Going to build Python dependencies pex from {requiremen โ”‚
โ”‚ โฑ 427 โ”‚   pex_builder.deps.build_deps_from_requirements_file(                โ”‚
โ”‚   428 โ”‚   โ”‚   requirements_path, output_pex_path, json.loads(pex_flags)      โ”‚
โ”‚   429 โ”‚   )                                                                  โ”‚
โ”‚   430                                                                        โ”‚
โ”‚                                                                              โ”‚
โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚
โ”‚ โ”‚   output_pex_path = '/output/deps-from-ef3fb9d507aeb380ebae4d1e6e2d18e1โ€ฆ โ”‚ โ”‚
โ”‚ โ”‚         pex_flags = '["--platform=manylinux2014_x86_64-cp-38-cp38",      โ”‚ โ”‚
โ”‚ โ”‚                     "--no-strip-pex-env", "--pip-vers'+41                โ”‚ โ”‚
โ”‚ โ”‚ requirements_path = '/output/deps-requirements-ef3fb9d507aeb380ebae4d1eโ€ฆ โ”‚ โ”‚
โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚
โ”‚                                                                              โ”‚
โ”‚ /opt/python/cp38-cp38/lib/python3.8/site-packages/dagster_cloud_cli/core/pex โ”‚
โ”‚ _builder/deps.py:289 in build_deps_from_requirements_file                    โ”‚
โ”‚                                                                              โ”‚
โ”‚   286 โ”‚   โ”‚   โ”‚   โ”‚   logging.warning(proc.stderr.decode("utf-8"))           โ”‚
โ”‚   287 โ”‚   โ”‚   โ”‚   โ”‚   logging.warning("Will retry building deps with a diffe โ”‚
โ”‚   288 โ”‚   โ”‚   โ”‚   else:                                                      โ”‚
โ”‚ โฑ 289 โ”‚   โ”‚   โ”‚   โ”‚   raise DepsBuildFailure(proc)                           โ”‚
โ”‚   290 โ”‚   โ”‚   else:                                                          โ”‚
โ”‚   291 โ”‚   โ”‚   โ”‚   break                                                      โ”‚
โ”‚   292                                                                        โ”‚
โ”‚                                                                              โ”‚
โ”‚ โ•ญโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€ locals โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฎ โ”‚
โ”‚ โ”‚           add_on_flags = ['--resolver-version=pip-2020-resolver']        โ”‚ โ”‚
โ”‚ โ”‚ deps_requirements_path = '/output/deps-requirements-ef3fb9d507aeb380ebaโ€ฆ โ”‚ โ”‚
โ”‚ โ”‚        output_pex_path = '/output/deps-from-ef3fb9d507aeb380ebae4d1e6e2โ€ฆ โ”‚ โ”‚
โ”‚ โ”‚              pex_flags = [                                               โ”‚ โ”‚
โ”‚ โ”‚                          โ”‚                                               โ”‚ โ”‚
โ”‚ โ”‚                          '--platform=manylinux2014_x86_64-cp-38-cp38',   โ”‚ โ”‚
โ”‚ โ”‚                          โ”‚   '--no-strip-pex-env',                       โ”‚ โ”‚
โ”‚ โ”‚                          โ”‚   '--pip-version=22.2.2',                     โ”‚ โ”‚
โ”‚ โ”‚                          โ”‚   '--resolve-local-platforms',                โ”‚ โ”‚
โ”‚ โ”‚                          โ”‚   '--resolver-version=pip-2020-resolver'      โ”‚ โ”‚
โ”‚ โ”‚                          ]                                               โ”‚ โ”‚
โ”‚ โ”‚                   proc = CompletedProcess(args=['/opt/python/cp38-cp38/โ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          '-m', 'pex',                                    โ”‚ โ”‚
โ”‚ โ”‚                          '--platform=manylinux2014_x86_64-cp-38-cp38',   โ”‚ โ”‚
โ”‚ โ”‚                          '--no-strip-pex-env', '--pip-version=22.2.2',   โ”‚ โ”‚
โ”‚ โ”‚                          '--resolve-local-platforms',                    โ”‚ โ”‚
โ”‚ โ”‚                          '--resolver-version=pip-2020-resolver', '-r',   โ”‚ โ”‚
โ”‚ โ”‚                          '/output/deps-requirements-ef3fb9d507aeb380ebaโ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          '-o',                                           โ”‚ โ”‚
โ”‚ โ”‚                          '/output/deps-from-ef3fb9d507aeb380ebae4d1e6e2โ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          returncode=1, stdout=b'', stderr=b'pid 284 ->   โ”‚ โ”‚
โ”‚ โ”‚                          /root/.pex/venvs/0c9f19ef5fa1cf8671bbf48e92b51โ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          -sE                                             โ”‚ โ”‚
โ”‚ โ”‚                          /root/.pex/venvs/0c9f19ef5fa1cf8671bbf48e92b51โ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          --disable-pip-version-check                     โ”‚ โ”‚
โ”‚ โ”‚                          --no-python-version-warning --exists-action a   โ”‚ โ”‚
โ”‚ โ”‚                          --no-input --isolated -q --cache-dir            โ”‚ โ”‚
โ”‚ โ”‚                          /root/.pex/pip_cache --log                      โ”‚ โ”‚
โ”‚ โ”‚                          /tmp/pex-pip-log.2z1s6n45/pip.log download      โ”‚ โ”‚
โ”‚ โ”‚                          --dest                                          โ”‚ โ”‚
โ”‚ โ”‚                          /root/.pex/downloads/resolver_download.u5l0n5pโ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          --requirement                                   โ”‚ โ”‚
โ”‚ โ”‚                          /output/deps-requirements-ef3fb9d507aeb380ebaeโ€ฆ โ”‚ โ”‚
โ”‚ โ”‚                          --index-url <https://pypi.org/simple> --retries 5 โ”‚ โ”‚
โ”‚ โ”‚                          --timeout 15 exited with 1 and STDERR:\n        โ”‚ โ”‚
โ”‚ โ”‚                          error: subprocess-exited-with-error\n  \n       โ”‚ โ”‚
โ”‚ โ”‚                          \xc3\x97 python setup.py egg_info did not run   โ”‚ โ”‚
โ”‚ โ”‚                          successfully.\n  \xe2\x94\x82 exit code: 1\n    โ”‚ โ”‚
โ”‚ โ”‚                          \xe2\x95\xb0\xe2\x94\x80> See above for         โ”‚ โ”‚
โ”‚ โ”‚                          output.\n  \n  note: This error originates from โ”‚ โ”‚
โ”‚ โ”‚                          a subprocess, and is likely not a problem with  โ”‚ โ”‚
โ”‚ โ”‚                          pip.\nerror:                                    โ”‚ โ”‚
โ”‚ โ”‚                          metadata-generation-failed\n\n\xc3\x97          โ”‚ โ”‚
โ”‚ โ”‚                          Encountered error while generating package      โ”‚ โ”‚
โ”‚ โ”‚                          metadata.\n\xe2\x95\xb0\xe2\x94\x80> See above  โ”‚ โ”‚
โ”‚ โ”‚                          for output.\n\nnote: This is an issue with the  โ”‚ โ”‚
โ”‚ โ”‚                          package mentioned above, not pip.\nhint: See    โ”‚ โ”‚
โ”‚ โ”‚                          above for details.\n\n')                        โ”‚ โ”‚
โ”‚ โ”‚              try_flags = []                                              โ”‚ โ”‚
โ”‚ โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ โ”‚
โ•ฐโ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ”€โ•ฏ
DepsBuildFailure: CompletedProcess(args=['/opt/python/cp38-cp38/bin/python3.8', 
'-m', 'pex', '--platform=manylinux2014_x86_64-cp-38-cp38', '--no-strip-pex-env',
'--pip-version=22.2.2', '--resolve-local-platforms', 
'--resolver-version=pip-2020-resolver', '-r', 
'/output/deps-requirements-ef3fb9d507aeb380ebae4d1e6e2d18e115d3c4da.txt', '-o', 
'/output/deps-from-ef3fb9d507aeb380ebae4d1e6e2d18e115d3c4da.pex'], returncode=1,
stdout=b'', stderr=b'pid 284 -> 
/root/.pex/venvs/0c9f19ef5fa1cf8671bbf48e92b5182927631202/b8ce33d137022c6ee7d0b3
19035a1c56a7bcaa1e/bin/python -sE 
/root/.pex/venvs/0c9f19ef5fa1cf8671bbf48e92b5182927631202/b8ce33d137022c6ee7d0b3
19035a1c56a7bcaa1e/pex --disable-pip-version-check --no-python-version-warning 
--exists-action a --no-input --isolated -q --cache-dir /root/.pex/pip_cache 
--log /tmp/pex-pip-log.2z1s6n45/pip.log download --dest 
/root/.pex/downloads/resolver_download.u5l0n5ps/opt._internal.cpython-3.8.16.bin
.python3.8 --requirement 
/output/deps-requirements-ef3fb9d507aeb380ebae4d1e6e2d18e115d3c4da.txt 
--index-url <https://pypi.org/simple> --retries 5 --timeout 15 exited with 1 and 
STDERR:\n  error: subprocess-exited-with-error\n  \n  \xc3\x97 python setup.py 
egg_info did not run successfully.\n  \xe2\x94\x82 exit code: 1\n  
\xe2\x95\xb0\xe2\x94\x80> See above for output.\n  \n  note: This error 
originates from a subprocess, and is likely not a problem with pip.\nerror: 
metadata-generation-failed\n\n\xc3\x97 Encountered error while generating 
package metadata.\n\xe2\x95\xb0\xe2\x94\x80> See above for output.\n\nnote: This
is an issue with the package mentioned above, not pip.\nhint: See above for 
details.\n\n')
Nevermind, I got it solved! Using
deploy-docker
allows me to see the error messages clearly. Only after successfuly setting up with it, I switched back to
deploy-python-executable
๐Ÿ™‚
d
Ah great - I'll raise this with the team and see why the error was unclear. Is it possible to share what the problem ended up being?