fixed a lot of things and actually got it to work
This commit is contained in:
22
README.md
22
README.md
@@ -15,6 +15,8 @@ services:
|
||||
- "10200:10200"
|
||||
volumes:
|
||||
- glados_model_cache:/data
|
||||
- glados_hf_cache:/root/.cache/huggingface
|
||||
- glados_nltk_data:/root/nltk_data
|
||||
environment:
|
||||
- MODEL_DIR=/data
|
||||
- URI=tcp://0.0.0.0:10200
|
||||
@@ -23,6 +25,8 @@ services:
|
||||
|
||||
volumes:
|
||||
glados_model_cache:
|
||||
glados_hf_cache:
|
||||
glados_nltk_data:
|
||||
```
|
||||
|
||||
### CUDA (NVIDIA GPU)
|
||||
@@ -36,10 +40,14 @@ services:
|
||||
- "10200:10200"
|
||||
volumes:
|
||||
- glados_model_cache:/data
|
||||
- glados_hf_cache:/root/.cache/huggingface
|
||||
- glados_nltk_data:/root/nltk_data
|
||||
environment:
|
||||
- MODEL_DIR=/data
|
||||
- URI=tcp://0.0.0.0:10200
|
||||
- DEVICE=cuda
|
||||
- HALF=true
|
||||
- PRELOAD=true
|
||||
deploy:
|
||||
resources:
|
||||
reservations:
|
||||
@@ -51,6 +59,8 @@ services:
|
||||
|
||||
volumes:
|
||||
glados_model_cache:
|
||||
glados_hf_cache:
|
||||
glados_nltk_data:
|
||||
```
|
||||
|
||||
### ROCm (AMD GPU)
|
||||
@@ -64,10 +74,17 @@ services:
|
||||
- "10200:10200"
|
||||
volumes:
|
||||
- glados_model_cache:/data
|
||||
- glados_hf_cache:/root/.cache/huggingface
|
||||
- glados_nltk_data:/root/nltk_data
|
||||
- glados_miopen_cache:/root/.cache/miopen
|
||||
environment:
|
||||
- MODEL_DIR=/data
|
||||
- URI=tcp://0.0.0.0:10200
|
||||
- DEVICE=rocm
|
||||
- HALF=true
|
||||
- PRELOAD=true
|
||||
- MIOPEN_FIND_MODE=1
|
||||
- MIOPEN_DEBUG_CONV_GEMM=0
|
||||
devices:
|
||||
- /dev/kfd
|
||||
- /dev/dri
|
||||
@@ -75,6 +92,9 @@ services:
|
||||
|
||||
volumes:
|
||||
glados_model_cache:
|
||||
glados_hf_cache:
|
||||
glados_nltk_data:
|
||||
glados_miopen_cache:
|
||||
```
|
||||
|
||||
## Docker Compose (All Variants)
|
||||
@@ -98,7 +118,7 @@ See the detailed guides for Wyoming protocol setup and configuration:
|
||||
- [HOMEASSISTANT_INTEGRATION.md](HOMEASSISTANT_INTEGRATION.md)
|
||||
|
||||
For AMD ROCm-specific deployment notes and troubleshooting:
|
||||
- [README-GlaDOS-TYS-Wyoming-and-ROCM.md](README-GlaDOS-TYS-Wyoming-and-ROCM.md)
|
||||
- [README-GLaDOS-TYS-Wyoming-and-ROCM.md](README-GLaDOS-TYS-Wyoming-and-ROCM.md)
|
||||
|
||||
## Model
|
||||
|
||||
|
||||
Reference in New Issue
Block a user