Remove ollama from being managed by backstory
This commit is contained in:
parent
234148f046
commit
f725f35af7
@ -20,7 +20,7 @@ services:
|
|||||||
# - MODEL_NAME=claude-3-5-haiku-latest
|
# - MODEL_NAME=claude-3-5-haiku-latest
|
||||||
- DEFAULT_LLM_PROVIDER=ollama
|
- DEFAULT_LLM_PROVIDER=ollama
|
||||||
- MODEL_NAME=${MODEL_NAME:-qwen2.5:7b}
|
- MODEL_NAME=${MODEL_NAME:-qwen2.5:7b}
|
||||||
- OLLAMA_HOST=http://ollama:11434
|
- OLLAMA_HOST=http://battle-linux.ketrenos.com:11434
|
||||||
# Test with OpenVINO; it doesn't work though
|
# Test with OpenVINO; it doesn't work though
|
||||||
# - MODEL_NAME=Qwen3-4B-int4-ov:v1
|
# - MODEL_NAME=Qwen3-4B-int4-ov:v1
|
||||||
# - OLLAMA_HOST=http://ollama-ov-server:11434
|
# - OLLAMA_HOST=http://ollama-ov-server:11434
|
||||||
@ -28,7 +28,6 @@ services:
|
|||||||
devices:
|
devices:
|
||||||
- /dev/dri:/dev/dri
|
- /dev/dri:/dev/dri
|
||||||
depends_on:
|
depends_on:
|
||||||
- ollama
|
|
||||||
- redis
|
- redis
|
||||||
networks:
|
networks:
|
||||||
- internal
|
- internal
|
||||||
@ -66,11 +65,10 @@ services:
|
|||||||
- SSL_ENABLED=false
|
- SSL_ENABLED=false
|
||||||
- DEFAULT_LLM_PROVIDER=ollama
|
- DEFAULT_LLM_PROVIDER=ollama
|
||||||
- MODEL_NAME=${MODEL_NAME:-qwen2.5:7b}
|
- MODEL_NAME=${MODEL_NAME:-qwen2.5:7b}
|
||||||
- OLLAMA_HOST=http://ollama:11434
|
- OLLAMA_HOST=http://battle-linux.ketrenos.com:11434
|
||||||
devices:
|
devices:
|
||||||
- /dev/dri:/dev/dri
|
- /dev/dri:/dev/dri
|
||||||
depends_on:
|
depends_on:
|
||||||
- ollama
|
|
||||||
- redis
|
- redis
|
||||||
networks:
|
networks:
|
||||||
- internal
|
- internal
|
||||||
@ -138,103 +136,6 @@ services:
|
|||||||
networks:
|
networks:
|
||||||
- internal
|
- internal
|
||||||
|
|
||||||
# This doesn't work...
|
|
||||||
# ollama-intel:
|
|
||||||
# image: intelanalytics/ipex-llm-inference-cpp-xpu:latest
|
|
||||||
# container_name: ollama-intel
|
|
||||||
# restart: unless-stopped
|
|
||||||
# env_file:
|
|
||||||
# - .env
|
|
||||||
# devices:
|
|
||||||
# - /dev/dri:/dev/dri
|
|
||||||
# volumes:
|
|
||||||
# - ./cache:/root/.cache # Cache hub models and neo_compiler_cache
|
|
||||||
# - ./ollama:/root/.ollama # Cache the ollama models
|
|
||||||
# ports:
|
|
||||||
# - 11434:11434
|
|
||||||
# environment:
|
|
||||||
# - OLLAMA_HOST=0.0.0.0
|
|
||||||
# - DEVICE=Arc
|
|
||||||
# - OLLAMA_INTEL_GPU=true
|
|
||||||
# - OLLAMA_NUM_GPU=999
|
|
||||||
# - ZES_ENABLE_SYSMAN=1
|
|
||||||
# - ONEAPI_DEVICE_SELECTOR=level_zero:0
|
|
||||||
# - TZ=America/Los_Angeles
|
|
||||||
# command: sh -c 'mkdir -p /llm/ollama && cd /llm/ollama && init-ollama && exec ./ollama serve'
|
|
||||||
|
|
||||||
ollama:
|
|
||||||
build:
|
|
||||||
context: .
|
|
||||||
dockerfile: Dockerfile
|
|
||||||
target: ollama
|
|
||||||
container_name: ollama
|
|
||||||
restart: "always"
|
|
||||||
env_file:
|
|
||||||
- .env
|
|
||||||
environment:
|
|
||||||
- OLLAMA_HOST=0.0.0.0
|
|
||||||
- ONEAPI_DEVICE_SELECTOR=level_zero:0
|
|
||||||
devices:
|
|
||||||
- /dev/dri:/dev/dri
|
|
||||||
ports:
|
|
||||||
- 11434:11434 # ollama serve port
|
|
||||||
networks:
|
|
||||||
- internal
|
|
||||||
volumes:
|
|
||||||
- ./cache:/root/.cache # Cache hub models and neo_compiler_cache
|
|
||||||
- ./ollama:/root/.ollama # Cache the ollama models
|
|
||||||
cap_add: # used for running ze-monitor within container
|
|
||||||
- CAP_DAC_READ_SEARCH # Bypass all filesystem read access checks
|
|
||||||
- CAP_PERFMON # Access to perf_events (vs. overloaded CAP_SYS_ADMIN)
|
|
||||||
- CAP_SYS_PTRACE # PTRACE_MODE_READ_REALCREDS ptrace access mode check
|
|
||||||
|
|
||||||
# ollama-ov-server:
|
|
||||||
# build:
|
|
||||||
# context: .
|
|
||||||
# dockerfile: Dockerfile
|
|
||||||
# target: ollama-ov-server
|
|
||||||
# container_name: ollama-ov-server
|
|
||||||
# restart: "no"
|
|
||||||
# env_file:
|
|
||||||
# - .env
|
|
||||||
# environment:
|
|
||||||
# - OLLAMA_HOST=0.0.0.0
|
|
||||||
# - ONEAPI_DEVICE_SELECTOR=level_zero:0
|
|
||||||
# devices:
|
|
||||||
# - /dev/dri:/dev/dri
|
|
||||||
# ports:
|
|
||||||
# - 11435:11434 # ollama serve port
|
|
||||||
# networks:
|
|
||||||
# - internal
|
|
||||||
# volumes:
|
|
||||||
# - ./cache:/root/.cache # Cache hub models and neo_compiler_cache
|
|
||||||
# - ./ollama:/root/.ollama # Cache the ollama models
|
|
||||||
|
|
||||||
vllm:
|
|
||||||
build:
|
|
||||||
context: .
|
|
||||||
dockerfile: Dockerfile.xpu
|
|
||||||
target: vllm-openai
|
|
||||||
container_name: vllm-openai
|
|
||||||
restart: "always"
|
|
||||||
shm_size: 10.24gb
|
|
||||||
env_file:
|
|
||||||
- .env
|
|
||||||
environment:
|
|
||||||
- OLLAMA_HOST=0.0.0.0
|
|
||||||
# - ONEAPI_DEVICE_SELECTOR=level_zero:0
|
|
||||||
devices:
|
|
||||||
- /dev:/dev
|
|
||||||
- /sys:/sys
|
|
||||||
ports:
|
|
||||||
- 11438:8000 # ollama serve port
|
|
||||||
networks:
|
|
||||||
- internal
|
|
||||||
volumes:
|
|
||||||
- ./cache:/root/.cache # Cache hub models and neo_compiler_cache
|
|
||||||
- ./ollama:/root/.ollama # Cache the ollama models
|
|
||||||
privileged: true
|
|
||||||
|
|
||||||
jupyter:
|
jupyter:
|
||||||
build:
|
build:
|
||||||
context: .
|
context: .
|
||||||
@ -248,7 +149,6 @@ services:
|
|||||||
devices:
|
devices:
|
||||||
- /dev/dri:/dev/dri
|
- /dev/dri:/dev/dri
|
||||||
depends_on:
|
depends_on:
|
||||||
- ollama
|
|
||||||
- miniircd
|
- miniircd
|
||||||
ports:
|
ports:
|
||||||
- 8888:8888 # Jupyter Notebook
|
- 8888:8888 # Jupyter Notebook
|
||||||
|
|||||||
Loading…
x
Reference in New Issue
Block a user