Featured image of post 為Ollama開放區域網存取端口(全平台指引)

為Ollama開放區域網存取端口(全平台指引)

​Ollama是一款功能強大的本地大語言模型服務工具,在本地部署後,有時我們希望能在區域網內的其他裝置上便捷地存取它。這就需要開放相應端口,下面為大家詳細介紹操作步驟。

Ollama開放端口讓區域網存取指引

Ollama作為一款強大的開源大語言模型運行工具,預設情況下僅允許本地存取。然而,在實際應用中,我們可能希望區域網內的其他裝置也能訪問Ollama服務。本文將詳細介紹如何在Windows、Linux和Mac系統上開放端口,讓Ollama服務能在區域網內被存取。 ollama open port

Windows系統

在Windows系統上,要讓Ollama服務在區域網內可存取,主要需要完成以下兩步:

  1. 設定環境變數OLLAMA_HOST

    • Ollama服務使用環境變數OLLAMA_HOST來指定監聽地址。預設情況下,它僅監聽localhost,即只能本地存取。
    • 要讓區域網內其他裝置可以訪問Ollama服務,需要將OLLAMA_HOST設為0.0.0.0。這表示Ollama將監聽所有網路介面上的連接嘗試。
    • 設定環境變數的步驟如下:
      • 右鍵點擊「此電腦」或「計算機」,選擇「屬性」。
      • 在左側點擊「進階系統設定」。
      • 在彈出的窗口中,點擊「環境變數」。
      • 在「系統變數」部分,點擊「新增」。
      • 在「變數名稱」輸入框中,輸入OLLAMA_HOST。
      • 在「變數值」輸入框中,輸入0.0.0.0,然後點擊「確定」。
      • 設定完成後,確保關閉並重新打開命令行窗口,使新的環境變數生效。
  2. 在Windows防火牆中開放端口

    • 為了使其他裝置能訪問Ollama服務,我們需要在Windows防火牆中開放Ollama服務運行的端口(例如11434)。
    • 打開「控制面板」,搜索並選擇「Windows Defender防火牆」。
    • 在左側點擊「進階設定」,進入進階防火牆設定頁面。
    • 在左側菜單中,點擊「入站規則」,然後在右側點擊「新增規則」。
    • 選擇「端口」作為規則類型,然後點擊「下一步」。
    • 選擇TCP,並在「特定本地端口」一欄中輸入11434,然後點擊「下一步」。
    • 選擇「允許連接」,點擊「下一步」。
    • 根據需求選擇應用的網路類型(域、專用或公共),點擊「下一步」。
    • 為這條規則命名(如「Allow Ollama Port 11434」),然後點擊「完成」。

Linux系統

在Linux系統上,要讓Ollama服務在區域網內可存取,主要需要完成以下兩步:

  1. 修改配置文件

    • 對於基於Systemd管理的Linux發行版,可以通過以下命令編輯Ollama服務配置:
      1
      
      sudo systemctl edit ollama.service
      
    • 執行該命令後,預設會使用nano編輯器打開配置文件。在打開的配置文件中,找到合適的位置添加以下內容:
      1
      2
      
      [Service]
      Environment="OLLAMA_HOST=0.0.0.0:11434"
      
    • 這一步的作用是將Ollama服務綁定到所有可用網絡介面(0.0.0.0)的11434端口上,以確保區域網內其他裝置能訪問。
  2. 應用配置並重啟服務

    • 完成配置文件的修改後,需要重新加載Systemd守護進程的配置,並重啟Ollama服務,使修改生效:
      1
      2
      
      sudo systemctl daemon-reload
      sudo systemctl restart ollama.service
      
  3. 開放防火牆端口(如需)

    • 如果系統啟用了防火牆,還需要開放相應的TCP端口號以便外部通訊。例如,使用firewalld工具可以執行以下命令:
      1
      2
      
      sudo firewall-cmd --zone=public --add-port=11434/tcp --permanent
      sudo firewall-cmd --reload
      

Mac系統

在Mac系統上,要讓Ollama服務在區域網內可存取,主要需要完成以下步驟:

  1. 設定環境變數OLLAMA_HOST

    • 打開Terminal應用,執行以下命令來設定環境變數:
      1
      
      export OLLAMA_HOST=0.0.0.0:11434
      
    • 注意,這樣設定的環境變數是臨時的,每次開機都需要重新設定。為了永久生效,可以將上述命令添加到~/.zshrc文件中:
      1
      
      nano ~/.zshrc
      
      在文件末尾添加以下內容:
      1
      
      export OLLAMA_HOST=0.0.0.0:11434
      
      保存並退出編輯器(在nano中,按Ctrl+X,然後按Y確認保存)。
  2. 測試訪問

    • 在Mac本機的瀏覽器中輸入http://127.0.0.1:11434進行測試。
    • 在區域網中的其他裝置的瀏覽器中輸入http://<Mac本機IP地址>:11434進行測試。例如,如果Mac本機的IP地址是192.168.1.100,則在其他裝置的瀏覽器中輸入http://192.168.1.100:11434

總結

通過以上步驟,我們可以在Windows、Linux和Mac系統上成功開放端口,讓Ollama服務能夠在區域網內被存取。這樣,區域網內的其他裝置就能方便地調用Ollama服務,實現更廣泛的應用場景。

使用 Hugo 建立
主題 StackJimmy 設計