如何設置robots.txt ? 以FileZilla進入Cloudways後台

使用Cloudways建立wordpress網站時，使用rankmath或yoast等SEO外掛會自動建立robots.txt，但如果使用Slim SEO等外掛時，則需要靠自己手動建立。本文將一步一步教學如何手動建立robots.txt，以及問題排除。

步驟1：下載FTP軟體：FileZilla

若要新增robots.txt （或放廣告要用的 ads.txt），必須到Wordpress主機的根目錄public_html資料夾上新增。

由於Cloudways並沒有提供cPanel等管理面板，無法直接從網站到根目錄public_html去修改，因此需透過SFTP(安全檔案傳輸協定)軟體與主機做連線，這邊推薦可以下載FileZilla。

點擊上面網頁後，可以依據Windows 或 macOS平台來下載對應軟體，選擇免費版本即可。

步驟2：建立Cloudways的IP白名單（Whitelist IP）

1. 登入Cloudways主機後，點擊進入建立的伺服器（Server）。
2. 點開左邊欄位的Security選單後，進入Shell Access。
3. 在最下面可以看到Whitelist IP，把自己的IP加入的白名單。（可以到 iplocation 查詢自己現在的IP）

步驟3：Cloudways網站新增與SFTP連線的帳號密碼

1. 登入Cloudways主機後，點擊進入網站（Application）。
2. 點選左邊欄位第一個Access Details。
3. 移到最下面可以看到 SSH/SFTP Details ，點擊「+ Add SFTP User」，建立新的「Username」跟「Password」。

步驟4：開啟FileZilla，輸入自己設定的帳號密碼

在FileZilla上輸入Public IP、Username、Password及Port:22之後，若連線成功，則FileZilla的右邊區塊（Romote site）會出現伺服器的資料夾。

步驟5：進入public_html資料夾，新增/修訂 robots.txt

1. 連線成功後，則可以在右邊靠上區塊（Romote site），點擊public_html，右邊靠下區塊（filename）會顯示資料夾裡面的文件。
2. 找尋public_html裡面有沒有robots.txt，若沒有則在右邊靠下（filename）區塊的空白處按右鍵，新增檔案（Create new file），檔案名稱為「robots.txt」。
3. 新增完後，則點擊robots.txt右鍵，檢視/修訂（View/Edit）。

若還未確認要在robot.txt新增之索引規則，則可參考下方貼上。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://[網站連結]/[xml檔案名稱]

！請注意：[yourWebsiteUrl] 請修訂為網站的網址，[your seo xml] 為你使用的SEO外掛建立的xml檔案，如果用Rank Math 則範例會是https://abc123.com/sitemap_index.xml

步驟6：查詢網站robots.txt

新增完之後，則可以去網址 https://[網站連結]/robot.txt，範例為 https://abc123.com/robot.txt

問題：使用FileZilla修訂robots.txt，並沒有直接更新

我原本使用Rank math作為SEO外掛，後來更換為Slim SEO，兩個外掛的xml檔案名稱不一樣，所以需要更新robots.txt檔案。

但使用FileZilla修訂後，去網站的robots.txt頁面，還是舊的，該如何修訂？

解決方法

更新後必須清除網站暫存（purge），才會看到頁面更新。

如果有安裝Cloudflare的話，則需要使用其Purge everything的功能才行。

1. 登入 Cloudflare帳號， 登入後選擇網站並進入。
2. 選擇左邊欄位 Caching 選單 ，進入 Configuration.
3. 在 Purge Cache 欄位裡面，有個 Purge Everything 點下去並同意後，則可清除暫存。
4. 再次查詢網站robots.txt，則可以看到更新後的規範。