2022年7月15日 星期五

加速QGIS處理速度- QGIS model designer,自動化處理模組

    

「在QGIS中,有辦法把許多功能一起串連起來嗎?」、「有方法可以減少重複步驟的執行嗎?」、「我可以寫出一個簡單的演算法嗎?」 


本篇文章交進行QGIS model designer,並優化QGIS影向向量化的方式。

本篇文章不建議沒有任何背景知識的人閱讀,閱讀本篇文章前,建議先閱讀以下三篇文章:

1.學習如何使用 QGIS model designer:可以參考看看林政道老師的教學,請點此連結

2.學習如何進行QGIS影向向量化:請參考本部落的教學貼文,QGIS技術-影像計算(Raster calculator),將WMTS圖磚轉換為向量資料

3.學習如何修正向量圖層錯樸拓物:請參考本部落格的教學文章,QGIS疑難雜症-SHP圖層拓樸校正

這篇文章算是集這個部落格技術的一個大成,一開始看不懂或是操作上遇到問題,都是很正常的~

以下文章將開始進行介紹。

2022年6月16日 星期四

QGIS疑難雜症-SHP圖層拓樸校正

「為什麼我的圖層無法進行空間運算?」、「出現無效幾何( invalid geometry)的問題,我應該如何處理?」、「出現Please fix the geometry or change the Processing setting to the “Ignore invalid input features” option.,我要怎麼辦?」、「要如何檢查圖層是否有拓樸錯誤?」


    會產生上述的問題,代表你的圖層出現了拓樸錯誤,而系統無法進行運算才會導致報錯。

    那什麼是拓樸呢?出現了拓樸錯誤要如何解決?以下文章將解釋這些問題。

    本文章使用QGIS環境為:QGIS 3.18.2 with GRASS 7.8.5

2022年4月30日 星期六

postgresql與postgis入門-啟動空間資料庫環境與postgresSQL兩種操作界面(2)

    有關於安裝的部分可以參考上一篇文章 postgresql+postgis入門-介紹與安裝(1)

    這次要談的是在postgresql環境中啟動空間資料庫的功能,以及如何使用postgresql的兩種操作界面(pgAdim4與SQL shell(psql))。

    當初我做為初學者學習postgresql時,便是在這兩個地方栽了大跟斗,還鬧了不少笑話(像是把psql的介面與cmd的介面搞混......)

    以下將慢慢解釋。


    

2022年3月3日 星期四

postgresql與postgis入門-介紹與安裝(1)

    

     這次要講的不是有關於QGIS,但postgresql+postgis皆是免費的開源軟體,當你處理空間資料到一定程度時,就一定會有空間資料庫的需求,而現今的空間資料庫相對較少,加上postgis對於初學者而言不好安裝,因此特別撰寫一篇文章進行教學。

      先談談為什麼要學習資料庫,過往我如果要存放資料與進行簡單的資料加總,常常是要把shp裡面的屬性資料變成csv匯出,再進入excel裡面進行處理。而有一段時間我很常要計算一個村里裡面人口、poi點位共有多少個並進行加總,最後再把結果回傳到shp裡面。過往進行這些步驟時,我還要透過excel的樞紐分析表進行加總,可說是在時間上與步驟上都很浪費時間。

    而在使用postgresql後,不論是資料儲存、匯出、匯入、計算都方便相當多,如果你常常需要對shp的屬性資料表進行運算、清洗,我會很推薦你學習一下空間資料庫,而postgresql與postgis除了是免費資源以外,也可以與qgis進行互動連結,但postgresql的入門門檻會比其他的資料庫系統還要來的複雜一些,只要過了安裝與操作這一關,接下來就會輕鬆很多,附上林政道老師的圖片,相當符合我的學習心路歷程XD

圖片來源:https://www.slideshare.net/mutolisp/postgis-57051746?from_action=save



2022年2月1日 星期二

心得-如果我只會GIS,可以考上師大地理所嗎?

礙於師大地理所分享的考試入學心得很少,而舊有的文章也距今已久,而在我考試的過程中也受到不少貴人幫助,因此撰寫依篇文章分享我的考試經驗。如果你是想考師大地理所,或是想知道師大地理所的現況,那希望我的文章會對你有幫助。


我將分成以下幾點進行討論:

1.我的學習背景

2.如何準備考古題

3.你的競爭對手是誰

4.應考結果

5.師大地理所大致的現況

6.經驗總結

7.一些可以分享的東西


2021年9月14日 星期二

QIGS外掛-魔術棒工具(magic wand)

「wmts圖層有好多有趣的資料,有沒有方法可以快速數化單個圖徵呢?」


在上一篇文章QGIS技術-影像計算(Raster calculator),將WMTS圖磚轉換為向量資料中,提到如何處理大範圍、多圖徵的辦法,但對於只想要進行小範圍、單一圖徵數化並快速的人,就顯得費時許多。

QGIS外掛中有個名為魔術棒(magic wand)的工具,進行單一圖徵數化相當方便,雖然可能會有精準度上的問題,但還是相當好用的工具,以下文章將介紹如何使用。

閱讀此文章前,建議先閱讀以下文章會比較容易理解本篇文章的操作方法
1.QGIS安裝外掛的方法:QGIS外掛功能介紹

2021年8月16日 星期一

QGIS技術-影像計算(Raster calculator),將WMTS圖磚轉換為向量資料

 「WMTS圖層服務上面有很多資料,可是我沒辦法取用他,有什麼方法可以把上面的資料擷取下來呢?」


    臺灣的WMTS服務算是非常不錯,像是臺灣通用電子地圖與國土利用調查成果圖,兩個WMTS地圖皆是由國土測繪中心進行發佈。臺灣通用電子地圖可說是臺灣版的地圖百科全書,上面記載了許多POI,像是門牌資料、公共建設點位、街廓......等,而國土利用調查成果圖對於都計來說很重要,如果要進行分析則需要花費大量金錢向國土測繪中心購買,當範圍很大時金額便會很可觀,而自己進行數化又會花費太多時間......,因此便有了以下幾種方法。


    目前QGIS影像向量化的方式有兩種,一種為使用外掛魔術棒工具(magic wand),這個方法適合數化單一圖徵(只有一種顏色),另一種為影像計算(Raster calculator),此方法適合於數化大面積、大量圖徵時使用。


    本文介紹影像計算(Raster calculator),如果你只是想要進行小範圍、單一圖徵的數化,請參考QIGS外掛-魔術棒工具(magic wand)這篇文章。


    此篇文章受QGIS小學堂啟發,很感謝小學堂上的大大分享作法,由於QGIS版本有進行更替,因此撰寫更新後的版本與作法。QGIS小學堂原始的貼文教學:https://www.facebook.com/groups/600385406707053/permalink/1848782928533955/


    本篇貼文所使用的系統環境為QGIS3.16,QGIS功能介面會隨著版本不同而有所差異,閱讀前請注意版本差異。操作範例為國土利用調查-5建築。


部落格文章總整理_如有需要搜尋文章建議看此文

 由於blogger的文章搜尋功能太不方便了,因此我特地開一篇文整理我所有的文章。


這個文章我會放上目前所有的文章連結,方便各位尋找。


貼心提醒,請善用Ctrl + F,輸入關鍵字搜尋。

2021年6月23日 星期三

加速QGIS處理速度-批次程序介紹

 同樣的步驟要一直重複操作,有沒有辦法能夠讓不同資料都重複執行步驟?

QGIS提供了批次程序處理的功能,基本上每個演算法(plugin)都可以使用批次處理。除了批次程序處理以外,分割向量檔案與循環執行也可以節省時間。

以下解釋三種功能以及實際操作示範

2021年6月17日 星期四

QGIS疑難雜症-csv資料無法joins到shp檔

「為什麼我的csv檔無法joins到shp檔中?」「joins後為什麼表格欄位還是一片空白?」 

csv資料joins到shp檔,這個功能是很常被使用到的。QGIS部分核心算法是使用python語法運行,因此也會產生出部分python語法問題。這個情況在csv資料joins到shp檔中很常發生。

解決這個問題前,需要對於python與QGIS資料類型有一定的認識

2021年6月5日 星期六

QGIS疑難雜症-檔案座標轉換出問題

對於剛接觸GIS的人來說,很容易遇到下列這些問題。

「不同座標系統的資料,可以套疊在一起嗎?」「臺灣GIS資料常使用哪些EPSG?」「我要如何進行資料的座標系統轉換?」「為什麼我的資料另存後,讀取時座標怎麼跑掉了?」「我有兩個不同座標系統的資料,為什麼無法進行套疊?」

解決這些問題前,必須要對於座標系統有一些粗淺的認識,以下慢慢說明。

2021年5月30日 星期日

QGIS疑難雜症的解決方法(建議先看此文章,適用於所有的問題)

 QGIS是開源軟體,有一群團對進行維護與開發,但是軟體出錯的頻率比起arcgis多了不少

我使用qgis有一段時間,也累積了不少心得,接下來我會分享自己遇到問題的解決方式,爾後會在撰寫其他文章分享我曾遇過哪些問題。

如果你有遇過哪些qgis的問題,也可以在下方留言跟我說

2020年3月6日 星期五

QGIS外掛-Lat Lon Tools Plugin(經緯度查詢、轉換工具)

「Lat Lon Tools Plugin 」是很好用的外掛,可以讓你在qgis與網路地圖介面中,進行點位的快速轉換

當知道A點在QGIS地圖上的位置,但是想要知道A點在GOOGLE MAP上面的位置或是OSM上面的位置為何時,通常只能夠尋找該點的地理特徵(位於那個村落,附近是不是有明顯的地標)手動去尋找

看到這裡你也許會心想,那如果我知道該點的經緯度座標不是就可以很快找到了嗎?

但會發生一個問題,使用QGIS介面時,可能當下你使用的並非是WGS84的經緯度座標,可能是TWD97,要先到其他網站轉換座標才可以在google map上面顯示(google map只吃wgs84經緯度座標)

Lat Lon Tools Plugin可以有效幫你找出點的位置。只要在qgis上面點選點位,他會自動跳轉到google map或是osm上面,並且顯示出來

以下介紹功能



Lat Lon Tools功能有:擷取點位座標數值、將點展現於外部地圖、展現點位位置(需要有經緯度資料)、轉換點位座標系統、設定、幫助......等功能。可以看出此外掛相當強大

英文的詳細外掛功能介紹:file:///C:/Users/User/AppData/Roaming/QGIS/QGIS3/profiles/default/python/plugins/latlontools/index.html


1.show in external map(將點展現於外部地圖)

用此功能前,需要先進「settings」調整設定

Lat Lon Tools Plugin

點選「External Map」,可以調整滑鼠左鍵與右鍵要展現的外部地圖為何

筆者分別選google map與osm



以1924日治地形圖為底圖,點選新城上方的河流沖積扇,分別以滑鼠左、右鍵點及





分別出現google map與osm畫面,在google map上可以看到被查詢點位的位置詳細資料

2.zoom to coordinate

進「settings」調整設定,點選zoom to

Lat Lon Tools Plugin

注意「zoom to coordinate」設定,預設輸入經緯度格式為(Y,X),這是google map格式設定

以下將用google map進行解說,設定不需調整

以臺灣地理中心石碑為例



在臺灣地理中心碑附近點及滑鼠右鍵「這是哪裡」,查詢點位的經緯度座標



搜尋欄位就會出現該點的經緯度數值,會有些許的誤差,因為google map不允許直接查詢建置點位的經緯度座標,只能查詢建置點位附近的座標,但影響不大



複製點位座標資訊後,進入qgis,於zoom to coordinate格子中輸入查詢




畫面中的紅色十字即是查詢點位的位置

3.coordinate conersion(轉換點位座標)



點及「copy/display」功能,該功能可以自動複製點及位置的座標資訊



在「decimal degress(latiyde,longitude)」處,貼上座標資訊




點及「decimal degress(latiyde,longitude)」旁邊的綠色勾勾,外掛會開始運算



「custom CRS-EPSG」處可以選擇想要轉換之座標EPSG代碼,以TWD97/TM2 ZONE 121 為例子,可以得到該點在TWD97的點位資訊

4.conversions(將點位置建置於表單中/將表單的座標數值化為點)

這個功能可以批次大量使用,相當實用



該功能將點座標分為經緯度、google plus codes與MGRS三種,

google plus codes 是google公司將傳統的經緯度簡化為數字與英文的代碼組合,想要讓經緯度變成比較人性化的代碼

MGRS為軍用方格參考系統,將點位變成網格位置資訊

該功能可以表單點位資料變成點位或是在現有點位中建置有座標的屬性資料

接下來以「花蓮縣各級學校」檔案為例進行實作(資料來源為政府資料開放平台-各級學校位置)



點及「point layer to fields」

輸入圖層「花蓮縣各級學校」

「name of latiude(Y)field&all other single field coodinates[optional]」選項欄位可以命名y欄位的屬性名稱,下方為x欄位屬性名稱

「coordinate order when using 1 field[optional]」選擇lon,lat(X,Y)order



出現新檔案output layer,點選屬性資料表單就可以看到所有點位的x、y座標數值


QGIS外掛功能介紹

QGIS上面有許多很有趣的分析功能,也有不少厲害的網友撰寫的外掛程式,以下來逐序介紹

1.QGIS外掛功能簡介




點選「外掛程式」->「manage and install plugins」



分為全部、已安裝、未安裝......等功能

qgis下載時會預先幫你安裝一些外掛,只是沒有啟用而已



以「空間對位GDAL」為例子,點選啟用此外掛




可以在「影像」功能列找到此外掛



紅色圈選範圍是qgis安裝外掛的路徑,有時候會出現,但不是每次皆是

需要注意的是qig外掛並非是每個版本皆可使用,有些外掛只支援舊版的系統

2.qgis官方網站簡介



網址:https://plugins.qgis.org/plugins/



有以幾個方式進行外掛的排序,像是最多下載次數、評分最高、最新出的外掛

建議可以參考看看top downloads排名前面的外掛,筆者在此中找到不少實用的外掛

點選隨意一個外掛,以「CADDigitize」為例子






可以看到外掛較詳細的說明,以及支援的版本

CADDigitize 是比較老的外掛,繪製圓形相當好用。可以參考黃敏郎老師的影片「使用QGIS之CADDigitize外掛程式,數化圓形,橢圓,矩形,多角形等特殊圖徵

點選「download latest」可以將外掛以zip檔形式下載到電腦裡

此外掛不支援qigs3.0以上的版本,只能用qigs2版開啟。

建議可以先開啟qgis2.8的外掛介面搜尋,如果找不到的話,在到qigs網站上搜尋安裝

3.在qgis單機版上尋找外掛



在搜尋欄上打上外掛名稱(基本上都是英文),之後點選安裝即可



有時候也會發生在qgis官方網站上有出現外掛名稱,但是主控台找不到,這時 要注意是否有將「實驗性質的外掛程式」與「顯示已棄用的外掛程式」這兩個項目打開

「顯示已棄用的外掛程式」指當前電腦版本的qgis不可用此外掛,不代表外掛已經完全不可用,這時候需要去qgis的官方網站查詢該外掛所支援的版本為何

2020年2月23日 星期日

GIS入門指南與與學習資源

在資訊爆炸、網路發達的時代,琳瑯滿目的資源反而會讓人不知從何起手,以下文章是筆者依據自己的學習經驗所整理的學習方向,僅供參考。

Q1:付費軟體還是自由軟體?

現今最流行的GIS軟體以付費軟體ARCGIS與自由軟體QGIS為兩大龍頭。網路上也有不少文章對此做討論,可以看看ITREAD的文章,將兩者的特點分析得很清楚。

ARCGIS分析功能很強大,繪製統計地圖是一大優點,裡面也內建許多分析模組。缺點是每年的費用並不便宜,而使用介面多是英文為主。以統計軟體來說,很像是spss。(這是打比方,統計軟體與gis當然有所差異)

QGIS好處是完全免費,支援中文使用介面,分析功能較弱。QGIS雖然是自由軟體,但也有一群自願開發者維護與更新程式,Qgis的官方討論區上面也有許多熱心的網友提供的外掛(plugin)。以統計軟體來說,很像是R語言。

筆者是QGIS起家的,因為當初沒有足夠的資源可以學習ARCGIS,若你對GIS有濃厚的興趣,資金也充足的話,ARCGIS是比較好的選擇。


Q2:紙本書、教學影片還是網路文章?

建議可以從書籍開始,教學影片與網路文章為輔助。書籍內容比較連貫,教學影片與網路文章較為破碎。


紙本書:

目前市面上QGIS的書籍非常少,以ARCGIS的書籍為大宗。

QGIS建議可以看『當代Q地理資訊系統:從人文社會到大數據』

ARCGIS書籍建議要對應你使用的系統版本之書籍,不同版本的ARCGIS功能有所差異。



網路書:

issuu上ChunLin Kuo老師的書:裡面使用的qgis版本比較舊(qgis2版)但內容不難,打基礎的好選擇。

中央研究院qgis操作手冊:內容較詳細,一樣也是qgis2版。



教學影片:

黃敏郎老師的youtube頻道:arcgis與qgis的教學影片皆有,頻道目前仍會更新。



網路文章:

will的部落格

ChunLin Kuo老師的部落格:目前沒有更新,但內容豐富。


Excel2Earth與空間分析:鄧志松老師的部落格,以介紹空間統計為主,目前沒有更新。

QGIS及Open Geodata資源網@Sinica:中央研究院人社中心地理資訊研究專題中心同仁業餘時間共同編輯而成,仍在更新,內容豐富。


討論區:

qgis小學堂:目前臺灣最活躍的qgis討論網站,筆者遇到問題通常會先在這個網站上搜尋。

ptt-gis版:活躍度較低。

Q3 :我要安裝最新版本的QGIS嗎?

建議安裝前一個次新版本的就好。

例如:目前最新版本為QGIS3.12,那我建議你安裝QGIS3.10。

新舊版本的差異其實不會到大(從2版更新到3版會比較大)。新版本有許多功能尚未穩定,主體程式會比較容易崩潰。

另外安裝QGIS時,記得安裝路徑需要為全英文。不然到時候運行分析功能時容議會出現問題。











2020年2月22日 星期六

常用的地理資訊資料網站(不以地理資訊平台為主)

有好的資料來源,研究就先做好了一半。

《政府資訊公開法》通過後,越來越多opendate釋放出來,雖然有「政府資料開放平台」網站成立,但許多的opendate還是分散在政府的各部門網站,也有許多資料只存在各單位提供的資訊平台上。

使用opendate時必須對資料準確性抱持懷疑之精神,千萬別把政府提供的資料是絕對正確的,中研院與國土測繪中心提供資料皆曾錯誤過。

以下將列出提供地理資訊的網站
  • 政府資料開放平台-https://data.gov.tw
  • 說明:政府資料網站的大宗,建議先在這個網站上查詢需要的政府opendate,找不到在去其他網站。











  • LIFEGO便民網-http://ez.lifego.tw/
  • 說明:資訊有點久沒有更新了,但是裡面有政府資料所沒有提供的部分,就當成是參考用。

  • SheetHub-https://sheethub.com/
  • 說明:一群資料科學家架設的網站,雖然2016年後沒有更新了,但裡面有相當多的資料。有時候政府資料公開平台上會將舊資料刪除,只提供新資料,這時候這個網站就很方便了。

  • 國土測繪圖資服務雲-https://maps.nlsc.gov.tw/MbIndex_qryPage.action?fun=8#
  • 說明:裡面有可以離線使用的臺灣通用電子地圖手機版,以及經建版地形圖數值資料檔(shp檔案),雖然只有開放部分地區,但裡面的資料都相當的豐富以及有趣。



  • usgs-https://earthexplorer.usgs.gov
  • 說明:美國地質調查局的網站,可以在上面找到許多免費的衛星搖測影像(landssat7、landssat8 ),需要申請帳號才可以下載。

2020年2月19日 星期三

QGIS技術報告開站嘍

RT

回顧我自己學習QGIS的歷程,學完基礎後準備往下一個階段邁進時,我遇到了不少問題

QGIS的學習資源相較於ARCGIS少了不少,穩定度也差了很多。我花了不少時間解決各種問題,也迫切的尋求更多的學習資源,因為我的英文能力不是很好,加上QGIS的中文學習資源不多,一路走來也累計了不少心得

這個部落格的受眾我不會以剛接觸GIS的初學者為目標,如果你是具備了基礎GIS能力(知道資料要去哪裡找、資料格式有基本的認識、會進行簡單的空間分析)而想要繼續進行發展,那這個部落格會是個不錯的選擇。看看別人曾在哪裡跌倒,提醒自己不要採到相同的坑

現階段我會以QGIS為主,分享一些我曾遇過的問題,以及能夠加速或進階處理QGIS的方法

希望這個部落格能夠幫助到你,如果你想與我討論關於QGIS的技術,我非常歡迎~歡迎來信討論

預計每個月最少更新一次。