政府資料品質提升機制運作指引(持續徵集修正意見)
編輯歷史
| 時間 | 作者 | 版本 |
|---|---|---|
| 2017-05-12 02:49 – 02:50 | r2326 – r2331 | |
顯示 diff- 政府資料品質提升機制運作指引(持續修正中)
+ 政府資料品質提升機制運作指引(持續徵集修正意見)
*壹、前言
一、目的
(193 行未修改)
|
||
| 2017-03-04 09:41 – 09:41 | r2322 – r2325 | |
顯示 diff- 政府資料品質提升機制運作指引(草案)
+ 政府資料品質提升機制運作指引(持續修正中)
*壹、前言
一、目的
(193 行未修改)
|
||
| 2017-01-19 08:13 | r2321 | |
顯示 diff(184 行未修改)
都市及區域發展統計彙編 ─ 10-2. 各縣市政府歲出決算數(多重欄標題、百分比、小計)
http://data.gov.tw/node/6519
+
(7 行未修改)
|
||
| 2017-01-19 03:04 – 03:05 | r2305 – r2320 | |
顯示 diff(116 行未修改)
*如果只剩一個檔案,回到 [A]
*如果有多個檔案則到 [U] //參考範例 http://data.gov.tw/node/6380
+ *如果有manifest
*[C] JSON, XML, GeoJSON, KML, KMZ, SHP file
*進行syntax check
(74 行未修改)
|
||
| 2017-01-09 09:56 – 09:56 | r2289 – r2304 | |
顯示 diff(159 行未修改)
*應強化說明文件以降低各機關承辦窗口客服壓力
+ 檢核流程討論
+ https://g0v.hackpad.com/JSON-XML--lqlPtqrJSZG
(29 行未修改)
|
||
| 2017-01-09 03:17 – 04:20 | r2236 – r2288 | |
顯示 diff(160 行未修改)
- 好的結構化範例
- iTaiwan中央行政機關室內公共區域免費無線上網熱點查詢服務
- http://data.gov.tw/node/5962
+
+
+
1.相同欄位資料建議放置於同一資料資源
+ 2.資料內容若以RAW data方式提供,無須再提供小計、百分比、總計等欄位
+ 3.
+ 【好的結構化範例】
+ iTaiwan中央行政機關室內公共區域免費無線上網熱點查詢服務
+ http://data.gov.tw/node/5962
- 待改善結構化範例
+ 【待議】
+ 數位機會調查(資料有部分缺欄、底部有說明文字,這些都還算OK)
+ http://data.gov.tw/node/5960
+
+ 【待改善結構化範例】
景氣指標及燈號(裡面的假XML)
http://data.gov.tw/node/6099
- 數位機會調查(欄位說明應如何判定)
- http://data.gov.tw/node/5960
- 都市及區域發展統計彙編 ─ 10-2. 各縣市政府歲出決算數(多重欄標題,以及說明)
+ 都市及區域發展統計彙編 ─ 10-2. 各縣市政府歲出決算數(多重欄標題、百分比、小計)
http://data.gov.tw/node/6519
(8 行未修改)
|
||
| 2017-01-09 01:16 – 01:52 | r2197 – r2235 | |
顯示 diff(158 行未修改)
*應強化說明文件以降低各機關承辦窗口客服壓力
+
+
+ 好的結構化範例
+ iTaiwan中央行政機關室內公共區域免費無線上網熱點查詢服務
+ http://data.gov.tw/node/5962
+
+ 1.相同欄位資料建議放置於同一資料資源
+
+
+ 待改善結構化範例
+ 景氣指標及燈號(裡面的假XML)
+ http://data.gov.tw/node/6099
+ 數位機會調查(欄位說明應如何判定)
+ http://data.gov.tw/node/5960
+ 都市及區域發展統計彙編 ─ 10-2. 各縣市政府歲出決算數(多重欄標題,以及說明)
+ http://data.gov.tw/node/6519
(7 行未修改)
|
||
| 2017-01-05 09:29 – 09:29 | r2187 – r2196 | |
顯示 diff(20 行未修改)
*1. 結構化資料:
*指經分析後可分解成多個互相關聯的組成部分,各組成部分間有明確的層次結構:
- *(1) 固定欄位結構化資料
+ *(1) 固定欄位結構化資料:
*單一列(Row)標題的表格式資料,每列資料的欄位數均相同,且無合併儲存格、無公式、無空行、無小計等。
*常見檔案格式為CSV,以及可轉為表格型態的JSON、XML、GeoJSON、KML、KMZ、SHP等(包含大多數以API/WebService回傳之資料)。
*(2) 非固定欄位結構化資料:
- *資料內容主要為文字,或為無法轉為數值型結構化資料,但符合W3C之XML、JSON、JSON-LD標準等結構化資料。
+ *資料內容主要為文字,或為無法轉為固定欄位結構化資料,但符合W3C之XML、JSON、JSON-LD標準等結構化資料。
*2. 非結構化資料:
*排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。
(42 行未修改)
*************************歡迎提供範例************************
*
- *(三)數值型結構化資料
+ *(三)固定欄位結構化結構化資料
*1. 適用資料類型:定期產製且未經統計彙整之原始資料(RAW data)、統計資料、地理圖資資料、已有系統可產製資料者。
*2. 建議資料格式:CSV、JSON、XML、GeoJSON、KML、KMZ、SHP等格式。
(10 行未修改)
*************************歡迎提供範例************************
*
- *(四)文字型結構化資料
+ *(四)非固定欄位結構化資料
*1. 適用資料類型:會議紀錄、法規函釋等。
*2. 建議資料格式:建議以JSON格式優先。
(78 行未修改)
|
||
| 2016-12-29 10:04 – 10:05 | r2164 – r2186 | |
顯示 diff(37 行未修改)
*
p.s.上述示意圖尚未列示人工檢核項目
+
+ 12/29追加:
+ *平臺的檢測流程,預計會將資料資源當中”相同檔名”的不同格式檔案,優先擇開放格式(例:CSV、JSON、XML)進行檢測,其餘同名不同格式檔案則予以略過處理。
+ *因此額外提供便於一般使用者使用的格式不會影響檢測結果。
+
三、資料品質管理重點
(123 行未修改)
|
||
| 2016-11-29 04:09 – 04:09 | r2149 – r2163 | |
顯示 diff(157 行未修改)
參考資料
*http://labs.centerforgov.org/guides/
+ *ODI:http://theodi.org/blog/exploring-open-data-quality
+ *新加坡:https://github.com/datagovsg/data-quality
(1 行未修改)
|
||
| 2016-11-29 01:30 – 02:28 | r2115 – r2148 | |
顯示 diff(49 行未修改)
一、建議資料提供方式
*(一)通則
- *1. 「資料集名稱」是資料資源集合的正式名稱,請以可一目瞭然之名稱命名之。
- *2. 「資料集描述」為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。
- *3. 說明文件(readme.*、schema.*)、說明網頁連結應放置於「資料集相關網址(landingPage)」欄位,或與資料資源一併置於壓縮檔內。
- *檔案壓縮請以zip為主,避免使用
+ *1. 資料集詮釋資料注意事項
+ *(1) 「資料集名稱」是資料資源集合的正式名稱,請以可一目瞭然之名稱命名之。
+ *(2) 「資料集描述」為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。
+ *(3) 如有說明文件(readme.*、schema.*)、說明網頁連結,應放置於「資料集相關網址(landingPage)」欄位,或與資料資源一併置於壓縮檔內。
+ *2. 資料資源注意事項
+ *(1) 如有多重檔案壓縮之需求,應於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
+ *(2) 檔案名稱建議以英數為名,避免檔案名稱編碼差異於中文檔名轉換產生亂碼。
*(二)API
*1. 適用資料類型:高更新頻率資料、已有系統可即時產製資料者。
(14 行未修改)
*這塊的考量是在對照社會經濟資料庫的編輯方式,這裡會有更好的描述方式嗎?
*(2) 結構化資料內容內需無多表合併、無合併儲存格、無空行、無小計。
- *4. 填列資料集詮釋資料注意事項:
- *(1) 主要欄位說明請依「資料集詮釋資料標準規範」填列,欄位區隔建議請一致採用全形頓號"、"。
- *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
+ *4. 資料集詮釋資料注意事項:
+ *主要欄位說明請依「資料集詮釋資料標準規範」填列,欄位區隔建議請一致採用全形頓號"、"。
*5. 參考範例:
*(1) 消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
(4 行未修改)
*1. 適用資料類型:會議紀錄、法規函釋等。
*2. 建議資料格式:建議以JSON格式優先。
- *3. 填列資料集詮釋資料注意事項:
- *如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
- *4. 參考範例:
+ *3. 參考範例:
*(1) 行政院資料開放諮詢小組會議紀錄 http://data.gov.tw/node/16827
*(2) 法務部法規資料庫 http://law.moj.gov.tw/PublicData/DevelopGuide.aspx
(4 行未修改)
*1. 適用資料類型:不限制。
*2. 建議提供資料型態:不限制。
- *3. 填列資料集詮釋資料注意事項:
- *如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*
二、檢測流程概要
(65 行未修改)
|
||
| 2016-11-25 09:02 – 09:03 | r2112 – r2114 | |
顯示 diff(69 行未修改)
*(1) CSV內容請以半形逗號","作為資料區隔,欄位標題以一列為原則(可加註另一列為英文)。
*(可加註另一列為英文) 覺得這個說明有點恐怖。 header/data 兩區我覺得不應該再多出一個「可能是第二個 header 的區域」,而且跟既有 csv reader 也不相容啊。
+ *這塊的考量是在對照社會經濟資料庫的編輯方式,這裡會有更好的描述方式嗎?
*(2) 結構化資料內容內需無多表合併、無合併儲存格、無空行、無小計。
*4. 填列資料集詮釋資料注意事項:
(90 行未修改)
|
||
| 2016-11-25 00:18 – 00:37 | r2092 – r2111 | |
顯示 diff(150 行未修改)
*API/Webservice部分有無可直接區分的方法?
*例如:https://vipmember.tmtd.cpc.com.tw/OpenData/ListPriceWebService.asmx
+
+ *壓縮檔的規範應以zip為主,並應注意zip archive 內的 filename encoding
+
+ *應強化說明文件以降低各機關承辦窗口客服壓力
+
參考資料
(4 行未修改)
|
||
| 2016-11-24 05:55 – 05:56 | r2080 – r2091 | |
顯示 diff(52 行未修改)
*2. 「資料集描述」為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。
*3. 說明文件(readme.*、schema.*)、說明網頁連結應放置於「資料集相關網址(landingPage)」欄位,或與資料資源一併置於壓縮檔內。
+ *檔案壓縮請以zip為主,避免使用
*(二)API
*1. 適用資料類型:高更新頻率資料、已有系統可即時產製資料者。
(51 行未修改)
*如果是 API, WebService 到[F]
*如果是 其他檔,直接到 [Z]
- *[B] 壓縮檔 (zip, rar, 7z…) file
+ *[B] 壓縮檔 (zip, 7z…) file
*解壓縮後,先排除部分忽略清單(例如 README.* schema.*等)
*如果只剩一個檔案,回到 [A]
(45 行未修改)
|
||
| 2016-11-24 05:26 – 05:28 | r2053 – r2079 | |
顯示 diff(67 行未修改)
*3. 資料內容注意事項:
*(1) CSV內容請以半形逗號","作為資料區隔,欄位標題以一列為原則(可加註另一列為英文)。
+ *(可加註另一列為英文) 覺得這個說明有點恐怖。 header/data 兩區我覺得不應該再多出一個「可能是第二個 header 的區域」,而且跟既有 csv reader 也不相容啊。
*(2) 結構化資料內容內需無多表合併、無合併儲存格、無空行、無小計。
*4. 填列資料集詮釋資料注意事項:
(70 行未修改)
- ==================================以下暫存區==================================
+ =========================以下暫存區==================================
政府資料開放平臺(以下簡稱本平臺)的服務對象:
*主要:開發者/資料使用者,以UTF-8之CSV、JSON、XML等結構化格式作為產出
(10 行未修改)
|
||
| 2016-11-23 11:37 – 11:37 | r2050 – r2052 | |
顯示 diff(156 行未修改)
|
||
| 2016-11-23 08:06 – 08:56 | r1902 – r2049 | |
顯示 diff(1 行未修改)
*壹、前言
一、目的
- *為提升政府資料開放內容之正確性、易用性、即時性及採適當格式開放,使政府資料開放邁向結構化與API化,爰訂定本運作指引,以期協助各機關建立資料品質概念、逐步提升政府資料之可用性。
+ *為提升政府資料開放內容之正確性、易用性、即時性及採適當格式開放,使政府資料開放邁向結構化,爰訂定本運作指引,以期協助各機關建立資料品質概念、逐步提升政府資料之可用性。
二、適用對象
- *行政院及所屬各級機關(構)適用之。公營事業機構、公立學校及行政法人,得準用。
+ *行政院及所屬各級機關(以下簡稱各機關)適用之;公營事業機構、公立學校及行政法人,得準用;地方政府得參照。
三、適用範圍
- *本運作指引原則以符合國際「開放定義」之政府資料,範圍含括各機關於職權範圍內取得或做成,且依法得公開之各類電子資料,包含文字、數據、圖片、影像、聲音、詮釋資料(metadata)等
+ *本運作指引以符合國際「開放定義」(Open Definition)之政府資料,範圍含括各機關於職權範圍內取得或做成,且依法得公開之各類電子資料,包含文字、數據、圖片、影像、聲音、詮釋資料(metadata)等。
*貳、資料品質提升流程介紹
一、資料品質相關標準
- *以資料使用流程為出發點,可分為1.資料可直接取得、2.資料易於處理、3.資料易於理解三個面向:
+ *以資料使用流程為出發點,分為資料可直接取得、資料易於處理、資料易於理解三個面向:
*(一) 資料可直接取得
*包含2項指標:
(3 行未修改)
*(二) 資料易於處理
*就資料描述方式可區分為結構化與非結構化2種形式。
- *1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
- *(1) 數值型結構化資料:
- *單一列欄標題的試算表格式資料,每筆資料有固定欄位數而無合併儲存格、無空行、無小計等。
- *常見檔案格式為CSV,以及可轉為表格型態的JSON、XML、KML、GeoJSON、SHP等(包含大多數以API/WebService回傳之資料)。
- *(2) 文字型結構化資料:
- *資料內容主要為文字,或為無法轉為固定欄位之表格型態,但符合W3C之XML、JSON、JSON-LD標準等結構化資料。
- *表格型態VS非表格型態?
- *預留未來會議紀錄/法規函式等的結構化空間
- *修改為數值型/文字型結構化資料
+ *1. 結構化資料:
+ *指經分析後可分解成多個互相關聯的組成部分,各組成部分間有明確的層次結構:
+ *(1) 固定欄位結構化資料
+ *單一列(Row)標題的表格式資料,每列資料的欄位數均相同,且無合併儲存格、無公式、無空行、無小計等。
+ *常見檔案格式為CSV,以及可轉為表格型態的JSON、XML、GeoJSON、KML、KMZ、SHP等(包含大多數以API/WebService回傳之資料)。
+ *(2) 非固定欄位結構化資料:
+ *資料內容主要為文字,或為無法轉為數值型結構化資料,但符合W3C之XML、JSON、JSON-LD標準等結構化資料。
*2. 非結構化資料:
*排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。
*常見檔案格式為PDF、ODS、XLS、XLSX、ODT、DOC、DOCX、PNG、JPG等。
- *為利資料易於處理,如資料型態允許,應以提供數值型結構化資料為優先。
+ *為利資料易於處理,如資料型態允許,應以提供固定欄位結構化資料為優先。
*(三) 資料易於理解
- *metadata針對結構化之資料資源,須提供資料資源之編碼以及主要欄位之描述,該2項填列方式應依「資料集詮釋資料標準規範」填列之。
+ *針對結構化之資料資源,於詮釋資料須依「資料集詮釋資料標準規範」提供資料資源之編碼及其主要欄位之描述。
二、資料品質檢驗方式
*原則均採機器測試進行,7項檢驗指標列示如下:
(4 行未修改)
三、資料品質管理重點
- *(一) 各部會管理者應由上列指標產製之檢核結果報告(目前規劃將由系統產出),協助品質具改善空間之資料集資料提供者進行改善;倘資料以數值資料為主、且產製來源為系統者,應於維運期間或於近期系統改版提供符合數值型結構化資料資源。
- *(二) 對於非結構化但可轉為結構化之資料資源(如:具有合併儲存格之CSV、報表資料卻僅以PDF檔提供者),應以資料使用者的角度思考其提供方式是否妥適並安排期程改善。
- *(三) 對於資料內容為非結構化格式者,應避免進行無意義的檔案格式轉換(如:以Word另存新檔產生之XML)。
- *(四) 政府資料開放平臺之資料集原則均適用「政府資料開放授權條款-第1版」授權條款,影音等多媒體資料請務必確認是否適用本授權條款再行開放。
- *(五) 如有民眾意見回饋意見為資料有誤,或重大事件相關之資料資源未能符合需求品質,本會得限期資料提供機關改善之。
+ *(一) 各部會管理者參考依據結果報告,協助資料集資料提供者進行改善;倘資料產製來源為系統者,可配合於維運週期提供符合結構化資料定義之資料資源。
+ *(二) 對於非結構化但可轉為結構化之資料資源(如:具有合併儲存格之CSV、報表資料卻僅以PDF檔提供者),應以資料使用者的角度思考其提供方式是否妥適並安排期程改善。
+ *(三) 對於資料內容為非結構化格式者,應避免進行無意義的檔案格式轉換(如:以Word另存為XML格式)。
+ *(四) 政府資料開放平臺之資料集均應適用政府資料開放授權條款,各項資料之開放前均應確認其權利完整性(如:著作權等)。
+ *(五) 民眾回饋意見,機關應於7個日曆天內回復,如屬資料有誤,或重大事件相關之資料資源未能符合民間需求品質,由國家發展委員會協調資料提供機關改善。
*
(1 行未修改)
一、建議資料提供方式
*(一)通則
- *「資料集名稱」是資料資源集合的正式名稱,請以可一目瞭然之名稱命名之。
- *「資料集描述」之目的為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。
+ *1. 「資料集名稱」是資料資源集合的正式名稱,請以可一目瞭然之名稱命名之。
+ *2. 「資料集描述」為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。
+ *3. 說明文件(readme.*、schema.*)、說明網頁連結應放置於「資料集相關網址(landingPage)」欄位,或與資料資源一併置於壓縮檔內。
*(二)API
- *1. 適用資料類型:高頻率更新資料、已有系統可即時匯出資料者。
+ *1. 適用資料類型:高更新頻率資料、已有系統可即時產製資料者。
*2. 建議資料格式:JSON、XML格式。
*3. 填列資料集詮釋資料注意事項:
- *說明文件/說明網頁連結應放置於資料集"資料集相關網址"欄位,建議優先提供符合swgger 2.0之說明文件。
+ *建議優先提供符合swagger 2.0之說明文件。
*4. 參考範例:
*(1) 交通部公共運輸整合資訊流通平台 https://ptx.transportdata.tw/PTX/Service
(2 行未修改)
*
*(三)數值型結構化資料
- *1. 適用資料類型:定期產製之RAW data、統計資料、地理圖資資料、已有系統可匯出資料者。
+ *1. 適用資料類型:定期產製且未經統計彙整之原始資料(RAW data)、統計資料、地理圖資資料、已有系統可產製資料者。
*2. 建議資料格式:CSV、JSON、XML、GeoJSON、KML、KMZ、SHP等格式。
*3. 資料內容注意事項:
- *(1) CSV內容請以半形逗號","作為資料區隔,欄標題以一列為原則(可加註另一列為英文)。
- *(2) 結構化資料內容內需無多表合併、無合併儲存格、無公式、無空行、無小計。
+ *(1) CSV內容請以半形逗號","作為資料區隔,欄位標題以一列為原則(可加註另一列為英文)。
+ *(2) 結構化資料內容內需無多表合併、無合併儲存格、無空行、無小計。
*4. 填列資料集詮釋資料注意事項:
- *(1) 主要欄位說明請依「資料集詮釋資料標準規範」填列。
- *(2) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *(3) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
- *領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
+ *(1) 主要欄位說明請依「資料集詮釋資料標準規範」填列,欄位區隔建議請一致採用全形頓號"、"。
+ *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*5. 參考範例:
*(1) 消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
(5 行未修改)
*2. 建議資料格式:建議以JSON格式優先。
*3. 填列資料集詮釋資料注意事項:
- *(1) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
- *領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
+ *如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*4. 參考範例:
*(1) 行政院資料開放諮詢小組會議紀錄 http://data.gov.tw/node/16827
(3 行未修改)
*(五)非結構化資料
- *1.適用資料類型:不限制。
- *2.建議提供資料型態:不限制。
- *3.注意事項:須特別注意提供之資料資源是否符合「政府資料開放授權條款-第1版」之授權方式。
- *(1) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
+ *1. 適用資料類型:不限制。
+ *2. 建議提供資料型態:不限制。
+ *3. 填列資料集詮釋資料注意事項:
+ *如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*
二、檢測流程概要
- *(一) 資料品質檢核功能擬開發於政府資料開放平臺後臺,將於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並將測試結果註記於資料集潛在欄位,以迴避系統即時檢測所需之效能瓶頸。
- *(二) 當資料資源有所異動時,將會再行檢測。
+ *(一) 資料品質檢核功能於政府資料開放平臺後臺提供,於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並以電子郵件通知測試結果,便利資料提供者據以提升資料品質。
+ *(二) 當資料資源有所異動時,由系統自動排入檢測期程。
*(三) 連結有效性測試將以每週至少一次的頻率進行測試。
*(四) 資料資源是否屬結構化之判斷流程:
(1 行未修改)
*[A]判斷資料資源檔案格式
*如果是 壓縮檔,到 [B]
- *如果是json, xml, kml, kmz, shp檔,到 [C]
- *如果是 csv 檔,到 [D]
- *如果是 xls, xlsx, ods 檔,到 [E]
+ *如果是JSON, XML, GeoJSON, KML, KMZ, SHP檔,到 [C]
+ *如果是 CSV 檔,到 [D]
+ *如果是 XLS, XLSX, ODS 檔,到 [E]
*如果是 API, WebService 到[F]
*如果是 其他檔,直接到 [Z]
*[B] 壓縮檔 (zip, rar, 7z…) file
*解壓縮後,先排除部分忽略清單(例如 README.* schema.*等)
- *如果只剩一個檔案,以這個檔案回到 [A]
- *如果有多個檔案則到 [Z] ※ http://data.gov.tw/node/6380
- *[C] json, xml, kml, kmz, shp file
- *進行syntax check,如果失敗則到 [Z]
- *syntax check pass,到 [T]
- *[D] csv file
- *UTF-8 check,如果非屬UTF-8,轉存為UTF-8後到 [T]
- *[E] xls, xlsx, ods file
- *檢查是否有用到合併儲存格、繪製框線、儲存格背景色或使用公式等,有以上情況,到 [Z]
- *如果有使用多分頁的話,到 [Z]
- *如果沒有以上情況,到 [T]
+ *如果只剩一個檔案,回到 [A]
+ *如果有多個檔案則到 [U] //參考範例 http://data.gov.tw/node/6380
+ *[C] JSON, XML, GeoJSON, KML, KMZ, SHP file
+ *進行syntax check
+ *失敗到 [Z]
+ *通過到 [T]
+ *[D] CSV file
+ *進行UTF-8 check
+ *屬UTF-8,到 [T]
+ *非屬UTF-8,轉存為UTF-8後到 [T]
+ *[E] XLS, XLSX, ODS file
+ *有合併儲存格、繪製框線、儲存格背景色或使用公式等,到 [Z]
+ *有使用多分頁,到 [Z]
+ *無以上情形者,到 [T]
*[F] API / WebService
- *若API / WebService 提供為html介面,則到 [YA] ※ http://data.gov.tw/node/6065
- *若直接提供JSON輸出結果,則回到 [C]
+ *若API / WebService 提供html介面,則到 [X] //參考範例 http://data.gov.tw/node/6065
+ *若直接提供json輸出結果,則回到 [C]
*[T]進行是否為table格式判定
- *嘗試轉csv,屬table格式,將csv欄位取出,塞至fieldDescription,保留轉存csv至本平臺*資料資源驗證區 到 [Y]
- *嘗試轉csv,非屬table格式,到 [X]
- *
- *[X] 將這個檔案上架,標記為非表格型態之結構化資料,不做額外處理。
- *[YA] 標記為表格型態之結構化資料,不做額外處理。
- *[Y] 將原始檔案上架,標記為表格型態之結構化資料,亦將轉存過後的乾淨csv上架,並註記轉換日期時間。使用者可選擇下載任意一種資料資源。
- *[Z] 將這個檔案上架,標記為非結構化資料,資料資源本身不做其他處理,並錄是從哪個流程進到這步,供部會管理者參考。
-
-
-
-
-
-
- *3.1. 系統維運/新設
- *3.2. 既有資料
- *3.3. 新設資料
- 4. 參考範例
-
-
-
-
-
+ *嘗試轉換為CSV格式
+ *屬table格式,取出CSV欄位值,填至資料集詮釋資料之fieldDescription欄位,於政府資料開放平臺保留轉換後之CSV檔,到 [Y]
+ *非屬table格式,到 [X]
+ *[U]判斷壓縮檔是否包含manifest描述檔
+ *無manifest描述檔,到 [Z]
+ *有manifest描述檔,採人工判斷 [end]。
+ *[X] 將這個檔案上架,標記為結構化資料 [end]。
+ *[Y] 將原始檔案上架,標記為結構化資料,一併將轉存之CSV檔案上架,並註記轉換日期時間[end]。
+ *[Z] 將檔案上架,標記為非結構化資料,並錄是從哪個流程進到這步,供部會管理者參考[end]。
(16 行未修改)
|
||
| 2016-11-23 05:47 – 06:10 | r1885 – r1901 | |
顯示 diff(75 行未修改)
*領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
*5. 參考範例:
- *(1)
- *消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
+ *(1) 消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
+ *(2) 社會經濟資料庫 http://210.65.89.57/STAT/Web/Platform/Product/Apply/STAT_ProductApplyFree.aspx
*************************歡迎提供範例************************
*
(91 行未修改)
|
||
| 2016-11-23 05:46 | r1884 | |
顯示 diff(50 行未修改)
*參、資料品質提升作法說明
一、建議資料提供方式
- *(一通則
- *「\料集名稱」資資料資源集合的正式名稱,,請以可一目瞭然之稱為命名。
-
- *「資料集描述」之目的為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。 *(一二API
+ *(一)通則
+ *「資料集名稱」是資料資源集合的正式名稱,請以可一目瞭然之名稱命名之。
+ *「資料集描述」之目的為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。
+ *(二)API
*1. 適用資料類型:高頻率更新資料、已有系統可即時匯出資料者。
*2. 建議資料格式:JSON、XML格式。
(5 行未修改)
*************************歡迎提供範例************************
*
- *(二三數值型結構化資料
+ *(三)數值型結構化資料
*1. 適用資料類型:定期產製之RAW data、統計資料、地理圖資資料、已有系統可匯出資料者。
*2. 建議資料格式:CSV、JSON、XML、GeoJSON、KML、KMZ、SHP等格式。
*3. 資料內容注意事項:
*(1) CSV內容請以半形逗號","作為資料區隔,欄標題以一列為原則(可加註另一列為英文)。
- *(2) 結構化資料內容內需無多表合併、無合併儲存格、無無公式、空行、無小計。
+ *(2) 結構化資料內容內需無多表合併、無合併儲存格、無公式、無空行、無小計。
*4. 填列資料集詮釋資料注意事項:
*(1) 主要欄位說明請依「資料集詮釋資料標準規範」填列。
(2 行未修改)
*領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
*5. 參考範例:
- *(1) 消
- *(2) 費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
+ *(1)
+ *消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
*************************歡迎提供範例************************
*
- *(三四文字型結構化資料
+ *(四)文字型結構化資料
*1. 適用資料類型:會議紀錄、法規函釋等。
*2. 建議資料格式:建議以JSON格式優先。
(6 行未修改)
*(2) 法務部法規資料庫 http://law.moj.gov.tw/PublicData/DevelopGuide.aspx
*(3) 民間整理組織法 http://ronnywang.github.io/tw-gov-org/
-
*************************歡迎提供範例************************
- *(四五非結構化資料
+
+ *(五)非結構化資料
*1.適用資料類型:不限制。
*2.建議提供資料型態:不限制。
(75 行未修改)
|
||
| 2016-11-22 12:46 – 12:46 | r1879 – r1883 | |
顯示 diff(75 行未修改)
*領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
*5. 參考範例:
- *(1) 消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
+ *(1) 消
+ *(2) 費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
*************************歡迎提供範例************************
*
(91 行未修改)
|
||
| 2016-11-22 08:30 – 09:40 | r1650 – r1878 | |
顯示 diff(19 行未修改)
*就資料描述方式可區分為結構化與非結構化2種形式。
*1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
- *(1) 數值型結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、無缺漏、無小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的JSON、XML、KML、GeoJSON、SHP等(包含大多數以API/WebService回傳之資料)。
- *(2) 文字型結構化資料:資料內容主要為文字,或不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
+ *(1) 數值型結構化資料:
+ *單一列欄標題的試算表格式資料,每筆資料有固定欄位數而無合併儲存格、無空行、無小計等。
+ *常見檔案格式為CSV,以及可轉為表格型態的JSON、XML、KML、GeoJSON、SHP等(包含大多數以API/WebService回傳之資料)。
+ *(2) 文字型結構化資料:
+ *資料內容主要為文字,或為無法轉為固定欄位之表格型態,但符合W3C之XML、JSON、JSON-LD標準等結構化資料。
*表格型態VS非表格型態?
*預留未來會議紀錄/法規函式等的結構化空間
*修改為數值型/文字型結構化資料
- *2. 非結構化資料:排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。常見檔案格式為PDF、ODT、DOC、DOCX、PNG、JPG等。
- *為利資料易於處理,如資料型態允許,應以提供表格型態之結構化資料結構化資料為優先。
+ *2. 非結構化資料:
+ *排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。
+ *常見檔案格式為PDF、ODS、XLS、XLSX、ODT、DOC、DOCX、PNG、JPG等。
+ *為利資料易於處理,如資料型態允許,應以提供數值型結構化資料為優先。
*(三) 資料易於理解
*metadata針對結構化之資料資源,須提供資料資源之編碼以及主要欄位之描述,該2項填列方式應依「資料集詮釋資料標準規範」填列之。
(6 行未修改)
三、資料品質管理重點
- *(一) 各部會管理者應由上列指標產製之檢核結果報告(目前規劃將由系統產出),協助品質具改善空間之資料集資料提供者進行改善;倘資料資源產製來源為系統者,應於維運期間或於近期系統改版提供符合表格型態之結構化資料資源。
- *(二) 對於非結構化但可轉為結構化之資料資源(如:具有合併儲存格之CSV、報表資料僅以PDF檔提供),或部分不可轉為表格型態結構化資料(如:以Word另存之XML),應以資料使用者的角度思考其是否妥適。
- *(三) 放置於政府資料開放平臺原則適用「政府資料開放授權條款-第1版」授權條款,影音等多媒體資料請務必確認是否適用本授權條款再行開放。
- *(四) 如有民眾意見回饋意見為資料有誤,或重大事件相關之資料資源未能符合需求品質,本會得限期資料提供機關改善之。
-
+ *(一) 各部會管理者應由上列指標產製之檢核結果報告(目前規劃將由系統產出),協助品質具改善空間之資料集資料提供者進行改善;倘資料以數值資料為主、且產製來源為系統者,應於維運期間或於近期系統改版提供符合數值型結構化資料資源。
+ *(二) 對於非結構化但可轉為結構化之資料資源(如:具有合併儲存格之CSV、報表資料卻僅以PDF檔提供者),應以資料使用者的角度思考其提供方式是否妥適並安排期程改善。
+ *(三) 對於資料內容為非結構化格式者,應避免進行無意義的檔案格式轉換(如:以Word另存新檔產生之XML)。
+ *(四) 政府資料開放平臺之資料集原則均適用「政府資料開放授權條款-第1版」授權條款,影音等多媒體資料請務必確認是否適用本授權條款再行開放。
+ *(五) 如有民眾意見回饋意見為資料有誤,或重大事件相關之資料資源未能符合需求品質,本會得限期資料提供機關改善之。
+ *
*參、資料品質提升作法說明
一、建議資料提供方式
- *(一)API
- *1.適用資料類型:高頻率更新資料、已有系統可即時匯出資料者。
- *2.建議提供資料型態:JSON、XML格式。
- *3.注意事項:
- *(1)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *4.參考範例:************************歡迎提供範例************************
+ *(一通則
+ *「\料集名稱」資資料資源集合的正式名稱,,請以可一目瞭然之稱為命名。
+
+ *「資料集描述」之目的為提供除了資料集名稱外的簡明陳述,讓使用者可進一步瞭解資料集內容。 *(一二API
+ *1. 適用資料類型:高頻率更新資料、已有系統可即時匯出資料者。
+ *2. 建議資料格式:JSON、XML格式。
+ *3. 填列資料集詮釋資料注意事項:
+ *說明文件/說明網頁連結應放置於資料集"資料集相關網址"欄位,建議優先提供符合swgger 2.0之說明文件。
+ *4. 參考範例:
+ *(1) 交通部公共運輸整合資訊流通平台 https://ptx.transportdata.tw/PTX/Service
+ *(2) 本站提供之政府資料開放跨平臺介接規範 http://data.gov.tw/政府資料開放跨平臺介接規範.yaml
+ *************************歡迎提供範例************************
*
- *(二)數值型結構化資料
- *1.適用資料類型:定期產製之RAW data、統計資料、地理圖資資料、已有系統可匯出資料者。
- *2.建議提供資料型態:CSV、JSON、XML、KML、KMZ、SHP等格式。
- *3.注意事項:
- *(1)CSV內容請以半形逗號","作為資料區隔,欄標題以一列為原則(可加註另一列為英文)。
- *(2)結構化資料內容內需無合併儲存格、無空行、無缺漏、無小計。
- *(3)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *(4)如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
+ *(二三數值型結構化資料
+ *1. 適用資料類型:定期產製之RAW data、統計資料、地理圖資資料、已有系統可匯出資料者。
+ *2. 建議資料格式:CSV、JSON、XML、GeoJSON、KML、KMZ、SHP等格式。
+ *3. 資料內容注意事項:
+ *(1) CSV內容請以半形逗號","作為資料區隔,欄標題以一列為原則(可加註另一列為英文)。
+ *(2) 結構化資料內容內需無多表合併、無合併儲存格、無無公式、空行、無小計。
+ *4. 填列資料集詮釋資料注意事項:
+ *(1) 主要欄位說明請依「資料集詮釋資料標準規範」填列。
+ *(2) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
+ *(3) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
- *4.參考範例:************************歡迎提供範例************************
+ *5. 參考範例:
+ *(1) 消費力統計-各分位載具消費張數金額-資料集 http://data.gov.tw/node/24831
+ *************************歡迎提供範例************************
*
- *(三)文字型結構化資料
+ *(三四文字型結構化資料
*1. 適用資料類型:會議紀錄、法規函釋等。
*2. 建議資料格式:建議以JSON格式優先。
*3. 填列資料集詮釋資料注意事項:
*(1) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
+ *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
*4. 參考範例:
(1 行未修改)
*(2) 法務部法規資料庫 http://law.moj.gov.tw/PublicData/DevelopGuide.aspx
*(3) 民間整理組織法 http://ronnywang.github.io/tw-gov-org/
- *
- *(四)非結構化資料
+
+ *************************歡迎提供範例************************
+ *(四五非結構化資料
*1.適用資料類型:不限制。
*2.建議提供資料型態:不限制。
*3.注意事項:須特別注意提供之資料資源是否符合「政府資料開放授權條款-第1版」之授權方式。
+ *(1) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
+ *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔案之關聯性。
*
二、檢測流程概要
(70 行未修改)
|
||
| 2016-11-22 05:57 – 07:01 | r1611 – r1649 | |
顯示 diff(50 行未修改)
*(1)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
*4.參考範例:************************歡迎提供範例************************
- *
*
*(二)數值型結構化資料
(9 行未修改)
*
*(三)文字型結構化資料
- *1.適用資料類型:會議紀錄。
- *2.建議提供資料型態:JSON格式。
- *3.注意事項:
- *(1)如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
+ *1. 適用資料類型:會議紀錄、法規函釋等。
+ *2. 建議資料格式:建議以JSON格式優先。
+ *3. 填列資料集詮釋資料注意事項:
+ *(1) 如有說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
+ *(2) 如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
*領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
- *4.參考範例:************************歡迎提供範例************************
- *行政院資料開放諮詢小組會議紀錄(http://data.gov.tw/node/16827)
+ *4. 參考範例:
+ *(1) 行政院資料開放諮詢小組會議紀錄 http://data.gov.tw/node/16827
+ *(2) 法務部法規資料庫 http://law.moj.gov.tw/PublicData/DevelopGuide.aspx
+ *(3) 民間整理組織法 http://ronnywang.github.io/tw-gov-org/
*
*(四)非結構化資料
- *1.適用資料類型:會議紀錄。
+ *1.適用資料類型:不限制。
*2.建議提供資料型態:不限制。
- *3.注意事項:
+ *3.注意事項:須特別注意提供之資料資源是否符合「政府資料開放授權條款-第1版」之授權方式。
*
二、檢測流程概要
- *(一) 資料品質檢核功能擬開發於政府資料開放平臺後臺,將於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並將測試結果註記於資料集潛在欄位欄位,以迴避系統即時檢測所需之效能瓶頸。
+ *(一) 資料品質檢核功能擬開發於政府資料開放平臺後臺,將於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並將測試結果註記於資料集潛在欄位,以迴避系統即時檢測所需之效能瓶頸。
*(二) 當資料資源有所異動時,將會再行檢測。
*(三) 連結有效性測試將以每週至少一次的頻率進行測試。
(67 行未修改)
|
||
| 2016-11-22 03:03 | r1610 | |
顯示 diff(50 行未修改)
*(1)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
*4.參考範例:************************歡迎提供範例************************
+ *
*
*(二)數值型結構化資料
(95 行未修改)
|
||
| 2016-11-21 02:53 – 03:33 | r1468 – r1609 | |
顯示 diff 政府資料品質提升機制運作指引(草案)
- 壹、前言
- *一、目的
+ *壹、前言
+ 一、目的
*為提升政府資料開放內容之正確性、易用性、即時性及採適當格式開放,使政府資料開放邁向結構化與API化,爰訂定本運作指引,以期協助各機關建立資料品質概念、逐步提升政府資料之可用性。
- *二、適用對象
+ 二、適用對象
*行政院及所屬各級機關(構)適用之。公營事業機構、公立學校及行政法人,得準用。
- *三、 適用範圍
+ 三、適用範圍
*本運作指引原則以符合國際「開放定義」之政府資料,範圍含括各機關於職權範圍內取得或做成,且依法得公開之各類電子資料,包含文字、數據、圖片、影像、聲音、詮釋資料(metadata)等
- *
- 貳、資料品質提升流程介紹
- *一、資料品質相關標準
+
+
+ *貳、資料品質提升流程介紹
+ 一、資料品質相關標準
*以資料使用流程為出發點,可分為1.資料可直接取得、2.資料易於處理、3.資料易於理解三個面向:
*(一) 資料可直接取得
(1 行未修改)
*1. 資料資源連結有效性:資料資源連結是否可回傳成功的 HTTP 狀態碼(HTTP Status Code)。
*2. 資料資源可直接下載:使用者能透過資料資源連結直接獲取資料,無需透過登入或任何額外的操作形式。
+ *現在遭遇的困擾主要是針對資料庫系統,例如:http://data.gov.tw/node/22129 ;Webservice的提供方式,例如:
*(二) 資料易於處理
*就資料描述方式可區分為結構化與非結構化2種形式。
(8 行未修改)
*(三) 資料易於理解
*metadata針對結構化之資料資源,須提供資料資源之編碼以及主要欄位之描述,該2項填列方式應依「資料集詮釋資料標準規範」填列之。
- *二、資料品質檢驗方式
+ 二、資料品質檢驗方式
*原則均採機器測試進行,7項檢驗指標列示如下:
*
(2 行未修改)
p.s.上述示意圖尚未列示人工檢核項目
- *三、資料品質管理重點
+ 三、資料品質管理重點
*(一) 各部會管理者應由上列指標產製之檢核結果報告(目前規劃將由系統產出),協助品質具改善空間之資料集資料提供者進行改善;倘資料資源產製來源為系統者,應於維運期間或於近期系統改版提供符合表格型態之結構化資料資源。
*(二) 對於非結構化但可轉為結構化之資料資源(如:具有合併儲存格之CSV、報表資料僅以PDF檔提供),或部分不可轉為表格型態結構化資料(如:以Word另存之XML),應以資料使用者的角度思考其是否妥適。
*(三) 放置於政府資料開放平臺原則適用「政府資料開放授權條款-第1版」授權條款,影音等多媒體資料請務必確認是否適用本授權條款再行開放。
*(四) 如有民眾意見回饋意見為資料有誤,或重大事件相關之資料資源未能符合需求品質,本會得限期資料提供機關改善之。
- *
- 參、資料品質提升作法說明
- *一、建議資料提供方式:
+
+
+ *參、資料品質提升作法說明
+ 一、建議資料提供方式
*(一)API
*1.適用資料類型:高頻率更新資料、已有系統可即時匯出資料者。
(1 行未修改)
*3.注意事項:
*(1)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
- *4.參考範例:
+ *4.參考範例:************************歡迎提供範例************************
*
*(二)數值型結構化資料
(2 行未修改)
*3.注意事項:
*(1)CSV內容請以半形逗號","作為資料區隔,欄標題以一列為原則(可加註另一列為英文)。
- *(2)結構化資料內容內需無空行、無缺漏、無小計。
+ *(2)結構化資料內容內需無合併儲存格、無空行、無缺漏、無小計。
*(3)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
*(4)如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
- *4.參考範例:
+ *領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
+ *4.參考範例:************************歡迎提供範例************************
*
*(三)文字型結構化資料
(2 行未修改)
*3.注意事項:
*(1)如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
- *4.參考範例:行政院資料開放諮詢小組會議紀錄(http://data.gov.tw/node/16827)
+ *領域別詮釋資料參考網址 (metadataSourceOfData) <= 這個名稱未來應該修正
+ *4.參考範例:************************歡迎提供範例************************
+ *行政院資料開放諮詢小組會議紀錄(http://data.gov.tw/node/16827)
*
*(四)非結構化資料
*1.適用資料類型:會議紀錄。
*2.建議提供資料型態:不限制。
- *3.
+ *3.注意事項:
*
- *二、檢測流程概要
+ 二、檢測流程概要
*(一) 資料品質檢核功能擬開發於政府資料開放平臺後臺,將於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並將測試結果註記於資料集潛在欄位欄位,以迴避系統即時檢測所需之效能瓶頸。
*(二) 當資料資源有所異動時,將會再行檢測。
(46 行未修改)
- 以資料資源清單進行勾稽比對?
- 既有的資料資源是疊合的
+
(6 行未修改)
*主要:開發者/資料使用者,以UTF-8之CSV、JSON、XML等結構化格式作為產出
*次要:一般資訊公開使用者
-
- 判斷時點:
- *政府機關資料提供者於資料集上架時,由本平臺進行預載檢核。
- *檢核流程請參閱 https://g0v.hackpad.com/Open-Data--SA806TyuPOb
- *檔案格式分類將分為三大類
- *未清理之結構化格式[X]
- *結構化格式(限定為CSV、JSON、XML、KML、KMZ、SHP、ODS、XLS、XLSX)[Y]
- *API與Webservice該如何納入機器評測?
- *非結構化格式(包含多個檔案的壓縮檔,暫時排除分數計算)[Z]
- *排除計算係為了降低非結構化檔案被要求品質提升時造成的人力浪費
*API/Webservice部分有無可直接區分的方法?
(7 行未修改)
|
||
| 2016-11-21 00:17 – 00:17 | r1451 – r1467 | |
顯示 diff(65 行未修改)
*4.參考範例:行政院資料開放諮詢小組會議紀錄(http://data.gov.tw/node/16827)
*
- *(四)文字型結構化資料
+ *(四)非結構化資料
+ *1.適用資料類型:會議紀錄。
+ *2.建議提供資料型態:不限制。
+ *3.
*
*二、檢測流程概要
(81 行未修改)
|
||
| 2016-11-20 12:28 – 12:29 | r1421 – r1450 | |
顯示 diff(17 行未修改)
*就資料描述方式可區分為結構化與非結構化2種形式。
*1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
- *(1) 數值型結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、無缺漏、無小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的XML、KML、GeoJSON、SHP等。
+ *(1) 數值型結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、無缺漏、無小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的JSON、XML、KML、GeoJSON、SHP等(包含大多數以API/WebService回傳之資料)。
*(2) 文字型結構化資料:資料內容主要為文字,或不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
*表格型態VS非表格型態?
(129 行未修改)
|
||
| 2016-11-20 08:15 – 09:23 | r923 – r1420 | |
顯示 diff(40 行未修改)
*
參、資料品質提升作法說明
- *一、檢測流程概要
+ *一、建議資料提供方式:
+ *(一)API
+ *1.適用資料類型:高頻率更新資料、已有系統可即時匯出資料者。
+ *2.建議提供資料型態:JSON、XML格式。
+ *3.注意事項:
+ *(1)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
+ *4.參考範例:
+ *
+ *(二)數值型結構化資料
+ *1.適用資料類型:定期產製之RAW data、統計資料、地理圖資資料、已有系統可匯出資料者。
+ *2.建議提供資料型態:CSV、JSON、XML、KML、KMZ、SHP等格式。
+ *3.注意事項:
+ *(1)CSV內容請以半形逗號","作為資料區隔,欄標題以一列為原則(可加註另一列為英文)。
+ *(2)結構化資料內容內需無空行、無缺漏、無小計。
+ *(3)說明文件(readme.*、schema.*)/說明網頁連結應放置於資料集"資料集相關網址"欄位。
+ *(4)如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
+ *4.參考範例:
+ *
+ *(三)文字型結構化資料
+ *1.適用資料類型:會議紀錄。
+ *2.建議提供資料型態:JSON格式。
+ *3.注意事項:
+ *(1)如有多檔壓縮之需求,需於資料集"領域別詮釋資料參考網址 (metadataSourceOfData)"提供manifest表單以利使用者理解壓縮檔內各檔關聯性。
+ *4.參考範例:行政院資料開放諮詢小組會議紀錄(http://data.gov.tw/node/16827)
+ *
+ *(四)文字型結構化資料
+ *
+ *二、檢測流程概要
*(一) 資料品質檢核功能擬開發於政府資料開放平臺後臺,將於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並將測試結果註記於資料集潛在欄位欄位,以迴避系統即時檢測所需之效能瓶頸。
*(二) 當資料資源有所異動時,將會再行檢測。
(32 行未修改)
*[Y] 將原始檔案上架,標記為表格型態之結構化資料,亦將轉存過後的乾淨csv上架,並註記轉換日期時間。使用者可選擇下載任意一種資料資源。
*[Z] 將這個檔案上架,標記為非結構化資料,資料資源本身不做其他處理,並錄是從哪個流程進到這步,供部會管理者參考。
- *
- *二、 參考範例
- *
+
+
+
+
+
+
*3.1. 系統維運/新設
*3.2. 既有資料
*3.3. 新設資料
4. 參考範例
-
-
- if 多壓縮檔的情況
- 追加manifest form於領域別詮釋資料參考網址 (metadataSourceOfData)
- 國發會的立場是否適合建議如何的條件可以做壓縮?
以資料資源清單進行勾稽比對?
(30 行未修改)
|
||
| 2016-11-18 11:01 – 11:01 | r921 – r922 | |
顯示 diff(17 行未修改)
*就資料描述方式可區分為結構化與非結構化2種形式。
*1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
- *(1) 數值型結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、缺漏、小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的XML、KML、GeoJSON、SHP等。
+ *(1) 數值型結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、無缺漏、無小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的XML、KML、GeoJSON、SHP等。
*(2) 文字型結構化資料:資料內容主要為文字,或不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
*表格型態VS非表格型態?
(104 行未修改)
|
||
| 2016-11-17 10:10 – 10:12 | r891 – r920 | |
顯示 diff(17 行未修改)
*就資料描述方式可區分為結構化與非結構化2種形式。
*1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
- *(1) 表格型態之結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、缺漏、小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的XML、KML
- *、SHP等。
- *(2) 不可轉為表格型態結構化資料:不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
+ *(1) 數值型結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、缺漏、小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的XML、KML、GeoJSON、SHP等。
+ *(2) 文字型結構化資料:資料內容主要為文字,或不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
*表格型態VS非表格型態?
*預留未來會議紀錄/法規函式等的結構化空間
+ *修改為數值型/文字型結構化資料
*2. 非結構化資料:排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。常見檔案格式為PDF、ODT、DOC、DOCX、PNG、JPG等。
*為利資料易於處理,如資料型態允許,應以提供表格型態之結構化資料結構化資料為優先。
(100 行未修改)
|
||
| 2016-11-17 06:49 – 07:27 | r837 – r890 | |
顯示 diff(84 行未修改)
*3.3. 新設資料
4. 參考範例
+
+
+
+
+ if 多壓縮檔的情況
+ 追加manifest form於領域別詮釋資料參考網址 (metadataSourceOfData)
+
+ 國發會的立場是否適合建議如何的條件可以做壓縮?
+
+ 以資料資源清單進行勾稽比對?
+ 既有的資料資源是疊合的
(27 行未修改)
|
||
| 2016-11-17 05:41 – 05:43 | r818 – r836 | |
顯示 diff(21 行未修改)
*(2) 不可轉為表格型態結構化資料:不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
*表格型態VS非表格型態?
+ *預留未來會議紀錄/法規函式等的結構化空間
*2. 非結構化資料:排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。常見檔案格式為PDF、ODT、DOC、DOCX、PNG、JPG等。
*為利資料易於處理,如資料型態允許,應以提供表格型態之結構化資料結構化資料為優先。
(5 行未修改)
以下為檢核結果示意圖:
*
- p.s.上述示意圖尚未區分類別
+ p.s.上述示意圖尚未列示人工檢核項目
*三、資料品質管理重點
(54 行未修改)
- =====================================以下暫存區=====================================
+ ==================================以下暫存區==================================
政府資料開放平臺(以下簡稱本平臺)的服務對象:
*主要:開發者/資料使用者,以UTF-8之CSV、JSON、XML等結構化格式作為產出
(9 行未修改)
*非結構化格式(包含多個檔案的壓縮檔,暫時排除分數計算)[Z]
*排除計算係為了降低非結構化檔案被要求品質提升時造成的人力浪費
-
*API/Webservice部分有無可直接區分的方法?
*例如:https://vipmember.tmtd.cpc.com.tw/OpenData/ListPriceWebService.asmx
-
-
-
-
參考資料
*http://labs.centerforgov.org/guides/
- *
+
This pad text is synchronized as you type, so that everyone viewing this page sees the same text. This allows you to collaborate seamlessly on documents!
|
||
| 2016-11-17 00:52 – 00:52 | r809 – r817 | |
顯示 diff(89 行未修改)
- ===========================================以下暫存區===========================================
+ =====================================以下暫存區=====================================
政府資料開放平臺(以下簡稱本平臺)的服務對象:
*主要:開發者/資料使用者,以UTF-8之CSV、JSON、XML等結構化格式作為產出
(9 行未修改)
*非結構化格式(包含多個檔案的壓縮檔,暫時排除分數計算)[Z]
*排除計算係為了降低非結構化檔案被要求品質提升時造成的人力浪費
-
- *
*API/Webservice部分有無可直接區分的方法?
*例如:https://vipmember.tmtd.cpc.com.tw/OpenData/ListPriceWebService.asmx
(10 行未修改)
|
||
| 2016-11-16 15:23 – 15:38 | r767 – r808 | |
顯示 diff(1 行未修改)
壹、前言
*一、目的
- *為提升政府開放資料內容之正確性、易用性、即時性及採適當格式開放,使政府資料往結構化、API化方向提升,遂訂定本運作指引,以強化各機關資料品質觀念、並逐步提升政府資料之可用性。
+ *為提升政府資料開放內容之正確性、易用性、即時性及採適當格式開放,使政府資料開放邁向結構化與API化,爰訂定本運作指引,以期協助各機關建立資料品質概念、逐步提升政府資料之可用性。
*二、適用對象
- *行政院(含)所屬各機關暨地方政府。
+ *行政院及所屬各級機關(構)適用之。公營事業機構、公立學校及行政法人,得準用。
*三、 適用範圍
- *本運作指引原則以符合國際「開放定義」之政府資料為主,亦可擴大適用至依法得公開之各類電子資料,包含文字、數據、圖片、影像、聲音、詮釋資料(metadata)等。
+ *本運作指引原則以符合國際「開放定義」之政府資料,範圍含括各機關於職權範圍內取得或做成,且依法得公開之各類電子資料,包含文字、數據、圖片、影像、聲音、詮釋資料(metadata)等
*
貳、資料品質提升流程介紹
(10 行未修改)
*、SHP等。
*(2) 不可轉為表格型態結構化資料:不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
+ *表格型態VS非表格型態?
*2. 非結構化資料:排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。常見檔案格式為PDF、ODT、DOC、DOCX、PNG、JPG等。
*為利資料易於處理,如資料型態允許,應以提供表格型態之結構化資料結構化資料為優先。
(96 行未修改)
|
||
| 2016-11-16 11:59 – 12:39 | r650 – r766 | |
顯示 diff 政府資料品質提升機制運作指引(草案)
- 1. 前言
- *1.1.目的
- *1.2.適用對象
+ 壹、前言
+ *一、目的
+ *為提升政府開放資料內容之正確性、易用性、即時性及採適當格式開放,使政府資料往結構化、API化方向提升,遂訂定本運作指引,以強化各機關資料品質觀念、並逐步提升政府資料之可用性。
+ *二、適用對象
*行政院(含)所屬各機關暨地方政府。
- 2. 資料品質提升流程介紹
- *2.1. 資料品質相關標準
+ *三、 適用範圍
+ *本運作指引原則以符合國際「開放定義」之政府資料為主,亦可擴大適用至依法得公開之各類電子資料,包含文字、數據、圖片、影像、聲音、詮釋資料(metadata)等。
+ *
+ 貳、資料品質提升流程介紹
+ *一、資料品質相關標準
*以資料使用流程為出發點,可分為1.資料可直接取得、2.資料易於處理、3.資料易於理解三個面向:
*(一) 資料可直接取得
(11 行未修改)
*(三) 資料易於理解
*metadata針對結構化之資料資源,須提供資料資源之編碼以及主要欄位之描述,該2項填列方式應依「資料集詮釋資料標準規範」填列之。
- *二、 資料品質檢驗方式
+ *二、資料品質檢驗方式
*原則均採機器測試進行,7項檢驗指標列示如下:
*
(1 行未修改)
*
p.s.上述示意圖尚未區分類別
-
-
-
-
- *2.2. 資料品質管理重點
+ *三、資料品質管理重點
+ *(一) 各部會管理者應由上列指標產製之檢核結果報告(目前規劃將由系統產出),協助品質具改善空間之資料集資料提供者進行改善;倘資料資源產製來源為系統者,應於維運期間或於近期系統改版提供符合表格型態之結構化資料資源。
+ *(二) 對於非結構化但可轉為結構化之資料資源(如:具有合併儲存格之CSV、報表資料僅以PDF檔提供),或部分不可轉為表格型態結構化資料(如:以Word另存之XML),應以資料使用者的角度思考其是否妥適。
+ *(三) 放置於政府資料開放平臺原則適用「政府資料開放授權條款-第1版」授權條款,影音等多媒體資料請務必確認是否適用本授權條款再行開放。
+ *(四) 如有民眾意見回饋意見為資料有誤,或重大事件相關之資料資源未能符合需求品質,本會得限期資料提供機關改善之。
*
- *2.3. 資料品質檢驗方式
- 3. 資料品質提升作法說明
- *3.1. 系統維運/新設
+ 參、資料品質提升作法說明
+ *一、檢測流程概要
+ *(一) 資料品質檢核功能擬開發於政府資料開放平臺後臺,將於資料上傳(手動/批次/介接)階段進行資料資源預載及檢測流程,並將測試結果註記於資料集潛在欄位欄位,以迴避系統即時檢測所需之效能瓶頸。
+ *(二) 當資料資源有所異動時,將會再行檢測。
+ *(三) 連結有效性測試將以每週至少一次的頻率進行測試。
+ *(四) 資料資源是否屬結構化之判斷流程:
+ *[start]承辦人增修資料資源
+ *[A]判斷資料資源檔案格式
+ *如果是 壓縮檔,到 [B]
+ *如果是json, xml, kml, kmz, shp檔,到 [C]
+ *如果是 csv 檔,到 [D]
+ *如果是 xls, xlsx, ods 檔,到 [E]
+ *如果是 API, WebService 到[F]
+ *如果是 其他檔,直接到 [Z]
+ *[B] 壓縮檔 (zip, rar, 7z…) file
+ *解壓縮後,先排除部分忽略清單(例如 README.* schema.*等)
+ *如果只剩一個檔案,以這個檔案回到 [A]
+ *如果有多個檔案則到 [Z] ※ http://data.gov.tw/node/6380
+ *[C] json, xml, kml, kmz, shp file
+ *進行syntax check,如果失敗則到 [Z]
+ *syntax check pass,到 [T]
+ *[D] csv file
+ *UTF-8 check,如果非屬UTF-8,轉存為UTF-8後到 [T]
+ *[E] xls, xlsx, ods file
+ *檢查是否有用到合併儲存格、繪製框線、儲存格背景色或使用公式等,有以上情況,到 [Z]
+ *如果有使用多分頁的話,到 [Z]
+ *如果沒有以上情況,到 [T]
+ *[F] API / WebService
+ *若API / WebService 提供為html介面,則到 [YA] ※ http://data.gov.tw/node/6065
+ *若直接提供JSON輸出結果,則回到 [C]
+ *[T]進行是否為table格式判定
+ *嘗試轉csv,屬table格式,將csv欄位取出,塞至fieldDescription,保留轉存csv至本平臺*資料資源驗證區 到 [Y]
+ *嘗試轉csv,非屬table格式,到 [X]
+ *
+ *[X] 將這個檔案上架,標記為非表格型態之結構化資料,不做額外處理。
+ *[YA] 標記為表格型態之結構化資料,不做額外處理。
+ *[Y] 將原始檔案上架,標記為表格型態之結構化資料,亦將轉存過後的乾淨csv上架,並註記轉換日期時間。使用者可選擇下載任意一種資料資源。
+ *[Z] 將這個檔案上架,標記為非結構化資料,資料資源本身不做其他處理,並錄是從哪個流程進到這步,供部會管理者參考。
+ *
+ *二、 參考範例
*
+ *3.1. 系統維運/新設
*3.2. 既有資料
*3.3. 新設資料
4. 參考範例
+
+
+ ===========================================以下暫存區===========================================
政府資料開放平臺(以下簡稱本平臺)的服務對象:
*主要:開發者/資料使用者,以UTF-8之CSV、JSON、XML等結構化格式作為產出
*次要:一般資訊公開使用者
-
- 基礎分界:
- *結構化資料/非結構化資訊
判斷時點:
(24 行未修改)
|
||
| 2016-11-16 08:20 – 08:21 | r640 – r649 | |
顯示 diff(23 行未修改)
*原則均採機器測試進行,7項檢驗指標列示如下:
*
-
+ 以下為檢核結果示意圖:
+ *
+ p.s.上述示意圖尚未區分類別
(31 行未修改)
*排除計算係為了降低非結構化檔案被要求品質提升時造成的人力浪費
- *
- *
- p.s.上述示意圖尚未區分API(含Webservice)類別
+
*
(12 行未修改)
|
||
| 2016-11-16 06:40 – 06:41 | r626 – r639 | |
顯示 diff(4 行未修改)
*行政院(含)所屬各機關暨地方政府。
2. 資料品質提升流程介紹
- *2.1. 資料品質相關標準
- *以資料使用流程為出發點:
- *(一) 資料可取得
- *
+ *2.1. 資料品質相關標準
+ *以資料使用流程為出發點,可分為1.資料可直接取得、2.資料易於處理、3.資料易於理解三個面向:
+ *(一) 資料可直接取得
+ *包含2項指標:
+ *1. 資料資源連結有效性:資料資源連結是否可回傳成功的 HTTP 狀態碼(HTTP Status Code)。
+ *2. 資料資源可直接下載:使用者能透過資料資源連結直接獲取資料,無需透過登入或任何額外的操作形式。
*(二) 資料易於處理
*就資料描述方式可區分為結構化與非結構化2種形式。
*1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
- *(1) 可轉為table型態之結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無缺漏。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為table型態的XML、KML、SHP等。
- *(2) 不可轉為table型態之結構化資料:不可轉為table型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
+ *(1) 表格型態之結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無空行、缺漏、小計等。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為表格型態的XML、KML
+ *、SHP等。
+ *(2) 不可轉為表格型態結構化資料:不可轉為表格型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
*2. 非結構化資料:排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。常見檔案格式為PDF、ODT、DOC、DOCX、PNG、JPG等。
+ *為利資料易於處理,如資料型態允許,應以提供表格型態之結構化資料結構化資料為優先。
+ *(三) 資料易於理解
+ *metadata針對結構化之資料資源,須提供資料資源之編碼以及主要欄位之描述,該2項填列方式應依「資料集詮釋資料標準規範」填列之。
+ *二、 資料品質檢驗方式
+ *原則均採機器測試進行,7項檢驗指標列示如下:
+ *
+
+
+
+
+
+
*2.2. 資料品質管理重點
*
(45 行未修改)
|
||
| 2016-11-16 01:43 – 03:01 | r595 – r625 | |
顯示 diff(2 行未修改)
*1.1.目的
*1.2.適用對象
-
+ *行政院(含)所屬各機關暨地方政府。
2. 資料品質提升流程介紹
*2.1. 資料品質相關標準
+ *以資料使用流程為出發點:
+ *(一) 資料可取得
+ *
+ *(二) 資料易於處理
+ *就資料描述方式可區分為結構化與非結構化2種形式。
+ *1. 結構化資料:指經分析後可分解為多個互相關聯的組成部分,又可細分為下列2種:
+ *(1) 可轉為table型態之結構化資料:單一列標頭的試算表格式資料,每筆資料有固定欄位數而無缺漏。常見檔案格式為CSV、ODS、XLS、XLSX,以及可轉為table型態的XML、KML、SHP等。
+ *(2) 不可轉為table型態之結構化資料:不可轉為table型態,但符合W3C之XML、JSON、JSON-LD標準等資料。
+ *2. 非結構化資料:排除結構化資料以外均為非結構化資料。例如一般文字文件、圖檔、影音等。常見檔案格式為PDF、ODT、DOC、DOCX、PNG、JPG等。
*2.2. 資料品質管理重點
+ *
*2.3. 資料品質檢驗方式
3. 資料品質提升作法說明
(43 行未修改)
|
||
| 2016-11-16 00:19 – 00:26 | r563 – r594 | |
顯示 diff(9 行未修改)
3. 資料品質提升作法說明
*3.1. 系統維運/新設
+ *
*3.2. 既有資料
*3.3. 新設資料
(19 行未修改)
*非結構化格式(包含多個檔案的壓縮檔,暫時排除分數計算)[Z]
*排除計算係為了降低非結構化檔案被要求品質提升時造成的人力浪費
+
+ *
+ *
+ p.s.上述示意圖尚未區分API(含Webservice)類別
*
(12 行未修改)
|
||
| 2016-11-11 06:49 – 08:17 | r532 – r562 | |
顯示 diff(34 行未修改)
*
+ *API/Webservice部分有無可直接區分的方法?
+ *例如:https://vipmember.tmtd.cpc.com.tw/OpenData/ListPriceWebService.asmx
+
(7 行未修改)
|
||
| 2016-11-11 05:30 – 05:31 | r523 – r531 | |
顯示 diff 政府資料品質提升機制運作指引(草案)
1. 前言
- 1.1.目的
- 1.2.適用對象
+ *1.1.目的
+ *1.2.適用對象
+
2. 資料品質提升流程介紹
- 2.1. 資料品質相關標準
- 2.2. 資料品質管理重點
- 2.3. 資料品質檢驗方式
+ *2.1. 資料品質相關標準
+ *2.2. 資料品質管理重點
+ *2.3. 資料品質檢驗方式
3. 資料品質提升作法說明
- 3.1. 系統維運/新設
- 3.2. 既有資料
- 3.3. 新設資料
+ *3.1. 系統維運/新設
+ *3.2. 既有資料
+ *3.3. 新設資料
4. 參考範例
(30 行未修改)
|
||
| 2016-11-10 10:57 – 11:00 | r479 – r522 | |
顯示 diff(7 行未修改)
2.3. 資料品質檢驗方式
3. 資料品質提升作法說明
- 3.1
+ 3.1. 系統維運/新設
+ 3.2. 既有資料
+ 3.3. 新設資料
+ 4. 參考範例
+
(28 行未修改)
|
||
| 2016-11-10 10:56 – 10:56 | r472 – r478 | |
顯示 diff(40 行未修改)
|
||
| 2016-11-10 10:47 – 10:55 | r387 – r471 | |
顯示 diff(2 行未修改)
1.1.目的
1.2.適用對象
- 2. 品質提升流程介紹
+ 2. 資料品質提升流程介紹
+ 2.1. 資料品質相關標準
+ 2.2. 資料品質管理重點
+ 2.3. 資料品質檢驗方式
+ 3. 資料品質提升作法說明
+ 3.1
+
(27 行未修改)
|
||
| 2016-11-10 10:45 – 10:46 | r378 – r386 | |
顯示 diff(34 行未修改)
|
||
| 2016-11-10 10:45 – 10:45 | r376 – r377 | |
顯示 diff(2 行未修改)
1.1.目的
1.2.適用對象
- 2. 流程介紹
+ 2. 品質提升流程介紹
+
政府資料開放平臺(以下簡稱本平臺)的服務對象:
(26 行未修改)
|
||
| 2016-11-10 10:45 | r375 | |
顯示 diff(33 行未修改)
|
||
| 2016-11-10 10:45 – 10:45 | r373 – r374 | |
顯示 diff(33 行未修改)
|
||
| 2016-11-10 10:45 – 10:45 | r369 – r372 | |
顯示 diff(33 行未修改)
|
||
| 2016-11-10 10:45 – 10:45 | r367 – r368 | |
顯示 diff(2 行未修改)
1.1.目的
1.2.適用對象
-
+ 2. 流程介紹
政府資料開放平臺(以下簡稱本平臺)的服務對象:
(26 行未修改)
|
||
| 2016-11-10 10:45 | r366 | |
顯示 diff(33 行未修改)
|
||
| 2016-11-10 10:44 – 10:45 | r359 – r365 | |
顯示 diff 政府資料品質提升機制運作指引(草案)
+ 1. 前言
+ 1.1.目的
+ 1.2.適用對象
+
政府資料開放平臺(以下簡稱本平臺)的服務對象:
(26 行未修改)
|
||
| 2016-11-10 09:44 – 10:37 | r146 – r358 | |
顯示 diff(6 行未修改)
基礎分界:
*結構化資料/非結構化資訊
+
判斷時點:
*政府機關資料提供者於資料集上架時,由本平臺進行預載檢核。
*檢核流程請參閱 https://g0v.hackpad.com/Open-Data--SA806TyuPOb
+ *檔案格式分類將分為三大類
+ *未清理之結構化格式[X]
+ *結構化格式(限定為CSV、JSON、XML、KML、KMZ、SHP、ODS、XLS、XLSX)[Y]
+ *API與Webservice該如何納入機器評測?
+ *非結構化格式(包含多個檔案的壓縮檔,暫時排除分數計算)[Z]
+ *排除計算係為了降低非結構化檔案被要求品質提升時造成的人力浪費
+
*
(8 行未修改)
|
||
| 2016-11-09 09:59 – 10:00 | r103 – r145 | |
顯示 diff(1 行未修改)
政府資料開放平臺(以下簡稱本平臺)的服務對象:
- *資料使用者,因此將會以UTF-8之CSV、JSON、XML等結構化格式作為產出
+ *主要:開發者/資料使用者,以UTF-8之CSV、JSON、XML等結構化格式作為產出
+ *次要:一般資訊公開使用者
+ 基礎分界:
+ *結構化資料/非結構化資訊
判斷時點:
*政府機關資料提供者於資料集上架時,由本平臺進行預載檢核。
*檢核流程請參閱 https://g0v.hackpad.com/Open-Data--SA806TyuPOb
*
-
+ 參考資料
+ *http://labs.centerforgov.org/guides/
+ *
This pad text is synchronized as you type, so that everyone viewing this page sees the same text. This allows you to collaborate seamlessly on documents!
|
||
| 2016-11-08 07:55 – 08:52 | r1 – r102 | |
顯示 diff- Untitled
+ 政府資料品質提升機制運作指引(草案)
+
+ 政府資料開放平臺(以下簡稱本平臺)的服務對象:
+ *資料使用者,因此將會以UTF-8之CSV、JSON、XML等結構化格式作為產出
+
+ 判斷時點:
+ *政府機關資料提供者於資料集上架時,由本平臺進行預載檢核。
+ *檢核流程請參閱 https://g0v.hackpad.com/Open-Data--SA806TyuPOb
+ *
+
+
+
+
+
This pad text is synchronized as you type, so that everyone viewing this page sees the same text. This allows you to collaborate seamlessly on documents!
|
||
| 2016-11-08 07:55 | r0 | |
顯示 diff+ Untitled
+ This pad text is synchronized as you type, so that everyone viewing this page sees the same text. This allows you to collaborate seamlessly on documents!
|
||