Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines

Meteorological observations from more than 250 stations in the Beaufort and Chukchi Sea coastal, interior, and offshore regions were gathered and quality-controlled for the period 1979 through 2009. These stations represent many different observing networks that operate in the region for the purpose...

Full description

Bibliographic Details
Published in:ARCTIC
Main Authors: Shulski, Martha D., You, Jinsheng, Krieger, Jeremy R., Baule, William, Zhang, Jing, Zhang, Xiangdong, Horowitz, Warren
Format: Article in Journal/Newspaper
Language:English
Published: The Arctic Institute of North America 2014
Subjects:
Online Access:https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412
id ftunivcalgaryojs:oai:journalhosting.ucalgary.ca:article/67412
record_format openpolar
institution Open Polar
collection University of Calgary Journal Hosting
op_collection_id ftunivcalgaryojs
language English
topic western Arctic
meteorological observations
data quality
automated quality control
Beaufort Sea
Chukchi Sea
Alaska
Arctique de l’Ouest
observations météorologiques
qualité des données
contrôle de la qualité automatisé
mer de Beaufort
mer des Tchouktches
spellingShingle western Arctic
meteorological observations
data quality
automated quality control
Beaufort Sea
Chukchi Sea
Alaska
Arctique de l’Ouest
observations météorologiques
qualité des données
contrôle de la qualité automatisé
mer de Beaufort
mer des Tchouktches
Shulski, Martha D.
You, Jinsheng
Krieger, Jeremy R.
Baule, William
Zhang, Jing
Zhang, Xiangdong
Horowitz, Warren
Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines
topic_facet western Arctic
meteorological observations
data quality
automated quality control
Beaufort Sea
Chukchi Sea
Alaska
Arctique de l’Ouest
observations météorologiques
qualité des données
contrôle de la qualité automatisé
mer de Beaufort
mer des Tchouktches
description Meteorological observations from more than 250 stations in the Beaufort and Chukchi Sea coastal, interior, and offshore regions were gathered and quality-controlled for the period 1979 through 2009. These stations represent many different observing networks that operate in the region for the purposes of aviation, fire weather, coastal weather, climate, surface radiation, and hydrology and report data hourly or sub-hourly. A unified data quality control (QC) has been applied to these multi-resource data, incorporating three main QC procedures: the threshold test (identifying instances of an observation falling outside of a normal range); the step change test (identifying consecutive values that are excessively different); and the persistence test (flagging instances of excessively high or low variability in the observations). Methods previously developed for daily data QC do not work well for hourly data because they flag too many data entries. Improvements were developed to obtain the proper limits for hourly data QC. These QC procedures are able to identify the suspect data while producing far fewer Type I errors (the erroneous flagging of valid data). The fraction of flagged data for the entire database illustrates that the persistence test was failed the most often (1.34%), followed by the threshold (0.99%) and step change tests (0.02%). Comparisons based on neighboring stations were not performed for the database; however, correlations between nearby stations show promise, indicating that this type of check may be a viable option in such cases. This integrated high temporal resolution dataset will be invaluable for weather and climate analysis, as well as regional modeling applications, in an area that is undergoing significant climatic change. Des observations météorologiques provenant de plus de 250 stations des régions côtières, intérieures et extracôtières de la mer de Beaufort et de la mer des Tchouktches ont été recueillies pendant la période allant de 1979 à 2009, puis elles ont fait l’objet d’un contrôle de la qualité. Ces stations relèvent de plusieurs réseaux d›observation différents qui existent dans la région à des fins d›aviation, de météorologie forestière, de météorologie côtière, de climat, de rayonnement de surface et d’hydrologie, et elles fournissent des données horaires ou subhoraires. Un contrôle de la qualité (CQ) unifié des données a été appliqué à ces données provenant de sources multiples en faisant appel à trois méthodes principales de CQ, soit le test d’acceptabilité (qui a permis de déterminer dans quels cas une observation ne faisait pas partie de la gamme normale); le test de la variation discrète (qui a permis de détecter les valeurs consécutives qui sont excessivement différentes); et le test de la persistance (qui a permis de repérer les cas de variabilité excessivement élevée ou basse). Les anciennes méthodes de CQ des données quotidiennes ne donnent pas de bons résultats dans le cas des données horaires parce qu’elles se trouvent à signaler un trop grand nombre d’entrées de données. Des améliorations ont été apportées afin d’obtenir les bonnes limites en vue du CQ des données horaires. Ces méthodes de CQ permettent de repérer les données douteuses et produisent beaucoup moins d’erreurs de type I (le signalement erroné de données valables). La fraction de données signalées pour l’ensemble de la base de données illustre que le test de persistance a échoué le plus souvent (1,34 %), suivi du test d’acceptabilité (0,99 %) et des tests de la variation discrète (0,02 %). Des comparaisons effectuées avec les données de stations avoisinantes n’ont pas été effectuées pour la base de données. Cependant, des corrélations entre les stations annexes s’avéraient prometteuses, ce qui a laissé entendre que ce type de vérification pourrait présenter une option viable dans de tels cas. Cet ensemble de données intégrées à haute résolution temporelle aura une très grande valeur pour l’analyse météorologique et climatique ainsi que pour les applications de modélisation régionale dans une région où le changement climatique est important.
format Article in Journal/Newspaper
author Shulski, Martha D.
You, Jinsheng
Krieger, Jeremy R.
Baule, William
Zhang, Jing
Zhang, Xiangdong
Horowitz, Warren
author_facet Shulski, Martha D.
You, Jinsheng
Krieger, Jeremy R.
Baule, William
Zhang, Jing
Zhang, Xiangdong
Horowitz, Warren
author_sort Shulski, Martha D.
title Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines
title_short Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines
title_full Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines
title_fullStr Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines
title_full_unstemmed Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines
title_sort quality assessment of meteorological data for the beaufort and chukchi sea coastal region using automated routines
publisher The Arctic Institute of North America
publishDate 2014
url https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412
long_lat ENVELOPE(-138.005,-138.005,69.500,69.500)
geographic Arctic
Chukchi Sea
Mer de Beaufort
geographic_facet Arctic
Chukchi Sea
Mer de Beaufort
genre Arctic
Arctic
Arctique*
Beaufort Sea
Chukchi
Chukchi Sea
Mer de Beaufort
Mer des Tchouktches
Tchouktche*
Alaska
genre_facet Arctic
Arctic
Arctique*
Beaufort Sea
Chukchi
Chukchi Sea
Mer de Beaufort
Mer des Tchouktches
Tchouktche*
Alaska
op_source ARCTIC; Vol. 67 No. 1 (2014): March: 1–133; 104–112
1923-1245
0004-0843
op_relation https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412/51319
https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412
container_title ARCTIC
container_volume 67
container_issue 1
container_start_page 104
_version_ 1766291181863436288
spelling ftunivcalgaryojs:oai:journalhosting.ucalgary.ca:article/67412 2023-05-15T14:19:23+02:00 Quality Assessment of Meteorological Data for the Beaufort and Chukchi Sea Coastal Region using Automated Routines Shulski, Martha D. You, Jinsheng Krieger, Jeremy R. Baule, William Zhang, Jing Zhang, Xiangdong Horowitz, Warren 2014-03-18 application/pdf https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412 eng eng The Arctic Institute of North America https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412/51319 https://journalhosting.ucalgary.ca/index.php/arctic/article/view/67412 ARCTIC; Vol. 67 No. 1 (2014): March: 1–133; 104–112 1923-1245 0004-0843 western Arctic meteorological observations data quality automated quality control Beaufort Sea Chukchi Sea Alaska Arctique de l’Ouest observations météorologiques qualité des données contrôle de la qualité automatisé mer de Beaufort mer des Tchouktches info:eu-repo/semantics/article info:eu-repo/semantics/publishedVersion research-article 2014 ftunivcalgaryojs 2022-03-22T21:24:07Z Meteorological observations from more than 250 stations in the Beaufort and Chukchi Sea coastal, interior, and offshore regions were gathered and quality-controlled for the period 1979 through 2009. These stations represent many different observing networks that operate in the region for the purposes of aviation, fire weather, coastal weather, climate, surface radiation, and hydrology and report data hourly or sub-hourly. A unified data quality control (QC) has been applied to these multi-resource data, incorporating three main QC procedures: the threshold test (identifying instances of an observation falling outside of a normal range); the step change test (identifying consecutive values that are excessively different); and the persistence test (flagging instances of excessively high or low variability in the observations). Methods previously developed for daily data QC do not work well for hourly data because they flag too many data entries. Improvements were developed to obtain the proper limits for hourly data QC. These QC procedures are able to identify the suspect data while producing far fewer Type I errors (the erroneous flagging of valid data). The fraction of flagged data for the entire database illustrates that the persistence test was failed the most often (1.34%), followed by the threshold (0.99%) and step change tests (0.02%). Comparisons based on neighboring stations were not performed for the database; however, correlations between nearby stations show promise, indicating that this type of check may be a viable option in such cases. This integrated high temporal resolution dataset will be invaluable for weather and climate analysis, as well as regional modeling applications, in an area that is undergoing significant climatic change. Des observations météorologiques provenant de plus de 250 stations des régions côtières, intérieures et extracôtières de la mer de Beaufort et de la mer des Tchouktches ont été recueillies pendant la période allant de 1979 à 2009, puis elles ont fait l’objet d’un contrôle de la qualité. Ces stations relèvent de plusieurs réseaux d›observation différents qui existent dans la région à des fins d›aviation, de météorologie forestière, de météorologie côtière, de climat, de rayonnement de surface et d’hydrologie, et elles fournissent des données horaires ou subhoraires. Un contrôle de la qualité (CQ) unifié des données a été appliqué à ces données provenant de sources multiples en faisant appel à trois méthodes principales de CQ, soit le test d’acceptabilité (qui a permis de déterminer dans quels cas une observation ne faisait pas partie de la gamme normale); le test de la variation discrète (qui a permis de détecter les valeurs consécutives qui sont excessivement différentes); et le test de la persistance (qui a permis de repérer les cas de variabilité excessivement élevée ou basse). Les anciennes méthodes de CQ des données quotidiennes ne donnent pas de bons résultats dans le cas des données horaires parce qu’elles se trouvent à signaler un trop grand nombre d’entrées de données. Des améliorations ont été apportées afin d’obtenir les bonnes limites en vue du CQ des données horaires. Ces méthodes de CQ permettent de repérer les données douteuses et produisent beaucoup moins d’erreurs de type I (le signalement erroné de données valables). La fraction de données signalées pour l’ensemble de la base de données illustre que le test de persistance a échoué le plus souvent (1,34 %), suivi du test d’acceptabilité (0,99 %) et des tests de la variation discrète (0,02 %). Des comparaisons effectuées avec les données de stations avoisinantes n’ont pas été effectuées pour la base de données. Cependant, des corrélations entre les stations annexes s’avéraient prometteuses, ce qui a laissé entendre que ce type de vérification pourrait présenter une option viable dans de tels cas. Cet ensemble de données intégrées à haute résolution temporelle aura une très grande valeur pour l’analyse météorologique et climatique ainsi que pour les applications de modélisation régionale dans une région où le changement climatique est important. Article in Journal/Newspaper Arctic Arctic Arctique* Beaufort Sea Chukchi Chukchi Sea Mer de Beaufort Mer des Tchouktches Tchouktche* Alaska University of Calgary Journal Hosting Arctic Chukchi Sea Mer de Beaufort ENVELOPE(-138.005,-138.005,69.500,69.500) ARCTIC 67 1 104