Quality of care is a broad and abstract concept and the attempts of measuring quality places constrains on the interpretability of the outcomes. The aim of this research was to study the value of performance indicators in comparing the quality of care between hospitals and their usefulness for the improvement of the quality of care within hospitals.

We found considerable influence of random variation when we compared hospitals using the outcome indicators of the Dutch Health Care Inspectorate. Using the concept of rankability we found that in the ranking of hospitals, both the between hospital uncertainty and the uncertainty of the within hospitals estimates led to unreliable positioning. Therefore, none of the tested indicators could be used for the ranking of hospitals. Low numbers in sample size or event rates lead to an indicator score in which differences between hospitals do not overcome random variation. Both sample size and event rates need to be addressed in the development of indicators. Furthermore, we found that a forest plot gave appropriate insight in the number of Dutch hospitals that actually significantly deviated from the average. The funnel plot provided a visual representation of differences between hospitals therewith allowing simple interpretation of the uncertainty of these differences. We also used rank plots and showed that the substantial uncertainty makes current rankings with these outcome indicators unreliable. Of all three graphical displays used, the funnel plots provided most valuable insight in the magnitude of random variation and is therefore best used for the interpretation of differences between hospitals. Although more research is needed to clarify the desired graphical display in specific conditions, not addressing random variation in graphical displays potentially misleads hospital assessments.
For surgical site infections, we found that the apparent differences between Dutch hospitals in this specific outcome indicator were predominantly attributable to random variation and case-mix. This case study provided a clear illustration that both random variation and case-mix must be addressed systematically in performance measurement before conclusions can be drawn on the quality of hospital care. It is indisputable that correction for patient factors should be part of the assessment of hospital performance.

Exploring the process-outcome relation, we found that the outcome indicator ‘pressure ulcer occurrence’ reflected differences in the quality of the bundle of preventive care processes provided by nurses. This significant relation between outcome and process in pressure ulcer care, supports the usefulness of this indicator in assessing the quality of nursing care. We confirmed that the pressure ulcer prevalence was also determined by several patient factors that cannot be influenced. Addressing the process-outcome relation in performance measurement from another angle, we explored the feasibility of measuring the effect of surveillance by the Dutch Health Care Inspectorate using retrospective data on health outcomes in three health problems: pressure ulcers, suicide and medication errors. We found that in case of clearly defined health problems, such as pressure ulcers and suicide, the frequency of these outcomes could be measured using Inspectorate data and trends could be analysed using an interrupted time series design. However, support of a causal relationship between supervision and observed trends could only be derived with data on external factors that influenced this trend. Although the relationship between process and outcome may seem straight forward and applicable, this is not always confirmed in research. We recommend, that the process-outcome relation should be addressed and explored in existing indicators as well as in the development of new quality indicators.

In a process measure of acute stroke care, we found a significant improvement in “door-to-needle time” (DNT) over recent years. We could not attribute this trend to one or more specific interventions. We hypothesised that the combined effect of various interventions together and the constant focus of care-givers on quality improvement explained the significant improvement of the indicator DNT. In a quality project that aimed to improve pressure ulcer prevalence, we did not find a statistically significant decrease of nosocomial pressure ulcer occurrence using an interrupted time series design. However, we did see a significant improvement in the process measure risk assessment. Outcome indicators should be paired with process indicators to gain insight for the improvement of quality of care.
CONCLUSION
The measure of quality of care is a multidimensional and complex process. We must be aware that a performance indicator offers only a certain signal on quality and is by no means an absolute measure. Like a one hand clock, we roughly know what time it is.

Kwaliteit van zorg is een breed en abstract begrip en de pogingen kwaliteit te meten stelt eisen aan de interpreteerbaarheid van de uitkomsten. Het doel van dit project was om de waarde van prestatie-indicatoren in de vergelijking van de kwaliteit van zorg tussen ziekenhuizen en hun nut voor de verbetering van de kwaliteit van de zorg binnen het ziekenhuis te onderzoeken.

We vonden een aanzienlijke invloed van toevalsvariatie in de vergelijking en rangordening van ziekenhuizen met behulp van de uitkomstindicatoren van de Nederlandse Inspectie voor de Gezondheidszorg. Met behulp van het concept van rankability werd aangetoond dat een rangordening van de ziekenhuizen met behulp van deze prestatie-indicatoren onbetrouwbaar is. Toevalsvariatie, zowel tussen ziekenhuizen als binnen ziekenhuizen, beïnvloedt de onzekerheid van de rangordening. Derhalve kan geen van de onderzochte prestatie-indicatoren worden gebruikt voor de rangordening van ziekenhuizen. Lage aantallen in de noemer van de indicator en/of weinig voorkomende uitkomsten/events leiden tot een indicatorscore waarvan de verschillen tussen ziekenhuizen het toeval niet overstijgen. De grootte van zowel de teller als de noemer moeten in de ontwikkeling van indicatoren worden meegewogen.
We onderzochten in hoeverre de grafische weergave van de indicatoruitkomsten inzicht gaf in deze toevalsvariatie. Daarbij bleek een “forrest plot” inzicht te geven in de ziekenhuizen die aanzienlijk afweken van het gemiddelde. De “funnel plot” gaf een visuele weergave van de verschillen tussen ziekenhuizen en een eenvoudige interpretatie van de onzekerheid van deze verschillen. Het “rank plot” toonde aan dat ranglijsten gebaseerd op uitkomstindicatoren onbetrouwbaar zijn. Van alle drie de gebruikte grafische displays bleek de funnel plot waardevolle inzichten te geven in de omvang van de toevalsvariatie zonder de suggestie van een rangordening. Daarom is deze het best te gebruikt voor de interpretatie van verschillen tussen ziekenhuizen. Hoewel meer onderzoek nodig is naar de gewenste grafische weergaven, leidt het niet weergeven van toevalsvariatie in grafische displays tot misleidende ziekenhuis beoordelingen.
Voor de uitkomstindicator postoperatieve wondinfectie vonden we dat de schijnbare verschillen tussen de Nederlandse ziekenhuizen voornamelijk toe te schrijven waren aan toevalsvariatie en patiëntfactoren (case-mix). Deze case studie is een duidelijke illustratie dat correctie voor zowel toevalsvariatie als patiëntfactoren systematisch moet worden uitgevoerd bij het meten van zorgprestaties voordat conclusies kunnen worden getrokken over de kwaliteit van de ziekenhuiszorg Het staat buiten kijf dat de correctie voor de patiëntfactoren onderdeel van de beoordeling van de prestaties van een ziekenhuis moet zijn.

In de exploratie van de proces-uitkomst relatie vonden we dat de uitkomstindicator 'decubitusprevalentie' de verschillen in de kwaliteit van de bundel van preventieve zorgprocessen weerspiegeld. Deze significante relatie tussen uitkomst (decubitus) en proces (preventie van decubitus) onderbouwt de waarde van deze indicator bij de beoordeling van de kwaliteit van de verpleegkundige zorg. Uit het onderzoek bleek dat de prevalentie van decubitus ook significant werd beïnvloed door patiëntfactoren.
Hoewel de relatie tussen structuur, proces en uitkomst ongecompliceerd en toepasbaar lijkt, wordt deze niet altijd bevestigd met onderzoek. Nader onderzoek naar de structuur-proces-uitkomst relatie moeten is wenselijk voor zowel bestaande indicatoren als bij de ontwikkeling van nieuwe kwaliteitsindicatoren.

In een procesindicator van acute zorg na een cerebro vasculair accident (beroerte of CVA) vonden we een significante verbetering van de "door-to-needle tijd" (DNT) over de gemeten jaren. We konden echter deze trend niet toeschrijven aan één of meer specifieke interventies. Het is mogelijk dat het gecombineerde effect van verschillende interventies en de constante focus van de zorgverleners op kwaliteitsverbetering deze aanzienlijke verbetering van de indicator DNT kan verklaren.
In een kwaliteit project dat gericht was op de verbetering van decubitusprevalentie onder chirurgische patiënten, kon er geen statistisch significante daling van nosocomiale decubitus worden aangetoond. Wel bleek er een aanzienlijke verbetering van de screening op de kans op het ontwikkelen van decubitus gemeten met de procesindicator risico-inventarisatie.
Uitkomstindicatoren moeten worden gecombineerd met procesindicatoren om inzicht te krijgen in de verbetering van de kwaliteit van de zorg.
CONCLUSIE
De meting van de kwaliteit van zorg is een multidimensionaal en complex proces. We moeten ons ervan bewust zijn dat een indicator slechts een beperkt signaal geeft over de zorgkwaliteit en geenszins absolute maat is. Net als een klok met één wijzer weten we ongeveer hoe laat het is.