K pojetí kvality ve školství a jejímu hodnocení

Karel Rýdl

Univerzita Pardubice

Úvod

V posledních letech pronikla diskuse o kvalitě z oblasti hospodářské i do oblasti vzdělávání. Zejména sféra kvality dalšího vzdělávání (ať již profesního, kvalifikačního nebo zájmového) byla a je předmětem zájmu téměř celosvětové diskuse. Chceme–li aplikovat diskusi o kvalitě na celou vzdělávací oblast, jsme velmi brzy nuceni se střetávat s různými modely, které byly pro zjišťování kvality v různých částech světa vyvinuty. Jednotlivé modely se liší nejen svými cíli (co hodnotí jako kvalitu), ale i metodami a formami zjišťování. Většina dosud uplatňovaných modelů byla ale vyvinuta pro jednotlivé sféry výrobních podniků a jen velmi podmínečně a výjimečně se bez dalších zásahů hodí pro aplikaci i v oblasti vzdělávacích institucí. Ve sféře vzdělávání jsou především pojmy z ekonomické sféry, kde hlavním měřítkem kvality je efektivita zisku, jako “úspěch” a s tím i “kvalita” vnímány mnohem komplexněji a tím obtížněji popsatelné než v oblasti ekonomické.

I když tedy připustíme, že je možné kvalitu v oblasti vzdělání popsat “an sich”, jakými prostředky ji potom budeme zajišťovat a hodnotit? Využívat mechanicky modely pro výrobní podniky by asi nemělo vzhledem k odlišným cílům a strukturám velkého smyslu. Vzhledem k tomu, že i v oblasti vzdělávání existuje velmi pestrá řada různých vzdělávacích institucí a organizací, škol a výchovných zařízení, bylo by hledání jednotně aplikovatelného modelu velmi složité, i kdybychom respektovali základní kritérium takového modelu, totiž značnou rámcovost a všeobecnost.

K tomu by bylo nutné počítat i s prosazováním představ o kvalitě jednotlivých zájmově zainteresovaných skupin, zejména u učitelů, vědců, administrátorů a manažerů kvality. Ne všechno, co v rámci procesu vzdělávání a jeho dosahování probíhá, lze hodnotit současnými standardními (tedy uznávanými a respektovanými) prostředky a nástroji. Je jistě důležité a navíc i snadné zjistit počty zpětných projektorů v učebnách, ale mnohem obtížnější je zjišťování míry jejich využitelnosti a dále ještě smysluplnosti jejich využívání. Vyučovací a učební situace jsou svým způsobem jedinečné a neopakovatelné a nemohou být nijak celoplošně účelně (účelově jistě) normovány. Na druhé straně ale nemůže pedagogická věda vzhledem k výše uvedeným obtížím rezignovat na probíhající diskuse o kvalitě nebo je ignorovat prohlášením, že neexistuje nic měřitelného, žádné rámcové podmínky nebo minimální všeobecně platné standardy. Prokázaná existence takových standardů ve smyslu hodnotících norem by měla pomoci oblasti vzdělávání především obhájit své požadavky na odpovídající materiální zajištění umožňující nikoliv pouhou reprodukci (a tím v podstatě vzhledem k enormnímu světovému rozvoji vzdělávacích koncepcí a jejich technologií vlastní stagnaci), ale zejména rozvoj, z jehož výsledků (většinou ovšem s dlouhodobou návratností, což může investory značně odrazovat) ovšem získává nejen vzdělávací sféra, ale i ostatní sféry společenského života, zejména sféra sociální a ekonomická.

V průběhu 90. let se v různých zemích Evropské unie začaly objevovat projekty, jejichž cílem bylo pokusit se navrhnout model funkčního manažerského hodnocení kvality pro různé vzdělávací instituce tak, aby byly zohledněny již existující modely hodnocení kvality v oblasti výrobní a ekonomické vůbec. Řada projektů v Německu, Rakousku, Nizozemí, Skandinávii nebo ve Španělsku přicházela s definicemi doplňkových kritérií, k nimž byly formulovány a vytvářeny nástroje. Struktury modelů byly orientovány na velmi široce se prosazující modely hodnocení kvality “Evropské nadace pro kvalitativní management” (European Foundation for Quality Management, EFQM) a “Mezinárodní kanceláře pro standardizaci” (International Office for Standardisation, ISO), která vyvinula systém obecných kvalitativních standardů známých pod všeobecným označením ISO 9000.

Hodnocení kvality v oblasti vzdělávání je v zásadě možné jen postupně malými kroky umožňujícími postupnou identifikaci s definovanými kritérii (indikátory, znaky) a praktickými opatřeními (nástroji) pro jejich zjišťování.

I. Pojetí kvality ve vzdělávání

Péče o kvalitu a její hodnocení byla na různých úrovních vždy součástí vzdělávacích systémů, které začaly vznikat v samostatných zemích od konce 18. století. Od prostého zjišťování efektivity vyučovacího procesu přezkušováním žáků se v průběhu 20. století dospělo v souvislosti s postupnou ekonomizací společenského života k potřebě stálého zvyšování kvality vzdělání.

Nutnou podmínkou zvyšování kvality vzdělávání jsou informace o fungování vzdělávacího systému na všech jeho úrovních. V průběhu minulých desetiletí byly v různých oblastech světa (byl by velký omyl domnívat se, že se to týká jen rozvinutých zemí, sdružených např. v OECD nebo EU) intenzívně vyvíjeny metodologické postupy, kterými bylo možné získávat nejen požadované informace, na jejichž základě lze potom vyhodnocovat relevantnost a užitečnost zvolených postupů a cílů, ale také vytvářet předpoklady pro hodnocení jejich eficience (ve smyslu smysluplného využívání vstupních zdrojů vzhledem k dosahovaným výsledkům) a efektivity (ve smyslu porovnání vstupních záměrů s dosaženými cíli). Tento proces hodnocení ve smyslu zjišťování efektivity (užitečnosti) zvolených postupů pro fungování systému je nazýván evaluací.

Ve světě se za posledních dvacet let stala evaluace vzdělávání (ve svých různých formách, podobách a zaměřeních) důležitou oblastí výzkumu a praxe. Vedle zkvalitnění vzdělávacího procesu sleduje i zvýšení odpovědnosti za vynaložené finanční prostředky. Vzhledem k náročnosti a nákladnosti evaluace je třeba ji provádět efektivně a její výsledky zveřejňovat a využívat ke zkvalitnění vzdělávacího procesu, jeho řízení a personálního zajištění.

Předpokladem efektivních evaluačních procesů bylo vyjasnění pojmů v oblasti kvality vzdělání. Ta je definována nejen vnitřními potřebami vzdělávacího systému jako výsledek snah a očekávání v oblasti předem formulovaných cílů na různých úrovních (žák, třída, škola, školský systém, vzdělávací systém, společnost), ale stále více i vnějšími vlivy, definovanými reagencí na společenskou objednávku a ekonomické možnosti společnosti. Zde bych se chtěl zmínit o jevu, který je znám z celé řady zemí, totiž o tom, že se ztotožňují možnosti společnosti s její vůlí. To je velký omyl. Možnosti společnosti jsou vždy mnohem větší než je její vůle, respektive vůle zvolených, či jinak vzniklých reprezentantů, kteří mají moc poměry materiálního zajištění měnit. Např. česká společnost má jistě velké možnosti pro zajištění potřebných investic v oblasti vzdělávání a školství. Míra potřebnosti není, myslím, dána subjektivními představami některých pracovníků uvedeného resortu, ale stavem a šíří jeho vývoje v zahraničí. Z tohoto hlediska se pak jedná o ryze politickou a ekonomickou kategorii ve smyslu získání nebo udržení perspektivní (nikoliv současné) konkurenceschopnosti. Ovšem většinou chybí vůle k tomu, aby byly možné prostředky, tedy ty, které jsou v celkovém rozpočtu k dispozici, přerozděleny ve prospěch zajištění budoucnosti. Myslím, že našim představitelům (většinou zase mimo resort školství) nechybí možnosti, ale odvaha k takovým zásadním politickým (nikoliv politikářským) rozhodnutím.

Pojem kvality vzdělání se odlišuje v jednotlivých zemích podle vlastních tradic, hodnotové orientace a ekonomického potenciálu dané země. Podívejme se na několik příkladů:

  1. Německo a německy mluvící země diskutují od konce 80. let o pojmu kvality v oblasti vyučování (výstup). Proto je tolik kladen důraz na kurikulární reformu, tvorbu vlastních vzdělávací programů škol a na metody hodnocení specifických (profilových) vzdělávacích kurzů sledovaných vzdělávacích úrovní: primární (kvalita psaní, čtení s porozuměním a algebra), sekundární nižší (matematika, přírodovědné předměty) a sekundární vyšší (cizí jazyky, sociální kompetence). V těchto zemích se zatím kvalita a její hodnocení prosazuje především v oblasti školního vyučování.
  2. Nizozemí a skandinávské země mají diskusi o podobě a obsahu kvality a jejího měření a hodnocení již za sebou (80. léta) a od počátku 90. let rozvíjejí model, který sleduje kvalitu z hlediska celé školy ve smyslu využívání podmínek a možností, které má škola k dispozici (sebeevaluační techniky patří již k běžné praxi škol, které jsou spravovány většinou místní nebo regionální samosprávou). Kvalita vyučování se potom stává jen jedním z kritérií. Dalšími jsou míra spolupráce mezi učiteli (teamwork), kvalita pedagogické atmosféry (spokojenost dětí), míra a funkčnost otevřenosti školy, doplňkové financování, nadstandardní nabídka (“přidaná hodnota” vyučování) atd. Tyto země se dostaly v Evropě zatím nejdále, protože pojem kvality zasahuje veškeré činnosti a působení školy jako samosprávné instituce.
  3. V České republice začala být kvalita vzdělávání diskutována v komplexu, pomineme-li ojedinělé empirické pokusy od 60. let, od počátku 90. let. I když do roku 1995 se vzhledem k okolnostem tato tendence rozvíjela velmi dobře (zapojení do mezinárodních srovnávání a výzkumů, umožnění pedagogické profilace škol volbou programů a didaktickou a metodickou svobodou učitelů, zdůrazňováním nutnosti komunitní politiky škol (otevřená škola) apod. byly pod tlakem restriktivních ekonomických opatření preferovány kritéria kvality nejen z pedagogické oblasti, ale zejména z oblasti ekonomické. Kvalitní škola byla ta, která nejvíce z rozpočtu ušetřila. Tento trend se díky tvrdým rozpočtovým restrikcím z léta 1997 v podstatě začal měnit až v roce 2000, v souvislosti s přípravou nového zákona a zpracováváním strategického dokumentu tzv. Bílé knihy. Postupný rozvoj formulování kritérií a nástrojů pro hodnocení kvality v oblasti kurikulární byl po faktickém zastavení v polovině 90. let nebo redukování jen na tvorbu didaktických výkonových testů opět obnoven a je nyní i grantově podporován. Mezitím si ale řada pedagogických asociací a jednotlivých škol začala vytvářet soubor vlastních kritérií pro sebeevaluační aktivity.

Pojem "kvalita ve vzdělání" lze definovat velmi úzce nebo široce. Lze konstatovat, že ani země, které disponují v této oblasti nejrozvinutějším výzkumem a zázemím, nemají v definici kvality vzdělání zcela jasno.

Tlak na zjišťování kvality a efektivity vzdělávání byl zvýšen v období 80. let a lze vymezit 4 příčiny tohoto zvýšeného zájmu:

  1. V otevřených, demokratických společnostech existuje zcela běžně, že ve výročních zprávách škol je stále větší potřeba a stále více pozornosti věnováno možnostem vhledu do fungování vzdělávacích zařízení. Tak byly preferovány procesy autonomizace vzdělávacích institucí, jejichž důsledkem byla zvýšená potřeba realizace sebehodnotících procesů (sebeevaluace). Příčina těchto preferencí není jednoznačná. Jedna skupina odborníků se domnívá, že příčinou je postupná neschopnost státu řídit a spravovat stále vnitřně složitější vzdělávací systém a proto se snaží předávat jej samosprávným a soukromým iniciativám, což činí vlastně “z nouze cnost”, protože se tváří jako liberální orgán, který činí z vlastního rozhodnutí, že umožňuje zvyšující se svobodou škol rozvíjet jejich odpovědnost za další vývoj a tím i celkovou autonomizaci. Druhá skupina odborníků zastává názor opačný. Příčinu preferencí vidí právě v hlubším poznání státní správy, které může vznikat pod ekonomickým nebo sociálním tlakem, že jenom vyšší svoboda a tím i odpovědnost podle principu subsidiarity vede k vyšší efektivitě a tím i společenskému přínosu. V podstatě šlo o odpověď na tlak způsobený “ropnou krizí” (1973), kdy byla pozornost od kvantity obrácena na sledování kvality. Když to fungovalo v ekonomice, byla snaha stejné modely řízení a správy realizovat v oblasti školství, což měla výzkumy potvrdit sociální psychologie, jejíž rozvoj je v poslední době značně preferován. V různých zemích byly vyvinuty postupy např. odborné akreditace (USA), nebo partnerského modelu (Nizozemí). To mělo další vliv na zkoumání specifik vzdělávacího managementu, do něhož začaly silně pronikat metody a formy z oblasti ekonomického managementu, a to nejen zvolenou terminologií, ale i strukturou a vyžadovanými postupy, které dosud nebyly v oblasti vzdělávání obvyklé a potřebné. Velmi rychle se vyvinuly nové dílčí a mezní vědní obory (vzdělávací politika, teorie školského managementu, evaluační teorie), které se stávají součástí studia pedagogických věd.
  2. V inkriminovaných letech (1970-1985) se projevoval kvalitativní rozvoj věd o výchově a vzdělávání, což umožnilo více vhledu do použitelnosti a mezí evaluačních metod. Bouřlivě byly rozvíjeny zejména okrajové disciplíny, využívající poznatků z ekonomiky, sociologie, politologie, demografie nebo sociální psychologie.
  3. V průběhu 70. a 80. let docházelo k častým ekonomickým depresím, které vedly k nutnosti prosadit na makroekonomické úrovni taková rozhodnutí, podle nichž byly posuzovány autonomizující se společenské instituce (mezi nimi i školy) stále více podle vlastní efektivity. Tento efekt zesílil zejména v zemích, kde docházelo k demografickým změnám, např. v počtu studentů, v jednotlivých vzdělávacích úrovních apod.
  4. V průběhu 80. let lze pozorovat ve vyspělých zemích vnější ekonomický a politický (liberální prostředí) tlak, nutící školy k větší autonomii formou profilace v oblasti kurikulární nebo řídící. Tím měla být zajišťována potřebná a nutná pluralita vzdělávacích možností a cest, a to jako výraz zvýšené efektivity a tím i kvality vzdělávacího systému jako celku. Pedagogicky tím byla uvolněna cesta k individualizaci učebních procesů a prosazení idejí tzv. humanistické pedagogiky a psychologie. Ekonomicky byl a je tento proces žádoucí z hlediska efektivního vynakládání investovaných prostředků a politicky jsou tyto procesy vítány jako důkaz naplňování idejí efektivního využívání lidských zdrojů. Např. reakce na značně kritickou zprávu o stavu americké společnosti z hlediska vzdělávání “A nation at risk” (1983) bylo nejen její odmítání a zlehčování, ale zejména rychlé kvalitativní změny v oblasti vzdělávacího managementu (hnutí “back to basis” a výzkumy v oblasti “efektivní školy”).

V posledních 15 letech byl zájem o kvalitu vzdělávání a její zjišťování a hodnocení značně internacionalizován. Souvisí to i s rostoucím významem, který je vzdělání připisován v oblasti konkurenčních vztahů mezi jednotlivými zeměmi, ale i v oblasti vzájemné spolupráce obecně. Tyto snahy jsou posilovány zvyšující se migrací obyvatelstva. V jednotlivých zemích jsou ovšem tyto diskuse podmíněny místními zvláštnostmi a tradicemi. Jako společný jmenovatel těchto diskusí se ale ukazuje být zjištění, že diskuse o kvalitě a jejím hodnocení nejsou ničím jiným, než diskusemi o pojetí výchovy a vzdělání v nejobecnějším slova smyslu. Toto zjištění lze podpořit v praxi stále se zvyšujícím tlakem na realizaci kvalitativních opatření v oblasti vzdělávacích reforem v průběhu 80. a 90. let.

Vlastně jde o to, že tlak na hodnocení kvalitativních stránek vzdělávacích procesů, jejichž cílem mělo být zjištění vedoucí k vyšší efektivitě a eficienci systému (poměr vstupů a výstupů), přinášel při pokusech o řešení jednoho problému problémy nové, které se dotýkaly mnoha stránek vzdělávacích systémů a pojetí výchovy a vzdělávání vůbec.

Po dramatických pokusech o formulování obsahu pojmu kvalita vzdělání bylo dosaženo poznání, že je to sice velmi potřebné a žádoucí, ale zřejmě i nemožné. Pojem se totiž vztahuje na mnohem širší prostor společenského života, než jen na oblast vzdělávání v užším slova smyslu. Proto diskuse řeší zatím problémy východisek procesů vzdělávání. Jsou definovány indikátory, které jsou pro kvalitu vzdělávání relevantní. Tím se ale diskuse o pojmu kvalita vzdělání dostává do jiné polohy. Nikoliv kvalita jako taková je předmětem současných diskusí, ale spíše výsledky použití indikátorů, které ukazují na určité aspekty vzdělávací reality. Jde vlastně o dispoziční akceptace používaných indikátorů a tím i získaných dat (mezinárodním) vědeckým fórem, které zjišťuje a stanovuje, zda jsou vyhodnocení pravděpodobná či nikoliv. Na druhou stranu se stále rozšiřuje vhled do použitelnosti indikátorů různého druhu. Rozdílnost indikátorů pak zvyšuje i relevantnost posudků (např. ve Švýcarsku). Dalším výsledkem diskusí je poznání, že s pojmem “kvalita vzdělání” souvisí značný subjektivismus, protože je pojem definován často neměřitelnými a mnohdy neuchopitelnými fenomény z hlediska stávajících standardních kvantitativních metodologických postupů, což výrazně deformuje poznání skutečnosti. Proto se v posledních letech hovoří nejen o nutnosti objektivizace postupů, ale stále více je uznávanou formou evaluace i tzv. “intersubjektivita” (mínění realizátorů v instituci nebo nezávislých odborníků). Zřejmě definitivně byla ve světě opuštěna představa, že je možné pomocí uniformních, standardizovaných metod (většinou jen testy) zjišťovat “kvalitu” nezávisle na specifičnosti vzdělávacího zařízení. Diskuse vede k vytváření seznamů evaluačních metod a forem pro jednotlivé vzdělávací instituce, v nichž se prosazuje respektování výsledků tzv. autoevaluačních procesů”. Pomocí prosazení autoevaluačních procesů jsou vzdělávací zařízení mnohem více připravená otevírat se vnějším evaluacím systémového charakteru.

Většina teoretiků a špičkových manažerů, kteří se zamýšlejí nad obsahem a smyslem pojmu "kvalita" z obecného hlediska se přiklánějí k následující definici:

dříve

Kvalita souvisí s mírou přijatelnosti, určenou experty v procesu vývoje a výroby. Kvalita je tedy dána stanovenými předpisy a normami.

nyní

Kvalita je vlastnost určité jednotky nebo schopnosti naplnit zjištěné a předpokládané požadavky zákazníka a odběratele. Její zajištění vyžaduje stálý výzkum, evaluační audity, sebereflexní přístupy.

▼▼▼▼▼
Princip kvality spočívá v plnění požadavků zákazníka.
(Platí to ale i v oblasti vzdělávání a školství?)


II. Vývoj zjišťování kvality ve vzdělávání

Kvalita a efektivita vzdělávacích procesů a celých systémů byla předmětem zájmu již od vzniku samostatných vzdělávacích systémů a to nejen z důvodů ekonomických, ale zpočátku zejména politických. Lze konstatovat, že v minulosti existovala řada garancí a záruk pro udržování a zvyšování kvality vzdělávání (veřejné zkoušky žáků, inspekční kontroly, dohled jiných orgánů (církev), vizitační zprávy apod.).

V průběhu minulých desetiletí se ale stal vzdělávací systém také sociálním zařízením, čímž se otázky kvality staly legitimnější než kdykoliv před tím.

Konkrétně se jedná o období konce 60. let, kdy studentské nepokoje vedly k tomu, že byla velká pozornost věnována otázkám spravedlivosti (equity), rovného přístupu ke vzdělání, čímž byly některými levicově orientovanými politickými silami prosazovány otázky spojování vzdělávání se sociálními problémy. V mnoha zemích začala být dokonce preferována stránka sociální v oblasti školství před stránkou vzdělávací. Škola měla pomáhat rodinám při výchově dětí apod.

Protože vzdělání formuje osobnostní profily většiny lidí, zajímá se o kvalitu vývoje vzdělávání stále více demokraticky profilovaný stát. Ten v posledních desetiletích výrazně zvýšil nároky toho, co je považováno za minimální hranici pro konstruktivní spoluúčast v moderní společnosti. Moderní vzdělávací systémy se v průběhu druhé poloviny 20. století výrazně rozšířily kvalitativně i kvantitativně (interkulturní a multikulturní charakter, celoživotní proces, internacionalizace, specializace a globalizace) a i když otázky po kvalitě a efektivitě zůstaly v podstatě stejné, změnila se složitost jejich zodpovězení. Vyžaduje hledání nových metod a forem technologických postupů zjišťování kvalita a efektivity.

V minulosti (pro Československu platí posledních 50 let vývoje) spočívaly kvalitativní záruky velmi často na silně unifikované vzdělanostní nabídce. Z oblasti vědy přicházelo jen velmi málo impulsů pro pestrost vzdělávací nabídky, poněvadž se jednotlivé teorie zaměřovaly zejména na otázky zprostředkování poznatků v oddělených disciplínách a na předání obecných zásad pro společenské soužití, v nichž byly školy jednotné jak obsahově, tak převážnou většinou i metodicky. Proto bylo také velmi jednoduché (a jevilo se to i jako přirozené, navíc ekonomicky levné), že zejména totalitní politické systémy takový vzdělávací systém, unifikovaný obsahově a metodicky, podpořily i unifikací ideologickou a politickou. Potom nebyly otázky sebehodnocení, vlastní efektivity a kvality vzhledem k místním podmínkám vůbec potřebné a aktuální. Kvalitu a její hodnocení určoval centrální politický dohled formou důsledné procesuální a cílové kontroly. Takový systém je charakterizován detailními celoplošně platnými pravidly, dokumentací, která musí být dodržována, což je kontrolováno. Jako kvalitní byla potom ta instituce, která se nevymyká těmto pravidlům. Kvalita vyučování a vzdělávacího systému potom závisela na jednotně připravovaném učiteli. Zatímco Německo a Francie disponovala těmito znaky ještě před několika málo lety, Nizozemí a Skandinávie se jich zbavovala již počátkem 20. století. Ale ani “nostalgické” hlasy jednotlivců po klidu minulých časů nemohou odvrátit nástup nového paradigmatu, charakterizovaného pluralitou a autonomizací.

Dosavadní analýzy vývoje vzdělávacích systémů (OECD, UNESCO) ukázaly, že ve všech sledovaných zemích jsou v centru pozornosti vždy 4 cíle, přičemž rozdílné je jenom jejich zdůrazňování:

  1. Zprostředkovávání hodnot a norem, které tvoří základ dané společnosti, dalším generacím, a to např. náboženstvím, kulturními a historickými tradicemi.
  2. Zprostředkování všeobecných poznatků a informací, postojů a dovedností, jež byly nakupeny minulými generacemi na mezinárodní úrovni a potvrzeny vědeckými výzkumy.
  3. Postupné přebírání odpovědnosti občanů za pracovní proces v rámci celospolečenského kontextu dané země.
  4. Osobnostní rozvoj individua, podpora rozvoje talentů s cílem obohacení celé společnosti.

Podle převahy výše uvedených cílů lze v jednotlivých zemích vnímat, co je chápáno pod pojmem “kvalita vzdělání” a jaké indikátory jsou relevantní. I když v žádné zemi na světě nevládně absolutní shoda mezi formulacemi cílů a kvalitativními kritérii realizace v praxi. Jisté je, že diskuse o kvalitě vzdělávání mají přímý vliv na utváření vzdělávací politiky jednotlivých zemí. Základní myšlenkou přitom je, že vzdělání je organizováno centrálně a hledají se jen v rámci tohoto prostory pro uplatnění místních iniciativ. V rozvinutých demokratických a pluralitních zemích byl v nedávné době centrem pozornosti poměr mezi vzdělávacím systémem na straně jedné a formou státu, organizací hospodářství, religiózním zázemím a postoji občanů na straně druhé. Ze zkušenosti rozvinutých zemí vyplývá, že pluralitní vzdělávací systém s relativně širokými svobodami pro participující instituce je nutností v zemích, kde je i v jiných oblastech společenského života uplatňována vysoká míra plurality a svobody a kde není politický systém jednobarevně zbarvený. Druhou historickou zkušeností je, že jedním z prvních opatření nastupujících diktátorských a jiných totalitních režimů byla centralizace školství.

Kvalita vzdělávacího systému je v současné době posuzována i mírou participace státu, který stále hraje významnou roli při řízení školství v oblasti zprostředkovávání rovných šancí občanů na vlastní vzdělávání podle jejich osobnostních kvalit a hájení požadavku, aby mohl každý občan profitovat z nabídky veřejného vzdělávání stejným způsobem, což je většinou spojováno s nutnou podporou z veřejných finančních zdrojů. Navzdory tendenci k vyšší autonomii institucí a s ní spojené širší rozmanitosti uvnitř vzdělávacího systému se rozhodující činitelé (aktéři) vzdělávací politiky ve vyspělých zemích nepřiklání jednoznačně k tomu, aby bylo vzdělávání určováno výlučně jen pravidly tržního mechanismu.


III. Dosavadní zkušenosti se zjišťováním efektivity pojmu "kvalita"

Diskuse, které jsou na mezinárodní úrovni vedeny (zejména prostřednictvím publikací OECD, UNESCO, EURYDICE nebo výzkumnými programy TIMMS či PISA) většinou odrážejí celosvětově se prosazující tendenci k širší autonomii vzdělávacích zařízení. Různost cest z hlediska jednotlivých zemí je potom motivací k účasti na mezinárodních diskusích o kvalitě vzdělání. Opačně zase míra zdůrazňování kvality vzdělání jako předmětu mezinárodního výzkumu zpětně motivuje k tendenci širší autonomizace vzdělávacích zařízení.

Ještě nedávno nebylo možné vést diskuse o kvalitě vzdělávání na vysokých školách v takových zemích jako je např. Francie. Odpor k takovým diskusím je znám i z univerzit v Nizozemí, když počátkem 80. let zveřejnil ministr Pais návrh na realizaci inspekce terciární sféry. Zatímco např. v USA je, i když s určitými problémy, realizován systém akreditace již více jak 80 let, přežívá v Evropě stále názor, že jakékoliv výpovědi o kvalitě vzdělání v terciární sféře ze strany třetích osob jsou chápány přinejmenším jako zásah do soukromé sféry, která se neslučuje s akademickými svobodami jako hlavním znakem výuky (a popř. výzkumu) na vysokých školách. Ovšem v posledním desetiletí se velmi rychle tento přístup změnil pod vlivem hospodářské recese a nutnosti zajistit především ekonomické priority. Došlo k tomu nejen z pragmatických politických potřeb, ale i z didaktických motivů. Např. v Nizozemí byla v 80. letech vybudována inspekce pro všechny vysoké školy. Ve Francii stačil jeden prezidentský dekret (F. Mitterand) ke zřízení Národního evaluačního střediska (Comité national d´Evaluation), které za svoji více jak desetiletou existenci již zveřejnilo množství zpráv o kvalitě francouzské terciární sféry.

V Německu se zase projevuje značný společenský odpor ke zprávám výzkumných institucí, financovaných spolkovou vládou, v nichž je posuzována “vědecká úroveň” univerzit, zatímco se jejich představitelé zúčastňují mezinárodních výzkumů a diskusí o kvalitě vzdělání a občas (spíše pro uzavřený okruh) publikují vlastní studie.

Nikde na světě se ale dosud systémově nerozvíjí autonomie vzdělávacích zařízení na vyšším sekundárním stupni. O to více je nápadné, že tam, kde se autonomie v této úrovni prosazuje jen velmi obtížně, jsou rozdílné inspekce připravovány pro zcela jiné úkoly a podle toho volí i jiné prostředky a organizační formy (Anglie, Nizozemí, Francie, Španělsko).

Na úrovni základního školství (v rámci povinné školní docházky) lze pozorovat vývojovou tendenci směřující k samosprávným školám (přičemž zřizovatel stát nebo soukromá osoba není již rozhodující pro veřejné dotace), na nichž lze rychleji realizovat didaktické inovace. V důsledku tohoto vývoje potom i kontrolní činnost získává jinou dimenzi se smyslu samokontroly (odpovědnosti) a kontrolní orgány získávají jinou funkci a roli. Tento vývoj také podporuje zvyšování rozmanitosti v oblasti vzdělávací nabídky, vytváří pluriformitu vzdělávacího systému a zvyšuje potřebu po relativně nezávislých kvalitativních posudcích, podle jejichž závěrů se mohou občané orientovat ve volbách vlastních vzdělávacích cest. Tato tendence je neobratitelná a souvisí se zvyšujícím se vědomím rodičů ve vztahu k výchově dětí a k volbě vhodné školy. Organizační a administrativní problémy, které jsou jako protiargumenty uváděny dosud značně centralisticky orientovanou administrativou s cílem zajistit politická rozhodování ve prospěch znovuobnovení dřívější uniformity a tím i snadnějšího přehledu, rychle ztrácejí na přesvědčivosti. Proto je stále více hledána kompetentní externí síla, která by byla schopná poskytovat posudky o kvalitě vzdělání a jednotlivých institucích. V řadě zemí se touto silou stávají nezávislé Rady pro vzdělání (Národní komise pro školství nebo pro kurikulum apod.).

V zemích s centralisticky organizovaným vzdělávacím systémem bývá kvalita vyučovacího procesu určována kvalitou centrálního (národního) kurikula a předepsaných pomůcek i kvalitou jednotné přípravy učitelů. Kvalita vyučování je garantována (i při marginální volnosti jednotlivých škol), silně preventivně orientovanou inspekcí. Inovační programy jsou v tomto případě celostátně iniciovány na základě principu RDD (research, development, dissemination), který předpokládá celoplošné změny (většina zemí jižní části západní Evropy). I v těchto zemích se ale zvyšuje vliv decentralizačních tendencí s cílem využívat specifických kvalit jednotlivých učitelů.

Výrazně ke zjišťování kvality ve vzdělání přispěly anglosaské země, jejichž zkušenosti pronikly do Nizozemí a odtud nyní do diskusí v německých zemích a také v ČR. V průběhu minulých desetiletí byly rozpracovány a v praxi uplatněny následující modely pro zjišťování kvality vzdělání:

Výrazné zkušenosti v oblasti teorie a praxe zjišťování kvality ve vzdělání formou evaluačních postupů prezentuje např. Nizozemí. I tak stojí Nizozemí (stejně jako např. Rakousko, Německo nebo Francie) na počátku dlouhé cesty vytváření vlastních forem evaluace kvality vzdělání. To platí samozřejmě i pro transformující se postsocialistické země. Obecně platí teze, že čím dříve bude realizováno příslušné zákonodárství a i ostatní mezníky vzdělávacího systému (finanční politika a systematika), tím rychleji bude vzrůstat poptávka po adekvátních nástrojích péče o kvalitu, její posuzování a hodnocení.

V Nizozemí je rozlišován dohled nad kvalitou, který zjišťuje aktuální stav pomocí speciálních indikátorů a dalších nástrojů, a zlepšování kvality, což je dlouhodobý proces snižování rozdílnosti mezi proklamovanými cíli a aktuální situací. Zde se jedná již o politická rozhodnutí mezi odborně navrženými variantami a možnostmi řešení. Kombinací obou tendencí získáme přehled o péči o kvalitu v Nizozemí, která je dána vypracováním funkcí vnější a vnitřní evaluace.

Vnější evaluace je dána funkcemi:

V současné době jsou rozvíjeny autoevaluační programy pro jednotlivé školy, což je silně přenášeno i do diskusí v Německu (školní programy) nebo Rakousku (profilace školy), či v České republice (vzdělávací programy škol). Celý evaluační systém v Nizozemí je založen na dialogickém rovnoprávném postavení všech partnerů a na principu veřejné přístupnosti všech zjištěných dat a poznatků.

Zajímavý a v mnohém inspirativní (vzhledem k přechodu od totality k demokracii) je model zjišťování kvality ve Španělsku, kde tuto roli převzal Národní ústav pro hodnocení kvality vzdělávání. Ten zaměřuje svoje aktivity dané zákonem na:

Pro fungování tohoto ústavu byly vytvořeny mechanismy řídící a výzkumné, distribuční práce. Současná činnost španělského ústavu je orientována následujícími směry:

  1. Průběžné hodnocení výsledků vzdělávání na základě minimálního kurikulárního standardu.
  2. Hodnocení procesu zavádění nové legislativy.
  3. Vytvoření systému státních indikátorů kvality vzdělání.
  4. Účast na mezinárodních evaluačních projektech (TIMMS, PISA, apod.).

IV. Kvalitativní otázky v rámci hodnocení kvality

Jak jsme již uvedli, není diskuse o kvalitě v oblasti vzdělávání žádným novým jevem. Je pouze mnohem bohatší a systémovější. V dějinách školství můžeme vystopovat řadu znovu se objevujících vln přinášejících nejen změnu obsahu pojmu kvalita, ale i jeho cíle.

Za důrazem na kvalitu vězela a dodnes zřejmě vězí snaha instituce, která vzdělávání financovala nebo dnes financuje, po zefektivnění nákladů. Je proto příznačné, že se diskuse o kvalitě vzdělání objeví vždy v době, v níž se financování vzdělávání jeví nějakým způsobem problematické. V tázání se po kvalitě vzdělání a vzdělávacích institucí je vždy ukryta obava před zneužitím pomocí opatření, která neodpovídají zájmům a představám odběratele vzdělání, nebo pomocí “samoobsluhy” nositele vzdělání na základě neoprávněně vysokých dotací (nebo) příspěvků či vykazování přemrštěných nákladů.

Odpověď na otázku “Existuje tu kvalita?” je tak identická s rozhodováním o dalším financování. V každém případě je poukazování na nedostatek kvality záminkou nebo legitimací pro krácení nebo škrtnutí finančních prostředků.

Když byly počátkem 90. let poprvé přenášeny normy ISO 9000 do oblasti neziskové sféry, věřilo nemálo kritiků tehdejších postupů a způsobů hodnocení tomu, že byl objeven “všelék” pro poznání a odstranění “nekvalitních” vzdělávacích nabídek a organizací. Poté, co se otázkou, zda tyto normy a zejména certifikace institucí, vyplývající z použití těchto norem, se mají stát předpokladem pro jejich účast a uplatňování na vzdělávacím trhu, zabývaly také některé státní instituce (zejména ministerstva vzdělávání nebo školství), rozhořela se velmi silná a široká diskuse, která zaplňuje stránky odborných i laických médií dodnes. V řadě zemí Evropské unie se dokonce hovoří o tzv. “horečce ISO”. Mezitím se diskuse z oblasti dalšího vzdělávání přesunula do vzdělávání odborného a v posledních letech proniká i do oblasti všeobecného a pregraduálního vzdělávání všech známých úrovní.

Kvalita má co činit s hodnotami, oceňováním, vyhodnocováním a posuzováním. S těmito procesy je spojována řada otázek: Existuje nějaké měřítko? Kdo jej stanovuje? Co je vlastně hodnoceno? Jak je takové měřítko vyhodnocováno? Kdo vlastně hodnotí? Jak probíhá hodnocení? Proč probíhá hodnocení? Co vyhodnocení následně způsobuje? Podívejme se na tyto otázky blíže a to z hlediska vzdělávací sféry.

Existuje nějaké měřítko? Kdo jej stanovuje?

Všichni zainteresovaní mají obvykle subjektivní dojem o tom, jak je jejich působení a práce kvalitní. Toto interní měřítko může být velmi odlišné, vcelku je ale jako orientační hodnota akceptovatelné. Indikátorem přitom mohou být: spokojenost zákazníků, spolupracovníků, zadavatelů, širšího okolí apod. V rámci EFQM (European Foundation for Quality Management) je respektováno vnitřní měřítko prostřednictvím sebehodnocení, v jiných systémech je měřítkem dohodnutý cíl, k němuž se zainteresovaní musí přibližovat.

Doplňkově mohou být zaváděny a vyhodnocovány k vnitřnímu měřítku i zvnějšku měřitelné veličiny, jako např.:

Měřítka mohou být stanovena velmi konkrétně a jednoznačně nebo jen rámcově a volně. Čím konkrétnější jsou měřítka, tím je jejich hodnocení byrokratičtější, čím rámcovější jsou měřítka, tím obtížnější je jejich posuzování a vyhodnocování.

Velmi mnoho procesů je v oblasti vzdělávání kvantitativními a standardními prostředky a nástroji neměřitelných, v nejlepším případě mohou být formulovány jen v indikativní podobě, např. působení vzdělávací práce na chování společnosti.

Co je vlastně hodnoceno?

Hodnocení je orientováno jak na procesy, tak i na konečné produkty (naplnění cílů). Pod pojmem “proces” rozumíme všechno, co má být uděláno, aby byl určitý výkon připraven a proveden. Tyto postupy jsou potom v rámci všech výkonů posouditelné. ISO 9000 se soustřeďuje jen na hodnocení těchto postupů, zatímco EFQM jen z poloviny svého hodnotícího zaměření.

Výrobek (produkt) je konečným výsledkem procesu. V oblasti vzdělávání je porovnávání vzdělávacích výsledků s jinými “výrobky” obtížně prokazatelné. I přes značné problémy se o to pokouší druhá část EFQM.

Otázka směřující na “Co má být hodnoceno?” musí být jasně formulována zejména v evaluačních dotaznících. Pokud je hodnocena nálada a atmosféra na konci kurzu, má se hodnocení týkat také poznatků, dovedností a postojů nebo má být hodnoceno využití naučené látky v praxi? Pokud zde nebudou použity jednoznačně uznávané vědecké nástroje, povede celé měření k (vlastnímu) zklamání. Např. všechna vzdělávací zařízení v Tyrolsku se dohodla na tom, že v rámci EFQM budou posuzovat oprávněnost a přiměřenost evaluačních dotazníků. Praktické dosavadní zkušenosti přitom ukazují, že velmi často musí docházet ke kompromisům mezi vědeckostí a uskutečnitelností.

Kdo vlastně hodnotí?

Hodnocení má cenu pro všechny, kteří hodnocení jako povolaní provádějí nebo se na hodnocení podílí a hodnocení uznávají a nebo jsou sami hodnoceni.

Sebehodnocení je v každém případě legitimní, ale vždy relativní. Jeho přednost tkví ve vlastní odpovědnosti za hodnotící proces u hodnotitele i hodnoceného. Tato odpovědnost je zpravidla transparentní.

Při hodnocení vnějším subjektem se projevuje nebezpečí rychlého přesouvání viny, odmítnutí nebo demotivace ze strany hodnoceného. Proto by nemělo probíhat žádné hodnocení z vnějšku, pokud neproběhlo sebehodnocení zevnitř. Oba hodnotící procesy musí být respektovány na stejné úrovni. V rámci EFQM je právě následnost silnou zbraní tohoto systému hodnocení kvality. Nemá totiž vůbec žádný smysl zjistit kvalitu nebo nekvalitu, pokud není zároveň poskytována možnost kvalitativního vývoje a motivace pro tento proces. Hodnocení by mělo mít “formativní” charakter.

Jak probíhá hodnocení?

Pro hodnocení již existují rozličné nástroje: dotazníky, rozhovory, deníky, protokoly diskusí, kresby a zápisky pozorovatelů i zúčastněných. Pestrost podoby vzdělávacích zařízení vede k respektování nutnosti vybírat z pestré palety evaluačních metod. Dotazníky, jako nejznámější hodnotící prostředky, nejsou zdaleka jedinými uznávanými a platnými hodnotícími nástroji.

Protože hodnocení je velmi citlivou a často i rozhodující činností, musí se k ní přistupovat velmi odpovědně a principiálně. Velmi obsáhlým katalogem kritérií pro posuzování a hodnocení jsou např. Standardy pro evaluaci programů, sestavené na základě spolupráce 16 severoamerických výchovných a vzdělávacích organizací. Pečlivé hodnocení programů, projektů a materiálů musí vykazovat čtyři zásadní charakteristiky, které jsou označovány jako standardy:

  1. Standardy užitečnosti (zohlednění zúčastněných skupin, věrohodnost posuzovatelů, rozsah a výběr informací, zjišťování hodnot, jasnost zprávy) musí zajistit, že se evaluace opírá jen o informační požadavky uživatele (a obvykle i zadavatele) evaluace.
  2. Standardy proveditelnosti (praktické postupy, osobní proveditelnost, efektivnost vynaložených nákladů) musí zajistit, že evaluace je realistická, dobře promyšlená, diplomatická a odpovídající nákladům.
  3. Standardy správnosti (práva osob, lidsky utvářené interakce, úplné a férové hodnocení, nezakrývání žádných výsledků, deklarace zájmových konfliktů, finanční odpovědnost) musí zajistit, že evaluace proběhne podle práva a eticky korektně.
  4. Standardy přesnosti (programová dokumentace, kontextová analýza, validní informace, adekvátní informace, analýza kvalitativních informací, metaevaluace) musí zajistit, že evaluace přinese odborně přiměřené informace i o kladech hodnocených programů.

Proč probíhá hodnocení?

Tato otázka je rozhodující pro volbu hodnotících nástrojů a pro motivaci zúčastněných. Nejčastěji se vyskytující důvodu pro hodnocení jsou:

Co hodnocení nadále způsobuje?

Může motivovat nebo demotivovat, podle toho, jako je hodnocení prováděno nebo bylo provedeno. Sebehodnotící procesy směřují většinou k přání zlepšit sebe sama. Hodnocení z vnějšku (externí) je hodnocenou organizací z velké části jen trpěno, protože většinou dosud sleduje zcela jiné hodnoty (např. prestiž nebo uplatnitelnost na trhu), které nemusí být pro hodnocenou instituci vůbec prioritní nebo určující.


Závěr

Vývoj pedagogického myšlení prosadil především pod vlivem ekonomické sféry do praxe 20. století zejména požadavky na individualitu jednotlivce. Současné pedagogické proudy ustupují od již neefektivních a vzhledem k potřebám společnosti i nefunkčních autoritativních postupů a forem práce. Mezioborová bádání umožnila vytvořit pestrou škálu sociálně pedagogických koncepcí, které odrážejí dosavadní poznání společenské plurality. Realizace těchto koncepcí ale vyžaduje zcela jiné přístupy organizačního, řídícího a kontrolního charakteru, které umožňují operativní změny v organizačních strukturách, platných třeba jen pro jednu školu. Tak se zkušenosti autonomních škol mohou stát zdrojem inspirace pro realizaci efektivních demokratických způsobů řízení a správy pluralitního školství na základě stále se rozšiřujícího svobodného rozhodovacího prostoru pro nižší správní úrovně.


Literatura

A Framework for Evaluating Educational Outcomes in Finland. Helsinki, National Board of Education 1999.

Atz H.: Qualitätsstudie Alpha&Beta. Bozen, Apollis 1996

Aurin, K. (red.): Gute Schulen - worauf beruht ihre Wirksamkeit? Bad Heilbrunn, Klinkhardt 1991

Bacík,F. - Kalous, J. - Svoboda, J.: Úvod do teorie a praxe školského managementu. Díl I.-II. Praha, UK 1995.

Balázs, E. - Wieringen, van F. - Watson, L. (vyd.): Quality and educational management. ENIRDEM Conference papers 1999. Budapest, Müszaki Könyvkiadó 2000.

Beck, U.: Risikogesellschaft. Frankfurt /M., Suhrkamp 1986.

Becker, A. (vyd.): Qualität in der Jugend- und Erwachsenenbildung. Materialiensammlung. Hamminkeln, Akademie Klausenhof 1996. 3. rozš. vyd.

Becker, A.: Qualität durch Zertifizierung. Zur Diskussion um Qualität und Qualitätsstandards in der auβerschulischen Jugend- und Erwachsenenbildung. In: Heiner, M.: 1986

Becker, A. (vyd.): Qualität und Qualitätsstandards in der auβerschulischen Jugend- und Erwachsenenbildung. Dokumentation des internationalen Workshops in der Akademie Klausenhof vom 11. – 13. 3. 1996 (Materialien zur Qualitätssicherung in der Kinder und Jugendhilfe, Seš. 9). Bonn 1997

Capra, F.: The Turning Point. Berkeley 1982.

Dalin, P.: Theorie und Praxis der Schulentwicklung. Neuwied, Luchterhand 1999.

Dell, J. - Schmidt, G. - Tautenhahn, F. (red.): Qualitätsmanagement macht Schule. Ein Leitfaden. Soest, LSW 1997.

Demnski, M. - Lorenz, T.: Zertifizierung von Qualitätsmanagementsystemen bei Bildungsträgern (Kontakt & Studium, Sv. 428). Renningen 1995. 2. vyd.

Frank, N. (red.): Bewährtes bewahren, Neues gestalten. Schwerin, MBWK 2000.

Friedman M. a Friedman R.: Svoboda volby. Praha, Liberální institut 1992.

Gold, A.: Řízení současné školy. O práci učitelů na střední úrovni řízení. Žďár nad Sázavou, FAKTA 1998.

Grilz, W.: Qualitätssicherung in Bildungsstätten. Neuwied, Luchterhand 1998.

Kalous, J. a kol.: Rozvoj vzdělávací politiky. Analytická evaluační studie. Praha, Akademie J. A. Komenského 1994.

Keogh, H.: Made-To-Measure. Personalising Training. Dublin 1999

Krainer, K. - Tietze, W. (red.): Schulentwicklung an der Basis. LehrerInnen machen Schule. Wien, Böhlau Verlag 1992.

Liket, T.: Freiheit und Verantwortung. Gütersloh 1993

Murgatroyd, S. - Morgan, C.: Total Quality Management and the School. Philadelphia, Buckingham, Open University Press 1994 (3. vyd.)

North, R.: Schools of Tomorrow. Hartland, Green Books 1987

Onnismaaa, J. - Viljamaa, H.:Guidance and Counselling in Finland. best Practices and Current Policy Issues. Helsinki, National Board of Education 1999

Pol, M. - Lazarová, B.: Spolupráce učitelů - podmínka rozvoje školy. Praha, Strom 1999.

Polechová, P.: Inovující a inovativní školy. Praha, ÚVRŠ při PedF UK 1999. rkp.

Posch, P. - Altrichter, H.: Möglichkeiten und Grenzen der Qualitätsevaluation und Qualitätsentwicklung im Schulwesen. Wien, BMUK Studien Verlag 1997

Qualität und Effizienz von Bildungseinrichtungen. DGBV-Jahrestagung in Suhl 1992. Frankfurt am Main DGBV 1993.

Qualität im Bildungssystem. DGBV-Jahrestagung in Weinheim 1997. Wetzlar 1998.

Porsch, M.: Von der Qualitätsverordnung zur Qualitätsentwicklung. In: Erziehung und Unterricht (Wien), CL, 2000, č. 3-4, s. 271-279.

Průcha, J.: Pedagogická evaluace. Brno, CDVU MU 1996.

Risse, E. (red.): Schulprogramm. Entwicklung und Evaluation. Neuwied, Luchterhand 1998.

Rýdl, K.: Alternativní pedagogická hnutí v současné společnosti. Brno, Zeman-Print 1994.

Rýdl, K.: Humanistická pedagogika v perspektivách školské reformy. In: Výchova a vzdělávání v pozdní době. Studia paedagogica 11, Praha, Pedf UK 1995, s. 65-74.

Rýdl, K.: Vztah státu, školy a ekonomiky z hlediska liberalizace. In: S 95, č. 5, s. 26-29.

Rýdl, K.: Pohledy na dánské školství aneb putování pedagogickým rájem. Praha, v.n. 1993.

Rýdl, K.: Cesta k autonomní škole. Praha, STROM 1996.

Rýdl, K. - Horská, V. - Dvořáková, M. - Roupec.P.: Sebehodnocení školy. Jak hodnotit kvalitu školy. Praha, Strom 1998.

Rýdl, K.: Hodnotíme svoji školu. Praha, FFUK 1999.

Schule neu entwickeln. Netzwerk innovativer Schulen in Deutschland. Gütersloh, VBS 1999

Sanders, J. R. (vyd.): Handbuch der Evaluationsstandards. Opladen, Leske + Budrich 1999.

Sborník ze tří seminářů k problematice hodnocení kvality na vysokých školách. Praha, CSVŠ 1998.

Solfronk, J.: Organizační formy vyučování. Praha, skripta UK 1994.

Štrajn, D. (red): Evalvacija. Ljubljana, Pedagoški institut 2000.

Tillmann, H.-J. - Wischer, B. (red.): Schulinterne Evaluation an Reformschulen. BielefeldImpuls 1998

Tümmers, J.: Grundlagen der pädagogischen Effizienzforschung. München - Basel, Reinhardt Verlag 1975.

Virtanen, A. - Mertano, S. (red.): Learning by Comparing. The Benchmarking of Administration at the University of Helsinki. Helsinki, EDITA 1999.

Vzdělávání - brána k evropské integraci. Brno, MU 2000.

Weiß, M.: Effizienzsteigerung als Modernisierungsanforderung an das Bildungswesen. In: Zeitschrift für Bildungsverwaltung, XIV, 1999, č. 1-2, s. 90-93

Welle-Strand. A.: Educational Evaluation in Norwegian Development Aid. Stockholm University, IIE 1998

Xiaoda Ch.: Quality Schooling with Limited Resources. An International Comparison of Mathematics and Sciences Education in China, Korea and Hungary. Stockholm University, IIE 1996.