Capítulo 39. Usar el sistema de evaluación para entender y mejorar la iniciativa | Community Tool Box

If you’re reading this section, the chances are you already know how important evaluation is to your effort. It can help you in a number of ways – in improving your methods, in appealing to funders, in supporting staff – but none is more important than understanding and improving the effort.

Often, evaluations fail to examine whether efforts are responsible for, or related to, changes and improvements in the community. They may examine the process or output (e.g., number of people trained), but they often fail to tell a story about whether conditions changed and whether this led to more distant outcomes.

It’s obviously important to know whether your methods are successful, and whether your intervention or initiative accomplished what it set out to do. In addition, however, you can evaluate whether your work changed community conditions, and whether it seems to be leading toward changes in the community or system. In this section, we’ll discuss how an evaluation can help you make those determinations.

What do we mean by answering evaluation questions?

Evaluation questions refer to what stakeholders – the community and funders, for instance – want to know about the functioning of the program or initiative. Here are some illustrative evaluation questions:

• Are participants satisfied with the program? (Process and implementation issue)
• How well is the initiative meeting its stated objectives? (Attainment of objectives)
• How much and what kind of difference did it make for the participants? (Impact on participants)
• How much and what kind of difference did the initiative make on the community? (Impact on the community)

So what’s a key evaluation question? That depends on what you set out to do (mission and objectives) and how you plan to get there (the logic of how the process and activities will produce immediate and longer-term outcomes). The path from here to there – from assessment to change in the environment to longer-term outcomes – is known as a logic model. Key evaluation questions focus on critical aspects of the logic model; for instance, “Is the initiative bringing about change in the environment?” or “Is that change in the community (the intervention) associated with improvement in outcomes for people in the community?

A note here: The Center for Community Health and Development at the University of Kansas, the source of the Community Tool Box, consults on evaluation, and has developed a Community Check Box system to support participatory research and evaluation of community health and development efforts. Much of the material in this section comes from the thinking that underlies this monitoring and evaluation system.

The documentation system makes it possible to answer key evaluation questions that get at the heart of an effort’s overall effectiveness. We’ll use this monitoring and evaluation system to illustrate how to address evaluation questions.

Regardless of your aims, your work can be considered on two levels. The first is whether, how, and why you’ve been able to accomplish the specific goals you’ve set for your effort – successful advocacy for the passage of a new regulation, the improved delivery of services, a change in people’s behavior, improvement in environmental conditions, etc. The second is the wider influence that your work has in the community or system, and how conditions have changed.

A decent comprehensive evaluation might examine how you planned and implemented your effort (process), whether you actually took the specific actions you set out to take, such as serving the number of people you expected in the ways you planned to (impact), and whether your actions had the results you hoped for (outcomes.)

A typical evaluation may measure ultimate outcomes but may fail to document changes in the community resulting from your work such as other similar programs starting, more funding becoming available for your issue, or more media attention. Furthermore, a specific effort may give rise to more general and sweeping changes even when it doesn’t initially attempt to. A campaign to reduce youth violence may achieve its immediate purpose, for instance, but may also change community programs and resources available to address the needs of adolescents and result in significant changes in the ways that community members engage youth. Sometimes, even an apparently unsuccessful effort can have a broader community effect by increasing awareness and understanding of a community problem or strength, or by changing the behavior of key community members or leaders. These broader effects can be harder to track than the more immediate achievement of the specific goals and objectives of an effort.

Some definitions before we start the next phase of discussion:

We usually think of a community as a group of people who live in one place – a city, a neighborhood, a town, a village, a rural area. We also use the term, however, to refer to a group of people with one or more common characteristic and common interest. Using that definition, we speak of the business community, the Latino community, or the school community. In this section, the word is generally used to mean community of place, because that’s the community in which organizations generally try to create longer-term change.

System refers to the arrangements or infrastructure that supports key functions – for instance, the public health system, the legislative system, the education system, or the legal system. The essential features of a system – preparation of the workforce, capacity to monitor and diagnose problems – also affect the conditions under which people live their lives.

At both the specific and general levels, it’s important to know whether any changes in the community or system you’re concerned with are actually taking place, what they are, and whether and how your work has influenced them (and vice versa).

Figure 1 below displays a framework (or logic model) for collaborative action, as well as evaluation questions that reflect potential associations along the logic model’s pathway.

For the logic of collaborative action, Fawcett and Schultz (2008) recommend four key evaluation questions:

1. Is your effort serving as a catalyst for community change related to its mission? In chemistry, a catalyst is a substance that, while remaining unchanged itself, changes the speed, intensity, or nature of a reaction. Is your effort, while doing its intended job, setting in motion other forces in the community (new or modified programs, policies, and practices) that lead to longer-term change related to the issue you’re concerned with?
2. What factors or processes are associated with the rate of community or system change? What encourages or gets in the way of change? Can you identify specific community events, actions by individuals or by your or another organization, or other factors that accelerate or impede the process of change in a community or system?
3. How are community or system changes contributing to efforts to promote community health and development or other mission-related goals? Are the changes you observe in the community in fact helping to bring about the realization of your goals – or related ones – or are they having little or no effect (or even a negative effect)?
4. Are community or system changes associated with improvements in population-level outcomes? Can you see connections between changes in the community (programs or policies for instance) and the kinds of positive changes in measuring success (e.g., fewer youth violence arrests, reductions in cigarette sales, fewer teens killed or injured in driving accidents) that you hope your effort will bring about?

Figure 1. Framework for collaborative community action and related evaluation questions (Source: Fawcett and Schultz 2008; Institute of Medicine, 2003).

Note (in Figure 1) that we can overlay evaluation questions on this logic model to address key (presumed) relationships along the path (see Fawcett and Schultz, 2008, in print resources).

Source: Adapted from the Institute of Medicine’s framework for collaborative public health action in communities (2003).

Answering these questions sets your effort in the context of the community and shows you whether it’s actually having the effects you want in a broader sphere, or whether it’s only influencing individual successful participants. Questions like these are not always easy to answer. Later in the section, we’ll discuss them more fully, as well as how an evaluation can be structured to answer them.

Why answer these questions?

In many cases, organizations are funded for several years at a time at best. This requires focus on fulfilling the conditions of the grant or contract, which often hinge on relatively short-term goals. There are, however, a number of compelling reasons for answering evaluation questions:

• To improve your work. The foremost reason for any evaluation is to make your effort more effective. By understanding exactly what affects progress on your issue, and the interaction between your actions and community system change (an intermediate outcome), you can see how to adjust your work to get the longer-term results you seek.
• To understand what affects the work in what ways. What actions or events seem to slow down the pace of change (e.g., loss of leadership), and what speeds it up (e.g., action planning)? What effects do small and large changes in the organization and the community have on your work?
• To see how to accelerate results. Once you understand what makes change move more quickly, you can take steps to make sure that those change-accelerating processes, events, or conditions become an integral part of your work.
• To understand specifically how broader actions, events, or conditions – a crisis or concentrated poverty – affect the work. Identifying and understanding these factors that affect the success or failure of an effort is critical – for the work underway and for future efforts.
• To understand what works to bring about community change, and adjust accordingly. The chances are you’re doing your work in order to permanently change some condition in the community or to improve the quality of life for a particular group or for the community as a whole. You hope that, eventually, the goals you’re working toward – the elimination of domestic violence, reductions in pollution, a decrease the incidence of diabetes, better schools for all children – become the community norms.
  
  Using an evaluation to answer key questions will provide information both about which small changes seem to lead to larger ones and about how to generate those and larger changes as well. That, again, will allow you to adjust your effort in order to make it more effective.
• To understand how to address specific events and changes within your organization or effort so they will have the most positive or least negative effect. The loss of a competent leader, an increase or decrease in funding, the end of one phase of an effort and the beginning of another – all of these and many other factors can affect the rate and direction of change in the community. Knowing the results of events can help you determine how to best manage them.
• To show the community the value of your work. If you can show that your work has a positive influence on the community, you have a better chance of gaining broad support. That support, in turn, can lead to funding and in-kind help, volunteers, and community participation in ongoing social change.

Who should be involved in answering these questions?

The ideal is to engage in a participatory evaluation that draws in members of all stakeholder groups. This not only leads to buy-in and support on the parts of many sectors, but also provides multiple perspectives on such issues as how participants are treated, how the effort is viewed in the community, how non-participants’ lives are affected by your work, whether there are changes in the social climate, etc. You may want to conduct the evaluation as a participatory action research project, or you may simply want to involve as many individuals and sectors as possible in providing information and being kept current about the findings of the evaluation. Among the possible stakeholders:

• Participants in or beneficiaries of the effort. They may have a great deal to offer, both in terms of identifying the real needs of the population and/or the community and in reaching other members of the population of concern.
• Residents of a focused geographic area, whether or not they’re members of the population of concern. If your focus is on a neighborhood, a small rural community, or other limited area, you may want to involve all residents. Such involvement is likely to bring with it support for your effort and may increase understanding about the issue and serve to improve relations among these residents and the group you’re working with.
• Professionals and volunteers carrying out the work. The more deeply involved these people are, the better equipped and the more eager they’ll be to do their jobs well.
• Those whose jobs or relationships bring them into contact and involvement with the population and/or issue with which you’re concerned. These might include health care providers, teachers, family members of substance users, etc. Since these people may have to help in carrying out the effort, and since they may be asked to change their behavior as a result, it’s both important to the success of the effort and a matter of fairness to include them
• Funders and local officials. Funders have a vested interest in information about the effort, and their participation can also serve to help them understand the real impact of your work. Including local officials in an evaluation can forestall problems and help to gain community support. It can also lead to changes in official policy over the longer term.

​When should you set up and use an evaluation system to answer key questions about the effort?

As we’ve discussed throughout the Community Tool Box chapters on evaluation (Chapters 36-39), it should be planned and embarked upon at the beginning of the effort. This is especially true for the kind of evaluation we’ll describe in this section, because its purpose is to monitor and evaluate what is changing – organizational and community changes, longer-term outcomes, and to examine the interactions among them. If you don’t start the evaluation at the very beginning of the effort with community assessment and planning, and instead wait until the implementation phase, you’re at risk of missing something important.

Once you’ve started the evaluation, you should be collecting information constantly, recording not only what happens but when it happens, so that you can make connections. For this type of evaluation to be truly useful, those connections have to be made frequently, not just once or twice a year. The point here is to see what is happening, reflect on its meaning, and use the information to strengthen and speed up positive change, or to address and prevent negative consequences. In either case, acting swiftly can be important. You can do that if you have the information in hand.

How do you use the evaluation system to answer key questions about the effort?

Once you’ve assembled a participatory team to gather and analyze data, you’re faced with some important questions: What kinds of information do you need in order to answer the key questions that relate to your logic model, and how do you get it? Equally important, once you have the information, how do you sift through it to extract the answers you’re looking for? There is a general method of examining the data that should be useful even as you analyze each of your questions individually.

An important element to using your evaluation well is setting up the data so you can best see patterns and relationships. A particularly good way to record the data is on a graph, as in the illustration below. This graph shows the total number of community changes – new programs (e.g., an after-school program for youth) or new policies (e.g., a policy change that improves ways to health services) – related to the group’s mission over a five-year period. Some changes might be relatively minor – a single business changes its practice for protecting coworkers – while others might be as important as a new law or a drastic change in policy that completely alters the way the community addresses the issue. [Note: with a cumulative graph, each change is added to the prior one; so a flat line shows no change; and the steeper the line, the higher the rate of change.]

Figure 2. Cumulative number of community changes (new or modified programs and policies) brought about by the South Side Youth Development. Initiative from 2008-2014. [Source: Example graph from the KU Center for Community Health and Development's Community Check Box]

Other information – specific inputs or events – could be pinpointed on the graph in order to give a clearer view of potential influences on the rate of changes, as in the graph below. Here, added to a graph showing information similar to that in the one above, are the points in time at which various events in the progress of the effort took place.

From left to right, these are:

• The forming of a planning team
• The hiring of a new director for the effort
• The implementation of a social marketing action plan
• The hiring of new staff
• Action planning for the initiative
• A loss of leadership (probably when the director left to take another position.)

These events, singly or in combination, might have contributed to the sustained high rate of change or to decreased rates.

Figure 3. Cumulative number of community/system changes – and associated events – brought about by the Lincoln Coalition for Healthy living from 1999-2006.

By comparing the progress of the effort, as indicated by the total number and rate of community changes to the timing of recorded inputs and events, you can see that most of the events seem to have some connection with a speed-up or slow-down in the rate and number of community changes. There was, for example, a dramatic increase in the rate of changes when new staff members were hired and an equally dramatic decrease in that rate when the effort lost its leadership. This is the kind of information seldom captured by a typical evaluation, and yet it’s extremely important in understanding how to adjust your work for greater effectiveness and how to correct problems.

Other elements that might be recorded on a graph – individually or together – include statistics for population-level outcomes, rates or levels of change for different populations or neighborhoods, or for different approaches, statistics for comparison communities not involved in the effort, etc. The particular measures depend on your logic model, related research/evaluation questions, and indicators of success.

To get the information you need, you’ll have to decide what’s important to measure. Then, once you have obtained the data – not always an easy task– the next step is to analyze it, looking for patterns and connections. Let’s look at each of the key questions considered for the logic model in Figure 1 and discuss what kinds of data will help you examine it. The overriding question is how to adjust your work to make it more effective. Answering key questions for your logic model is really a way to ask the larger question: “What can we do to make our effort work as well as possible to accomplish our goals and realize our vision?”

What follows is an illustration of how evaluation questions can be answered with data, asking those key questions identified is the logic model often used by the Center for Community Health and Development (see Figure 1).

1. Is the initiative serving as a catalyst for community/system change related to its mission? Has your group’s effort brought about changes in the community or systems (e.g., public health, public safety, welfare, environmental protection, etc.) related to the mission? What specific changes related to the issue have taken place in the community, and when?

Some types of changes related to your work that you might want to document include:

• New or modified programs. These might be programs meant to address aspects of your issue or related issues; workshops or public awareness programs on the topic; community-wide events such as marches against violence or vaccination fairs; citizen initiatives, etc. They could be the product of formal bodies – the Chamber of Commerce, health or human service organizations – or of informal parents’ groups, neighbors, “friends of...” groups, and the like.
• New or modified practices. These refer to changes in how people do their work or deliver services. For instance, the clinic might change its hours to assure better access or the community might start a new partnership to address discrimination against immigrants.
• New or modified policies. New laws or regulations, changes in agency or corporate policies, etc. Other policy changes may be more informal; for instance, increased city services or store openings in previously underserved neighborhood, or changes in the way police or city officials respond to intimate partner violence.

Of course, depending on the project, other valued events may be tracked – these might include organizational changes, media coverage, resources generated, measures of outcome (addressed in later questions) and other key events.

Keeping track of the timing of changes is very important here, because it may indicate when those changes are associated with activities you’re doing, and when they result from other factors, such as a change in leadership (see Figure 3). Marked increases or decreases in the rate or amount of change that occur just after key events in the effort may point toward the effectiveness or ineffectiveness of these activities.

Changes often take time to show their effects or have to build to a certain level before their effects can be felt. Where there’s a trend toward change in a particular direction, even if it doesn’t appear to have any great immediate effect, it might be wise to track it over time to see whether its different changes in the environment – taken together – eventually influence indicators of success.

Another consideration is the presence or absence of patterns in the rate and type of change. Are there patterns in community or system changes that correspond with the work of the initiative (e.g., action planning), or with other identifiable factors (e.g., funding to hire a community mobilizer)? Recognizing these patterns allows you to adjust your work.

It wouldn’t be surprising, for instance, to find a more common pattern of community change in community health initiatives; for instance, lower rates during planning, higher and sustained rates after action plans and staff are in place; and lower rates near the end of funding as the project focuses on sustainability. Community groups take time to understand how to bring about change and integrate it into the efforts. Rapid change might require a period of support and relative stability. Once that has taken place, the community may focus on sustaining more important programs and policies.

As change levels off, you might be tempted to step up activity to counter that trend. That might include additional action planning or bringing on staff responsible for change efforts.

Other questions to ask here are whether the changes in the community or system are actually likely to improve outcomes (Are they great enough to have an effect? Is that effect likely to change the situation for the better?), and how you can obtain more accurate or more nearly complete data about what is occurring.

2. What factors or processes are associated with the existence and/or the rate of community or system change? There are a number of potential factors that you may want to monitor and analyze.

• The processes by which you conduct the assessment, planning, implementation, and evaluation aspects of the effort. The particular focus should be on use of evidence-based processes for community change and improvement (e.g., developing and using action plans; arranging for community mobilization; documentation and feedback.) That also includes examining who’s involved (Does adding certain people or sectors have an effect, for instance?), whether everyone fulfills her responsibilities, whether deadlines are met, how people are involved, whether the effort plays out as planned, etc. It also includes examining how everyone involved – staff, administrators, volunteers, planning team, board – fits into and advances or impedes the process. (See “Promising Approaches” for promoting community health and development.)
• People served or benefited. Here you might examine whether the people affected by the effort were those you planned for; whether you served or benefited the number of people you expected to; the amount of service or benefit that each participant received (if that’s possible to determine); how many participants dropped out, and why (and whether there were patterns to be found there.) (See the “Solve a Problem” troubleshooting guide for “There is not enough community participation.”)
• Significant program events. These might include:
  • Changes in leadership.
  • Staffing changes.
  • Changes in method or direction, such as a shift in mission to address a newly-stated community need. This kind of event can also include unintentional changes that result from staff turnover, loss of focus, lack of staff engagement, or failure to do the work properly.
  • Milestones of the effort: the completion or revision of an action plan; the beginning, revamping, or completion of a program; the arrival of a new group of participants; the completion of staff or volunteer training; the accomplishment of a particular objective, etc.
  • Increases or cuts in funding.
  • Unforeseen circumstances, such as safety or security problems; financial changes (a cut or increase in funding, difficulty in managing money); measures taken to respond to financial changes (layoffs, shifts in hours or location of services, changes in the number or qualifications of participants).
  • Changes in broad conditions – This might include natural disasters, epidemics, etc.
  • Community events, such as:
    • A change of local political leadership or government administration.
    • Racial or ethnic conflict.
    • An economic windfall (a corporation sets up a new facility in town, creating new jobs and a huge boost to the tax base).
    • An economic downturn (the town’s biggest employer moves all its business to another country).
    • A community tragedy or celebration (recent deaths due to violence; honoring of community heroes).

It also might consist of changes in how state and local governments conduct business, the priorities of key funders, or other aspects of the broader system that might have positive or negative effects on your work.

As noted in Figure 3, combining graphs and comparing the timing of the process and events with patterns of community and system changes can reveal connections among them. These connections, in turn, can suggest processes or activities you might take that could advance positive change or prevent negative consequences.

3. How are community/system changes contributing to efforts to promote community health and development? What kinds of effects are community and system changes – whether caused by your effort or not – having on the issue you’re concerned with and on community indicators of health and development in general?

One way to find out is to examine those changes in relation to various dimensions or aspects of your work. How are community changes distributed among and within different aspects of your effort? Do changes cluster around one or more particular aspects; for instance, in one section of the community new program (e.g., mostly in schools). Are most of the changes you see in the community related to population (e.g., Latinos) for instance? Are most of the changes related to particular goals (e.g., preventing violence, increasing childhood immunizations)? Should you make adjustments in your work to alter the situation in such cases, and, if so, what should the adjustments be? You can ask these questions in each case to examine the relationship of documented change to particular dimensions of your work, including:

• Group your goals or aims. These are the longer-term goals and objectives of your effort. If your program has the mission of promoting heart health in the community, for example, young groups’ goals might include promoting physical activity, reducing tobacco use, increasing healthy nutrition, and assuring access to health screening.
• The strategies of intervention you’re using. These might take such forms as providing information, enhancing services or support, or encouraging policy change.
• Risk and protective factors. These are the personal, social, and environmental factors that make it more or less likely that individuals and groups might engage in various types of behavior or experience a specific problem or condition. Belonging to a close and loving family might be a protective factor against youth violence, for example; an alcoholic parent might be a risk factor for substance use.
• The expected duration of change. Is your effort a one-time event, such as a one-day health fair? Or is it ongoing, such as a problem change or extension of health services to reach a specific population? How long do you expect the change in program or policy to be in place?
• The populations benefited. Depending on the nature of your effort, the populations might range from a small number of individuals from a specific group (Latino women at risk for diabetes) to most of the residents of a diverse community (families with children in school).
• The sectors addressed. These might include government (in the case of advocacy for changes in laws, regulations, or official policy), health organizations (if you’re addressing health promotion or access to health care), education (school improvement, school policy change), labor (creating more trade apprenticeships for particular underrepresented groups), business (workplace and environmental concerns), etc.
• The ecological level addressed. This refers to whether your effort focuses on individuals (as in an adult literacy program), relationships (an anti-discrimination initiative), the community as a whole (enhancing overall community quality of life and health – working to establish community-wide bike lanes, for example, or promoting an ongoing series of free concerts), or the broader society (national health care policy).
• Place. This might be a particular neighborhood, city or town, county, or rural area.

How are the community or system changes you’ve tracked related to each of these aspects of your effort? What are you seeing in the distribution of community/system changes related to particular goals, strategies, populations, places, etc.? What meaning do you give to those patterns – e.g., they reflect opportunities, barriers, key partner’s interests, etc. What are the implications for adjustment (if any)?

Figure 4. Distribution of community accomplishments (N = 125) brought about by the initiative by primary sector of the community in which the change occurred.

This pie chart makes it easier to see what pattern of change is occurring, to reflect on what it means (e.g., we encountered opposition from some sections) and to make adjustments. (See the “Solve a Problem” troubleshooting guides for supports for making adjustments to common problems in the work.)

4. Are community/system changes related to improvements in population-level outcomes that reflect the objectives of your effort? Community-level indicators of an issue, as we discussed earlier, are markers of success at the level of the community as a whole, rather than for particular individuals. Some of those indicators can be found through checking available statistical information, including, among many others:

• Census data (e.g., percentage of population with different levels of education).
• Public health statistics (e.g., rates of infant mortality, percentage of children immunizations).
• Records of health and human service organizations. Although most of these organizations shield individual participants with confidentiality, their general records – number of people served, units of service, general outcomes, etc. – are often open to scrutiny.
• Statewide data and data from other communities (for comparison purposes).
• Police and court files (e.g., number of motor vehicle accidents).
• Educational data – standardized test averages, truancy, dropouts, primary or secondary school completion rates, incidence of school violence.
• Environmental statistics – pollution rates, bad air days, amount of open space, water quality, etc.

In addition to archival data, other sources of information can be used; including from observation, surveys, and other typical data-collection methods. Are there differences in reports by youth from one data-gathering period to the next of the prevalence of alcohol and drug use, smoking, or unprotected sex? Do observations show that there are more people, from one period to the next, using a public park, or out on the street at night? Are teachers seeing fewer incidents of violence in the schoolyard or in school in general? Are doctors seeing more or fewer cases of diabetes or TB?

The population-level indicators that tell you what you want to know aren’t always obvious. If you’re concerned about teenage drinking, for instance, you will probably want to examine statistics about traffic violations and nighttime single-vehicle crashes even where alcohol isn’t specifically mentioned as a factor.

Once again, by graphing your information, you can see relationships between population-level outcomes and community changes (the unfolding of the intervention.)

Figure 5 below provides an illustration. It displays the relationship between community changes (the unfolding of the intervention) to prevent child sexual abuse and the associated improvement in reported cases of child sexual abuse in a state (the population-level indicator of success).

Figure 5. An observed association between the unfolding of community changes (the intervention) and a decrease in reported cases of child sexual abuse in Minnesota.

Here, there is definitely a trend toward fewer child sexual abuse cases – a 28% drop in four years – as the number of community changes (the intervention) unfolds. Of course, this is simply an association; without suitable comparisons it does not demonstrate a cause-and-effect relationship, but this observed pattern is suggestive of a promising approach.

It’s possible that the number of cases will continue to fall even if the number of changes doesn’t continue to grow. The community may have reached a tipping point, where the changes in the environment lead to a combination of increased vigilance, by bystanders, increased reporting and follow-up, certain arrest and prosecution for perpetrators, and child-molester registration, all resulting in a decline in cases. Whether the community has reached this point can only be determined by tracking the potential relationship between changes and reported cases over time.

5. Did the effort lead to improvements in population-level outcomes?

To determine whether your initiative brought about community changes that had a positive influence on community-level indicators, you’ll need a graph similar to that in Figure 5.

You may use multiple graphs, one for each community-level indicator you’re concerned with (e.g., number of drunk driving deaths, incidents of youth violence, number of teen pregnancies, percentage of children entering school with all vaccinations, etc.) Each of these will compare the statistics for that indicator over time with the documented unfolding of your intervention. Once again, where improvements in the indicator coincide with or follow closely that implementation it’s possible that your work has had the desired effect.

You’ll also have to take into consideration whether there are other plausible causes for improvements in outcomes. Sometimes a significant community event unrelated to your initiative – another program, a major policy change, widespread media coverage – can influence the outcomes. The action may be independent of anything your effort is doing, even if it occurs at the same time. Thus, major community events and broader incidents should be tracked and graphed along with changes and the progress of your effort, so you can see whether you’ve actually had the influence you hope for. In addition, experiential designs can be used – such as interrupted time series designs across different communities – to try to rule out other plausible explanations of observed effects on outcomes.

Begin early and keep at it indefinitely

If evaluations that address the key questions are to be useful, they must begin early and be sustained. Collecting, recording, and analyzing data has to go on all the time, starting before the planning and implementation of the effort and continuing for as long as the effort itself continues. A case can be made that evaluation research should continue even after the effort has ended, in order to judge its lasting effects in the community. Whether that’s possible or not, understanding the real results of your work and continually adjusting it to be more effective is an important part of any successful initiative.

To sum up

There are some key questions that can help you understand the relationship between what your initiative does (process and activities), charges in community and systems (intermediate outcomes), and (longer-term) outcomes.

We recommend several key evaluation questions:

• Is the initiative serving as a catalyst for community/system change related to its mission?
• What factors or processes are associated with the rate of community/system change?
• How are community/system changes contributing to efforts to promote community health and development?
• Are community/system changes related to improvements in population-level outcomes that reflect the objectives of your effort?
• Did the effort lead to improvements in population-level outcomes?

Answering these questions involves careful thinking about what data will be useful, and then careful collection, recording, and analysis of those data. Graphing what you’ve recorded and comparing or combining graphs can often make analysis easier. The results should give you a great deal of information about exactly what works and what doesn’t, where you need to make adjustments, and what kinds of changes you should be trying to bring about in the community to address the issue.

We encourage the reproduction of this material, but ask that you credit the Community Tool Box: /.

Here you will find a checklist summarizing the important points of the section:

What do we mean by answering evaluation questions?

__ Evaluation questions refer to what stakeholders – the community and funders, for example – want to know about the functioning of the program or initiative.

Some illustrative evaluation questions:

__ Are participants satisfied with the program? (Process and Implementation Issue)

__ How well is the initiative meeting its stated objectives? (Attainment of Objectives)

__ How much and what kind of difference did it make for participants? (Impact on Participants)

__ How much and what kind of difference did it make on the community? (Impact on the Community)

Why answer the key questions?

__ To improve your work.     

__ To understand what affects the work in what ways.

__ To see how to accelerate results.

__ To understand specifically how broader actions, events, or conditions – e.g., a crisis or concentrated poverty – affect the work.

__ To understand what works to bring about community change, and adjust accordingly.

__ To understand how to address specific events and changes within your organization or effort so they will have the most positive or least negative effects.

__ To show the community the value of your work.

Who should be involved in answering these questions?

__ This type of evaluation works best as a participatory effort.

Those who might be involved include:

__ Participants in or beneficiaries of the effort.

__ Residents of a geographic area you’re focused on.

__ Professionals and volunteers carrying out the work.

__ Those whose jobs or relationships bring them into contact and involvement with the population and/or issue you’re concerned with.

__ Funders and local officials.

When should you set up and use an evaluation system to answer key questions about the effort?

__ Start at the very beginning of the effort, so you can record the whole of your process – outreach, planning, implementation, and evaluation.

__ Continue gathering, recording, analyzing, and using data throughout the course of the effort.

How do you use an evaluation system to answer key questions about the effort?

__ Decide what information you need to answer each question.

__ Decide how to gather that information.

__ Devise a method for recording and setting up your data that makes it easy to analyze.

__ Graphing is particularly good because it allows you to easily compare different sets of data.

__ Consider each question separately:

Is the initiative serving as a catalyst for community/system change related to its mission?

Changes to look for include:

__ New or modified programs.

__ New or modified practices.

__ New or modified policies.

What factors or processes are associated with the rate of community or system change?

__ The processes by which you conduct the assessment, planning, implementation, and evaluation aspects of the effort.

__ People served or benefited.

__ Significant program events. These might include:

• Changes in leadership.
• Staffing changes.
• Changes in method or direction.
• Milestones of the effort.
• Increases or cuts in funding.
• Unforeseen circumstances.

__ Community events, such as:

• A change of local political leadership or government administration.
• Racial or ethnic conflict.
• An economic windfall.
• An economic downturn.
• A community tragedy or celebration.

__ Changes in broader conditions.

How are community/system changes contributing to efforts to promote community health and development?

__ Examine community changes in relation to various aspects of your work.

• Group goals or aims.
• The strategies of intervention you’re using.
• Risk and protective factors.
• The expected duration of change.
• The populations benefited.
• The sectors addressed.
• The ecological level addressed.
• Place.

Are community/system changes related to improvements in population-level outcomes that reflect the objectives of your effort?

__ Community-level indicators of an issue are markers of success at the level of the community as a whole, rather than for particular individuals.

__ Population-level outcomes can be found or inferred by consulting publicly available statistics and records, including:

• Census data.
• Public health statistics.
• Records of health and human service organizations. Although most of these organizations shield individual participants with confidentiality, their general records – number of people served, units of service, general outcomes, etc. – are often open to scrutiny.
• Statewide data and data from other communities (for comparison purposes).
• Police and court files.
• Educational data – standardized test averages, truancy, dropouts, high school completion rates, incidence of school violence.
• Environmental statistics – pollution rates, bad air days, amount of open space, water quality, etc.

__ You can also collect other sources of data, using observation, surveys, and other methods.

__ Graphing and comparing sets of data on community-level indicators can show connections among them.

Did the effort lead to improvements in population-level outcomes?

__ The effort may have led to improvements by influencing changes in the community or system (intermediate outcome) and (more distant) community-level indicators of success. that brought them about.

__ Comparing data on population-level outcomes, community changes, and the timing of various phases and events of your effort can help you understand the connections among them.

__ Begin early and continue to gather, record, analyze, and use data indefinitely to understand how to adjust your effort for greatest effectiveness.

Esta sección se basa en el artículo: “Evaluar y Apoyar Iniciativas Comunitarias para la Salud y el Desarrollo” incluido en el Manual de Evaluación de Trabajo en Grupo de Stephen B. Fawcett, Adrienne Paine-Andrews, Vincent T. Francisco, Jerry Schultz, Kimber P. Richter, R.K. Lewis, E.L. Williams, K.J. Harris, Jannette Berkley, Jacqueline L. Fisher, y Christine M. López del Grupo de Trabajo en Promoción de la Salud y Desarrollo Comunitario, Universidad de Kansas, Lawrence, Kansas.

• ¿Qué es proporcionar retroalimentación?

• ¿Porqué proporcionar retroalimentación?

• ¿Cuándo debemos proporcionar retroalimentación?

• ¿Cómo proporcionar retroalimentación?

• Consejos Generales

¿Qué es proporcionar retroalimentación?

Cuando hablamos de proporcionar retroalimentación de la evaluación, nos referimos a presentar los datos de los logros que se están obteniendo de la evaluación a aquellos involucrados con la iniciativa, su equipo de trabajo y voluntarios, así como a los administradores y los miembros de la junta. Dependiendo de los métodos de evaluación y el tipo de información utilizada, parte de esta información se presenta, generalmente aunque no siempre, en forma de tablas y gráficas, algunas de manera oral y otras tal vez en portafolios o inclusive en audio o video.

La retroalimentación es bidireccional. La gente involucrada en el día con día de la operación de la organización y sus programas puede beneficiarse al aprender qué  parece estar funcionando bien y qué no, y al entender qué necesita ser cambiado para mejorar los resultados. Al mismo tiempo, los administradores y los miembros de la junta directiva necesitan comprender dónde están las debilidades de la organización, las cuales  impiden que el personal y los voluntarios sean lo más eficientes posible.

¿Existe suficiente apoyo? ¿Hay suficientes suministros? ¿Son los fondos adecuados para el trabajo que se requiere hacer? ¿El ambiente organizacional es de respeto mutuo en donde el personal de trabajo y los voluntarios están haciendo su trabajo de la mejor manera, y los participantes se sienten bienvenidos y apoyados? Estas son preguntas que el personal de trabajo y los voluntarios –y los participantes – pueden responder al mismo tiempo que la organización trata de resolver y monitorea los resultados. Para llegar a ser realmente exitoso, la retroalimentación tiene que ir en ambas direcciones.

Brindar retroalimentación debería hacerse de manera continua para que así tanto su equipo y voluntarios se mantengan actualizados sobre lo que están haciendo bien y sobre lo que pueden mejorar. También puede hacerse al final de una evaluación (aunque no exclusivamente).

En esta sección, vamos a discutir principalmente el curso de las actividades y los logros que pueden conducir a resultados a largo plazo, a lo que usualmente se refiere como monitoreo.

¿Porqué proporcionar retroalimentación?

Aquí encontrará algunas razones para considerar proveer retroalimentación de vez en cuando:

• Para ayudar al liderazgo comunitario a abordar el progreso hacia la satisfacción de las metas de la iniciativa
• Para ayudar a observar áreas en las cuales los miembros de la iniciativa puedan poner más energía
• Para ayudar a detectar cuando se está gastando mucha energía o esfuerzo en áreas menos centrales de la misión
• Para dar la oportunidad de celebrar los pequeños logros
• Para ayudar a la iniciativa a enfocarse en el “resultado general” al observar los logros acumulativos a lo largo del tiempo
• Para dar a los patrocinadores la oportunidad para re-direccionar la iniciativa hacia actividades más directamente relacionadas con la misión
• Para proveer a los patrocinadores la oportunidad de ver y recompensar los logros de la iniciativa

¿Cuándo debemos proporcionar retroalimentación?

Su equipo debe obtener retroalimentación a intervalos regulares, especialmente temprano en el desarrollo de la iniciativa, de manera que puedan ajustar sus esfuerzos para mejorar los resultados de la iniciativa de manera continua. Se pueden realizar sesiones de retroalimentación mensualmente durante el primer año y luego trimestralmente (cuatro veces al año). La retroalimentación les da la oportunidad de observar los cambios generados por los ajustes realizados después de la última sesión de retroalimentación, de manera que todos puedan trabajar continuamente para mejorar sus esfuerzos.

¿Cómo proporcionar retroalimentación?

Inicie con un comunicado general que resuma cómo le está yendo a la iniciativa.

 Este comunicado debe ser afirmativo (no se debe empezar por las áreas que necesitan mejoras desde el puro principio) y muy específico respecto a lo que va caminando bien. Por ejemplo, “Hemos recibido 35 cartas de padres de familia alabando el trabajo del comité de seguridad escolar en la Escuela Uptown” es un comunicado mucho más específico que “Muchos padres de familia están complacidos con el comité de seguridad escolar”.

Tal vez los datos recolectados indican que todo lo que su grupo ha estado haciendo es perfecto. Si este es el caso, presentar retroalimentación al grupo probablemente será muy sencillo. Sin embargo, es más probable que se tengan algunas o (esperemos que no) muchas áreas que necesitan mejoras.  Se quiere que las personas involucradas en la iniciativa entiendan lo que podrían estar haciendo mejor, pero al mismo tiempo hay que tener mucho cuidado de que no se sientan desmotivadas, enojadas con sí mismas, resentidas o insultadas por una retroalimentación poco halagadora. ¿Cómo hacer esto?

Presente los datos al grupo como algo bueno.

Aún si la retroalimentación no es tan positiva; después de todo, les está dando información que los ayudará a hacer un mejor trabajo. Intente comunicar lo valioso de un grupo que realmente quiere saber cómo le está yendo. Muéstreles como el uso de los datos obtenidos a través de su evaluación puede ayudarlos a hacerlo. Provea una visión compartida de la iniciativa como catalizador del cambio: “¡Nosotros podemos hacer una diferencia y vamos a hacer una diferencia, y así es como lo vamos a hacer!” Es muy importante comunicar su optimismo de que el grupo será exitoso en tener impacto. En otras palabras, inicie con las buenas noticias, y luego presente las malas de manera que motive a todos a trabajar duro para cambiarlas.

Muestre gráficos.

Le sugerimos hacerlo en este orden:

• Medidas del Proceso – número de personas involucradas con el programa, satisfacción de los miembros, cantidad de actividad necesaria para hacer cambios en la comunidad relativos a los objetivos del grupo
• Resultados Intermedios – número de cambios en la comunidad (por ejemplo, programas nuevos o modificados, políticas, prácticas), información acerca de la iniciativa y eventos críticos
• Resultados Finales / Datos de Impacto – datos de encuestas de cambios de comportamiento en las personas objetivo de la intervención, datos de impacto a nivel comunitario

Encuentre muestras de esto en el segmento de Ejemplos al final de esta sección.

Muestre material escrito (sin gráficos).

Como mencionamos anteriormente, puede existir gran cantidad de material que es mejor mostrarlo sin gráficos. Tal material puede ser narrativa, ejemplos de trabajo de participantes o ejemplos de aprendizaje, comentarios de participantes. Este tipo de material se debe discutir de forma diferente a como se discute el material gráfico ya que no es tan claro como la información gráfica.

Como los datos gráficos, los no gráficos se pueden examinar en relación al proceso, resultados intermedios e impacto a largo plazo. A diferencia del material gráfico, se necesita de creatividad para comprender las tendencias o conclusiones que el mismo arroja.  (Una tendencia es un movimiento en una dirección dada que no es aún definitiva o de largo alcance para concluir que con ella se logra alcanzar una meta o se falla en el intento de lograrla.)

Mucho de esta información se puede comprender en una discusión. Vale preguntarse a qué acciones específicas, métodos, o condiciones se refieren los comentarios de los participantes y cómo se pueden cambiar éstos de ser necesario. También, ¿qué muestra el trabajo del participante sobre la efectividad de tu trabajo? ¿qué aspectos reflejan las anécdotas sobre los retos y sobre las cosas que se necesitan ajustar o eliminar?

Presentación de la información.

Aquí encontrará algunas recomendaciones:

• Introduzca la información y provea una breve definición, ejemplo y explicación de lo que es importante
• Dé un ejemplo más detallado de los logros que han ocurrido recientemente, si es posible, en los meses anteriores
• Señale qué es importante acerca de los datos
• Haga notar las tendencias de los datos y lo que estas tendencias representan
• Discuta cualquier sugerencia de re-dirección de esfuerzos
• Revise los ejemplos listados en el gráfico
• Reafirme la iniciativa haciendo notar la evidencia del progreso
• Solicite comentarios y consultas al grupo

Si la medición no muestra reciente crecimiento:

• Haga que el grupo tenga una discusión usando la información, por qué creen ellos que ha ocurrido esto.
• Señale anteriores ocasiones de crecimiento para evitar que los compañeros se desmotiven. Muchas de estas medidas serán cíclicas en su naturaleza y en la generación de recursos, por ejemplo, generalmente se registran en rachas asociadas con las fechas límites de financiamiento. Si esto parece importante señalarlo, hágalo.
• Pregúntele al grupo por ideas acerca de cómo ajustar el trabajo con el propósito de tratar con el problema, si se necesita tratar.
• Cuando se reúna con los miembros, consulte si hubo actividades adicionales que no se registraron. Haga una lista de los ítems que se han registrado a lo largo de la iniciativa. Puede encontrarse con cosas que no fueron registradas y esto puede hacer una gran diferencia en los resultados.

Resuma los datos al discutir acerca de las fortalezas de la iniciativa.

¡Termine de forma positiva! Se quiere que su equipo y voluntarios salgan de esta presentación con la resolución de trabajar duro para mejorar la iniciativa, y se quiere reafirmar su confianza para que puedan alcanzar esto, entonces no los deje sintiéndose mal de sus esfuerzos a la fecha. Revise los gráficos y asegúrese de mostrar el gráfico más directamente relacionado con la misión del proyecto (lo más probable es que sea el gráfico de cambio comunitario).

Consejos Generales

Recapitulemos las principales cosas a tener en mente cuando se prepara la retroalimentación para el equipo de trabajo:

• Presente estos datos como un obsequio, informando a su audiencia sobre cómo le está yendo a la iniciativa.
• ¡Enfóquese en lo positivo, sea afirmativo!
• Transmita optimismo sobre los prospectos de éxito (si es lo apropiado).
• Transmita la necesidad de cambios o ajuste (si es lo apropiado).
• Transmita una visión compartida de la iniciativa como un catalizador efectivo para el cambio.

Recuerde mantenerlo positivo y dar mucho ánimo a las personas que trabajan en la iniciativa. Las sesiones de retroalimentación pretenden hacer que su equipo y voluntarios trabajen más duro y mejoren la iniciativa, no que se descorazonen. ¡Buena suerte!

Comprende que...

___Proveer retroalimentación de su evaluación incluye presentar los datos de los logros evaluados a los involucrados en la iniciativa; su equipo y los voluntarios.

___La mayoría de esta información se presenta, generalmente aunque no siempre, en forma de gráfica.

___La provisión de información se debe hacer de manera continua de manera que su equipo y voluntarios se mantengan actualizados sobre lo que están haciendo bien y sobre lo que pueden mejorar.

___También puede hacerse al final de una evaluación (aunque no exclusivamente).

___Su equipo debe obtener retroalimentación a intervalos regulares, especialmente temprano en el desarrollo de la iniciativa, de manera que puedan ajustar sus esfuerzos para mejorar los resultados de la iniciativa de manera continua.

Comprende algunas de las razones por las que se debe considerar proveer retroalimentación de vez en cuando:

___Para ayudar al liderazgo comunitario a abordar el progreso hacia la satisfacción de las metas de la iniciativa

___Para ayudar a observar áreas en las cuáles los miembros de la iniciativa puedan poner más energía

___Para ayudar a detectar cuándo se está gastando mucha energía o esfuerzo en áreas menos centrales de la misión

___Para dar la oportunidad de celebrar los pequeños logros

___Para ayudar a la iniciativa a enfocarse en el “resultado general” al observar los logros acumulativos a lo largo del tiempo

___Para dar a los patrocinadores la oportunidad para re-direccionar la iniciativa hacia actividades más directamente relacionadas con la misión

___Para proveer a los patrocinadores la oportunidad de ver y recompensar los logros de la iniciativa

Cómo proporcionar retroalimentación

___Inició con un comentario afirmativo y específico que resumía como le está yendo a la iniciativa.

___Presentó los datos al grupo como algo bueno, aún si la retroalimentación no es del todo positiva.

___Ha intentado comunicar el valor de un grupo que realmente quiere saber cómo le está yendo y proveer la visión compartida de la iniciativa como un catalizador del cambio.

___Ha mostrado los gráficos en este orden:

• Medidas de Proceso
• Resultados Intermedios
• Resultados Finales / Datos de Impacto

Presentación de la Información:

___Ha introducido la información y ha dado una definición breve, ejemplo, y explicación de lo que es importante

___Ha proporcionado un ejemplo más detallado de los logros que se han alcanzado recientemente, en los meses pasados si fuera posible

___Ha señalado lo que es importante en los datos

___Ha señalado cualquier tendencia en los datos y lo que estas tendencias significan

___Ha discutido toda sugerencia de re-dirección de esfuerzos

___Ha revisado los ejemplos enlistados en el gráfico

___Ha afirmado la iniciativa haciendo notar la evidencia de progreso

___Ha solicitado al grupo comentarios o consultas

Si la medida no muestra crecimiento reciente:

___Ha señalado todas las ocasiones anteriores en las que ha ocurrido crecimiento para evitar que los compañeros pierdan entusiasmo.

___Si es apropiado, ha señalado si las medidas son cíclicas por naturaleza.

___Al reunirse con los líderes de la iniciativa, ha consultado si hubo actividades adicionales que no se registraron y les ha recordado a los líderes la definición y los ítems que se han registrado a lo largo de la iniciativa.

___Ha resumido los datos mediante la exposición de las fortalezas de la iniciativa.

Example 1: Sharing Information through Participatory Evaluation—Enroll Wyandotte: A Community Mobilization Effort for the Affordable Care Act

Background

The passage of the Affordable Care Act (ACA) created for the first time the opportunity for Americans to receive health insurance that previously could not afford it. Healthcare insurance marketplaces were established to ensure healthcare access to those in need. State-level support for ACA marketplace enrollment varied considerably from the development of state-managed health exchanges to erecting barriers to impede marketplace access. In Kansas, local efforts were required to assure access to healthcare through community mobilization and partnerships. Wyandotte County (Kansas City), Kansas (pop. 160,384) is a low-income and culturally diverse area that ranks 96 out of 98 in the county health rankings. One in four residents are without health insurance, a rate twice that of the national average, with an equal number of residents below the national poverty level.

Context

Enroll Wyandotte, a local ACA exchange navigation effort, engaged multiple partnerships across a different sectors to support enrollment. Collaborative partnerships included government health organizations, public institutions, hospitals and health organizations, community and cultural organizations, community health coalitions, and universities.

Efforts of the Initiative

The initiative employed a community mobilization approach to assist Wyandotte County residents with obtaining health insurance through the ACA marketplace exchanges. This effort consisted of four broad components: a) Providing information and enhancing skills (eg, one-on-one education through the walk-in enrollment center, door-to-door education referral campaign to identify eligible community residents); b) Modifying access, barriers, exposures, and opportunities (eg, one-on-one enrollment assistance through the walk-in enrollment center, conducted community enrollment events in collaboration with community partners); c) Enhancing services and support (eg, hired a full-time navigator/project coordinator, trained a workforce of university volunteers as Certified Application Assistors); and d) Modifying policies and broader systems (eg, established collaborative partnerships with community organizations, provided testimony to senate committees on legislation that would have required expensive certification of volunteers trained as Certified Application Assistors).

Participatory Evaluation

A participatory evaluation involved the leadership of the Enroll Wyandotte effort and staff of the Center for Community Health and Development at the University of Kansas. The partners developed a monitoring and evaluation plan that identified some key indicators for success: a) Community/organizational changes (ie, new or modified programs, policies, or practices to facilitate enrollment in the ACA; eg, expanded enrollment hours at the health department; new sites at local public libraries, community organizations); b) Services provided (eg, media communications to promote awareness, direct assistance in enrollment sites); and c) Created accounts (the total number of family accounts created within the ACA website at three enrollment sites).

Measurement and Results

The KU Center for Community Health and Development designed an online documentation and support system (the Community Check Box) that included prompts and supports to: a) Capture instances of community/organizational changes and services provided (ie, what was done when and by whom toward what goal; b) Code by type of activity (ie, using definitions of community/organizational change and services provided); c) Characterize the activity (eg, by goal, strategy used, sector in which implemented); and d) Communicate progress (eg, graphs of the unfolding of community/organizational changes over time). The results showed that activities that created lasting changes in the environment (eg, programs, policies, and practices) and services provided were associated with increased enrollment. More than 500 new accounts were created as a result of the work of the initiative.

Providing Feedback through Participatory Sensemaking

Staff from the KU Center for Community Health and Development reviewed documented activities captured using the Community Check Box to assure data quality and to provide feedback on a monthly basis. The Check Box also supported participatory sensemaking by pairing graphs of activities/outcomes with reflection questions: a) What are we seeing? b) What does it mean? and c) What are the implications for adjustment? Enroll Wyandotte and KU Center for Community Health and Development staff met on two occasions to review the data and apply these questions. Participatory sensemaking provided an opportunity to evaluate data patterns to check for data completeness and identify key events (eg, when grants were received, when essential community/organizational changes occurred) that were essential to implementation of the marketplace navigation initiative. For example, the illustrating the unfolding of services provided over time showed a marked increase at the end of December, 2013. Enroll Wyandotte staff identified that this was associated with the hiring of a project coordinator made possible by community foundation funding and collaboration with community partners. Additionally, the use of sensemaking included the leveraging of additional funding from grantmakers and community partners through the use of data from the evaluation. In this initiative, providing feedback through participatory sensemaking helped guide systematic reflection of the data to make adjustments for continuous improvement and to communicate an objective story to community partners, grantmakers, and other stakeholders.

This example is based on the following article:

Fawcett, S. B., Sepers, C. E., Jr., Jones, J., Jones, L., & McKain, W. (Submitted for publication) Participatory evaluation of a community mobilization effort to enroll residents of Wyandotte County, Kansas through the Affordable Care Act.

Una presentación en PowerPoint que resume los puntos principales de la sección.

Un Centro Comunitario de Salud realizó una evaluación de su programa para promover la actividad física entre personas con mayor riesgo de enfermedad cardíaca. La evaluación mostró resultados mixtos. Un pequeño número de participantes (15%) obtuvo resultados muy positivos. Presentaron aumentos significativos en la actividad física y mejoraron su alimentación. Su condición física mejoró y perdieron peso. Como se había previsto, su presión arterial disminuyó, su frecuencia cardíaca bajó y reportaron sentirse con más energía. También informaron altos niveles de satisfacción con el programa y sus resultados.

Una gran mayoría del grupo original (70%) hizo ejercicio, pero no con la regularidad esperada. Los beneficios para la salud en este grupo variaron: varios lograron reducir al menos ligeramente su presión arterial, mientras que el resto mantuvo los niveles con los que había iniciado el programa.

Un último grupo (15%) estuvo compuesto por personas que abandonaron el programa –varias se retiraron en poco tiempo– y otras que simplemente nunca lograron ejercitarse con regularidad. Prácticamente no hubo cambios en su peso, presión arterial ni en su sensación de bienestar… excepto en un pequeño número que obtuvo resultados relativamente positivos.

¿Qué podría hacer el Centro Comunitario de Salud con estos resultados? Sabía que, aunque la intervención aparentemente funcionaba cuando las personas se mantenían en el programa, este solo había tenido un éxito parcial. ¿Cómo podría utilizar la evaluación para mejorar el programa y, de ese modo, mejorar la salud de las personas a las que servía?

Hasta ahora, este capítulo ha abordado los elementos para llevar a cabo una evaluación basada en la investigación. Pero la evaluación en sí misma es solo un medio para un fin: una herramienta que le permite comprender qué está sucediendo para que usted pueda mejorar la efectividad de su trabajo. En esta sección, examinaremos cómo puede utilizar su investigación –los resultados de su evaluación– para lograr precisamente eso.

¿Qué entendemos por perfeccionar la intervención?

Los datos le permiten a usted y a los demás miembros de su grupo reflexionar de manera crítica sobre su trabajo y buscar oportunidades de mejora.

Algunas preguntas clave de reflexión que usted y su grupo podrían considerar son:

• ¿Qué estamos observando? (por ejemplo, cantidad y tipo de actividades implementadas; resultados obtenidos –aumentos, disminuciones, tendencias).
• ¿Qué significa esto? (por ejemplo, si la implementación de la intervención estuvo asociada con cambios).
• ¿Cuáles son las implicaciones para la mejora? (por ejemplo, si los resultados sugieren que la intervención debe mantenerse, modificarse o suspenderse; qué cambios se proponen).

Las preguntas de reflexión que usted formule dependerán de la naturaleza de su intervención, pero el conjunto anterior constituye un buen punto de partida. Considere realizar una reunión o un breve retiro en el que se presenten los resultados de la evaluación mediante gráficos y tablas, y se discutan las preguntas clave. Esta reunión podría beneficiarse de la participación de una persona facilitadora con experiencia que ayude a orientar el proceso hacia el consenso sobre recomendaciones específicas para mejorar.

Perfeccionar la intervención es el proceso de hacer su trabajo más efectivo utilizando los datos recopilados en su evaluación.

Dependiendo de lo que haya aprendido a partir de estos datos, usted podría:

• Incrementar o fortalecer su intervención en ciertas áreas o con determinados grupos.
• Modificar o eliminar elementos de la intervención que no hayan funcionado bien.
• Ajustar su intervención a condiciones o necesidades cambiantes en la comunidad.

Será importante que usted se reúna con otros miembros de su grupo para revisar los datos, identificar áreas clave de mejora, generar ideas y alcanzar un consenso sobre cómo abordar los problemas planteados. Prestar atención cuidadosa a los resultados de su evaluación puede ayudarle a determinar qué acciones debe tomar para fortalecer sus esfuerzos.

Para continuar con el ejemplo anterior, el personal del Centro Comunitario de Salud y algunos participantes seleccionados se reunieron para revisar los resultados. Consideraron que la evaluación había demostrado que, si las personas hacían ejercicio con regularidad, podían reducir su presión arterial, perder peso y mejorar su salud en general.

Una implicación clave de los hallazgos fue cómo ayudar a las personas a establecer y mantener una rutina de ejercicio.

El diálogo posterior sobre los resultados de la evaluación dejó al Centro Comunitario de Salud con preguntas adicionales:

• ¿Cómo podemos aumentar el número de participantes que realmente adopten y mantengan el ejercicio regular y otros comportamientos saludables?
• ¿Por qué algunas personas que no hicieron ejercicio con regularidad lograron reducir su presión arterial, y deberíamos añadir otro componente (por ejemplo, alimentación saludable) a nuestro programa?
• ¿Qué otros factores, si los hay, además del ejercicio, parecen ayudar a los participantes a ejercitarse regularmente y reducir su presión arterial (por ejemplo, un grupo de bienestar, medicación)?

Al centrarse en las preguntas clave de reflexión –¿Qué estamos observando? ¿Qué significa? ¿Cuáles son las implicaciones para la mejora?-- el centro debería poder perfeccionar su programa para obtener resultados aún mejores para un mayor número de participantes.

¿Por qué debería utilizar su investigación de evaluación para perfeccionar la intervención?

Perfeccionar la intervención es el propósito principal de una evaluación. Si descubre que su intervención no fue efectiva, tiene tres opciones: puede abandonarla; puede intentar a ciegas otro enfoque; o puede utilizar los resultados de su evaluación para orientarse hacia una intervención más eficaz.

Utilizar los resultados de la evaluación es fundamental: le indica la dirección que su investigación señala como más prometedora. Emplear la investigación para decidir el curso de acción también le posiciona como una organización creíble y práctica, comprometida con lo que realmente funciona. Ese tipo de reputación probablemente aumente sus oportunidades de obtener financiamiento y otros recursos, así como de ganar y mantener el apoyo de la comunidad. Lo más importante es que ayuda al grupo a tener éxito en la atención de los problemas o metas importantes de su comunidad.

¿Cuándo debería perfeccionar la intervención?

La respuesta corta a esta pregunta es: constantemente. El monitoreo y la evaluación deben llevarse a cabo durante toda la vida del programa o proyecto, y deben utilizarse para adaptar y ajustar lo que usted hace de manera continua. En términos prácticos, es recomendable reevaluar su trabajo con regularidad –una vez al año es lo más común– y realizar en ese momento los cambios importantes que sean necesarios.
Por supuesto, usted puede y debe hacer ajustes menores a lo largo del año, basándose en el monitoreo y en la retroalimentación de los participantes, del personal y de otras personas que implementan o experimentan la intervención.

Además, hay momentos específicos en los que ajustar su trabajo puede ser especialmente útil:

• Cuando lo que está haciendo no está funcionando. Si es evidente que su trabajo no está produciendo el efecto deseado, es momento de considerar qué necesita cambiar.

Asegúrese de permitir suficiente tiempo para que un programa o intervención tenga efecto antes de concluir que no está funcionando. Nada ocurre de la noche a la mañana y, cuanto más complejo sea el problema que usted está abordando, más tiempo probablemente se necesitará para influir en los resultados esperados. Usted debe encontrar un equilibrio entre suspender un programa antes de que haya tenido la oportunidad de demostrar resultados y permitir que continúe aun cuando ya haya mostrado ser ineficaz.

• Cuando los participantes abandonan el programa en una proporción alta. ¿Qué está haciendo usted –o qué factores externos existen– que podrían estar provocando que las personas se retiren del programa? ¿Cómo puede modificar la intervención para asegurarse de que los participantes permanezcan el tiempo suficiente para beneficiarse?
• Entre sesiones de un programa de duración limitada o secuencial. Algunos programas –como el programa de ejercicio utilizado como ejemplo– están diseñados para funcionar solo durante un período determinado, pero pueden repetirse varias veces con nuevos participantes. Si un programa de este tipo se evalúa de manera continua, usted obtendrá –y debería utilizar– información en cada ciclo que le ayudará a mejorar la siguiente implementación.
• Cuando los financiadores o los participantes le piden que ajuste algún aspecto de su programa. Su investigación de evaluación puede ser de gran ayuda para determinar cómo responder a las solicitudes de los financiadores o de los participantes.
• Cuando se reducen los fondos u otros recursos. Usted puede verse en la situación de tener que eliminar partes del programa, reducir el número de participantes u optar por otras decisiones difíciles. Su investigación de evaluación puede ayudarle a encontrar la mejor manera de hacer recortes sin perder efectividad, manteniendo los elementos del programa que generan mayor impacto.
• Cuando cambian el problema o la meta. A veces se produce un cambio en las prioridades de la comunidad, por ejemplo, tras un aumento del desempleo o de la violencia. Su investigación puede indicarle que esto está ocurriendo y sugerirle formas de responder a las nuevas condiciones.

¿Quiénes deberían participar en el perfeccionamiento de la intervención?

El mejor plan es involucrar a varios grupos de interés, dependiendo en parte de quiénes hayan participado en la planificación y evaluación del esfuerzo.

Algunas personas que definitivamente deberían participar son:

• Los participantes. Son quienes experimentan tanto la intervención como sus efectos, y es probable que tengan ideas sobre cómo mejorarla, hacerla más accesible o más relevante para ellos. Los participantes deben ser sus aliados en el perfeccionamiento de programas e intervenciones, ya que cuentan con una perspectiva interna sobre si realmente están funcionando.
• El personal, remunerado o voluntario. Al igual que los participantes, el personal tiene una perspectiva única sobre la intervención. No solo observa diariamente cómo funciona, sino que también deberá implementar cualquier cambio. Si puede apropiarse de esos cambios al participar en el proceso de planificación, será mucho más probable que los comprenda adecuadamente y esté comprometido en hacer que funcionen.
• Personas que apoyan el trabajo directa o indirectamente. Dependiendo de la naturaleza del problema, podrían incluir educadores, funcionarios gubernamentales, profesionales de la salud, empleadores, financiadores u otras personas. Dado que su contribución puede ser necesaria para que los cambios tengan éxito, es importante que aporten su opinión en la planificación. Necesitarán comprender y respaldar los ajustes para que la intervención modificada funcione adecuadamente.
• Quienes lideraron y participaron en la evaluación. Estas personas comprenderán bien lo que mostró la evaluación y tendrán claridad sobre qué podría necesitar cambios y de qué manera.

Por ejemplo, el Centro Comunitario de Salud conformó un equipo para analizar los resultados de la evaluación y formular recomendaciones para realizar cambios en el programa. El equipo incluyó a diversos participantes que habían experimentado distintos resultados, un profesional de la salud, un miembro de la junta directiva del Centro y un miembro del personal de la universidad que llevó a cabo la evaluación. Revisaron parte de la investigación que el Centro había utilizado para desarrollar el programa y estudiaron cuidadosamente las entrevistas a los participantes y otros materiales de evaluación, así como los registros mantenidos por el personal del programa.

¿Cómo se perfecciona una intervención con base en la investigación?

Los cambios en las intervenciones deben centrarse en uno o más de los tres aspectos de la evaluación: proceso (tanto su proceso –actividades implementadas, cumplimiento de lo planificado, etc. – como el proceso de los participantes –qué hicieron realmente), impacto y resultados. Es necesario examinar cada uno por separado y, finalmente, integrarlos para decidir qué ajustes deben realizarse en la intervención.

Cada aspecto de la evaluación se construye sobre el anterior. Para lograr el impacto deseado, usted debe diseñar y ejecutar bien su programa, y eso es una cuestión de proceso. Si el proceso no se llevó a cabo adecuadamente, entonces en realidad no se implementó el programa tal como se había planificado. Si no se obtuvo el impacto esperado, puede deberse simplemente a que no se hizo lo que se había previsto, y los primeros ajustes deberían centrarse en el proceso, para garantizar que la intervención se implemente según lo diseñado.

De manera similar, para alcanzar los resultados deseados, el programa debe tener un impacto sobre los factores de riesgo y de protección pertinentes u otras condiciones del entorno. Si el programa logró el impacto previsto, pero no los resultados esperados, entonces los ajustes deben realizarse en el nivel del impacto, quizá en los factores de riesgo y protección y/o en las condiciones que influyen en los resultados.

Proceso

Una evaluación del proceso de su esfuerzo compara lo que usted planeó hacer con lo que realmente hizo.

El proceso tiene varios elementos a los que puede aplicarse la evaluación. Estos abarcan tanto la logística (el manejo de detalles, como conseguir un espacio o adquirir materiales) como la implementación del programa (los métodos, la estructura del programa, etc.).

Estos elementos pueden incluir:

• Participación comunitaria. ¿Pudo involucrar a los miembros y sectores de la comunidad que tenía previsto? ¿Logró establecer buenos contactos y relaciones dentro de la población prioritaria?
• Evaluación de la comunidad. ¿Realizó una evaluación de la situación de la manera en que lo había planificado? ¿Le proporcionó la información que necesitaba?
• Planificación del programa. ¿La planificación fue participativa? ¿Incluyó investigación sobre mejores prácticas e intervenciones exitosas? ¿Resultó en un enfoque que todos consideraron que funcionaría?
• Contratación de personal y/o reclutamiento de voluntarios. ¿Contrató personal y/o reclutó voluntarios que fueran las personas adecuadas para los puestos?
• Capacitación del personal y/o voluntarios. ¿El personal y/o los voluntarios recibieron orientación y capacitación antes de comenzar, para saber qué debían hacer cuando iniciaran su trabajo? ¿Hubo capacitación continua?
• Divulgación y reclutamiento de posibles participantes. ¿Las actividades de alcance comunitario lograron involucrar a las personas de los grupos previstos? ¿Pudo reclutar el número y tipo de participantes que había planeado?
• Estrategia de implementación. Aquí se analiza tanto lo que usted realmente hizo al implementar el programa como lo que los participantes realmente hicieron. ¿Estructuró el programa como estaba previsto? ¿Utilizó los métodos que tenía intención de usar? ¿Organizó la cantidad e intensidad de los servicios, otras actividades o condiciones según lo planificado? ¿Obtuvo y utilizó los materiales y equipos que esperaba? ¿Se desarrollaron las relaciones como se había previsto? ¿Los participantes realmente hicieron o experimentaron lo que usted había planeado?
• Estrategia de evaluación. ¿Realizó la evaluación como lo había planificado? ¿Recopiló datos relacionados con el proceso, el impacto y los resultados?
• Cronogramas y puntos de referencia. ¿Completó o inició cada uno de estos elementos en el tiempo que había previsto? ¿Logró los hitos o avances clave según lo planificado?

Si todas o la mayoría de las cosas ocurrieron según lo planificado, y cualquier desviación fue trivial, entonces básicamente usted hizo lo que se había propuesto. Si no fue así, existen varias posibles razones por las que el proceso previsto pudo haber cambiado:

• Tomó más tiempo del esperado completar una o más tareas importantes (por ejemplo, encontrar y contratar personal clave).
• Fue más difícil de lo previsto realizar una tarea en particular. Esto puede deberse al tiempo requerido, pero también puede significar que no contaba con las habilidades o el personal necesario para hacerlo.
• Algo que tenía buenas razones para esperar no ocurrió (por ejemplo, financiamiento o apoyo que esperaba no se concretó).
• Una persona u organización de la que dependía no cumplió con lo esperado (por ejemplo, un miembro del personal contratado se enfermó y no terminó el trabajo a tiempo).
• Más participantes abandonaron el programa de lo que usted había previsto.
• Participaron más personas de lo que había anticipado.
• A mitad del proceso descubrió que los métodos que había planificado no funcionaban bien y tuvo que hacer ajustes.
• Un financiador o un consejo asesor de la comunidad le pidió cambiar parte de lo que estaba haciendo.
• A mitad del proceso conoció un nuevo método que parecía muy eficaz y decidió implementarlo.
• Descubrió una forma más exitosa de hacer las cosas durante el trabajo y decidió adoptarla.
• Subestimó los recursos necesarios para llevar a cabo el plan original y tuvo que reducirlo (o buscar más financiamiento, voluntarios, espacio u otro tipo de apoyo).
• Enfrentó oposición.
• Enfrentó dificultades inesperadas (por ejemplo, alguien renunció o los materiales/equipos no estaban disponibles con el proveedor).
• Enfrentó un desastre (por ejemplo, el lugar se incendió, el coordinador del programa se enfermó, un miembro del personal fue arrestado o hizo un uso indebido de los fondos).
• Simplemente no prestó suficiente atención a seguir el plan y/o la organización no cumplió adecuadamente con su trabajo.

La desviación respecto a su plan puede haber tenido muy poca diferencia o puede haber marcado una gran diferencia. Algunos cambios pueden incluso ser positivos– por ejemplo, un retraso podría permitir encontrar una fuente de financiamiento más estable, o un cambio en el método podría dar lugar a un programa más efectivo– pero siguen siendo cambios. Vale la pena comprender qué fue lo que cambió para poder interpretar adecuadamente los resultados de la evaluación y realizar los ajustes que sean necesarios.

Quizás usted implementó el proceso según lo planeado y su programa se desarrolló como estaba previsto. Por el contrario, también puede ser que el proceso haya estado lleno de dificultades –oposición, falta de apoyo comunitario, problemas para reclutar participantes o plazos incumplidos–. ¿Significa eso que todo el trabajo que usted dedicó a la planificación fue innecesario?

Es probable que la respuesta sea justamente la contraria. Si usted logró implementar el programa a pesar de que sus planes se vieron alterados, es muy probable que la visión clara de lo que quería hacer le haya ayudado a mantenerse en el camino correcto.

Analizar cuidadosamente cómo logró superar los obstáculos que encontró le ayudará a entender cómo evitarlos en el futuro. (Evitar todos los obstáculos es poco común en el trabajo comunitario. La clave es aprender a anticiparlos y superarlos).

También es posible que el proceso previo al programa se haya desarrollado según lo planeado, pero que la implementación no haya resultado como se esperaba. En ese caso, probablemente el problema haya estado en el plan.

Algunos posibles problemas pueden ser:

• No evaluó adecuadamente la situación o no tomó en cuenta algunos aspectos importantes de la preparación.
• No comprendió correctamente algún aspecto de lo que debía hacerse para tener éxito.
• No comunicó adecuadamente algunos aspectos de lo que debía hacerse al personal, a los participantes, a los financiadores o a la comunidad.
• Subestimó la cantidad de dinero u otros recursos necesarios.
• No tuvo un control financiero adecuado.
• Ignoró algo importante (por ejemplo, tratar a los participantes con respeto).
• No involucró lo suficiente a la comunidad.
• No consideró suficiente tiempo para algunos aspectos de lo que debía hacerse (es decir, planificó un período determinado y lo cumplió, pero resultó ser demasiado corto).
• No proporcionó algún apoyo importante para los participantes (transporte, cuidado de niños, un estipendio), y como resultado un gran número abandonó el programa.

Descubrir por qué su plan no produjo la intervención que usted esperaba puede ser muy útil. Comprender qué necesita planificar y cómo hacerlo puede hacer que su trabajo futuro sea tanto más eficiente como más efectivo.

Impacto

El impacto de su programa o iniciativa es el efecto que tuvo sobre las condiciones del entorno, los eventos o los comportamientos que buscaba cambiar (aumentar, disminuir o mantener).

En la mayoría de los casos –aunque no en todos– el impacto inmediato del programa no es el mismo que los resultados finales que se esperan. Generalmente, un programa busca influir únicamente en uno o más comportamientos o condiciones específicos –factores de riesgo o de protección–. La suposición es que esa influencia conducirá posteriormente a un cambio a más largo plazo, que constituye el objetivo final del programa.

El impacto previsto del programa de ejercicio del Centro de Salud, por ejemplo, es que los participantes adopten el ejercicio regular, un factor protector que reduce el riesgo de enfermedades crónicas. Sin embargo, los objetivos del programa son en realidad mejorar la salud del corazón y, en última instancia, lograr una vida más larga y de mayor calidad. El impacto es el paso intermedio: la influencia que usted tiene sobre un comportamiento u otro factor que, a su vez, conducirá a los resultados deseados.

Su proceso pudo haber funcionado perfectamente –usted pudo haber hecho exactamente lo que se propuso– y aun así no haber tenido ningún impacto en los factores de riesgo o de protección que buscaba cambiar. Del mismo modo, puede que haya terminado implementando un programa bastante diferente al que había planificado y aun así haber logrado el impacto que esperaba. Los resultados de la evaluación del proceso le indicarán qué tan fielmente siguió su plan al establecer y ejecutar el programa. Los resultados de la evaluación del impacto le mostrarán si su programa logró producir los cambios o resultados previstos.

Su programa funcionó como se planeó si los comportamientos y los factores de riesgo y/o de protección cambiaron de la manera que usted esperaba. La gran pregunta que queda en ese caso es si los cambios que su programa logró influir condujeron a los resultados finales que usted buscaba. Consideraremos esto cuando analicemos los resultados más adelante en esta sección.

En todos estos casos, la evaluación debería incluir retroalimentación tanto de los participantes que obtuvieron buenos resultados como de aquellos que no los obtuvieron. ¿Qué funcionó particularmente bien para quienes tuvieron éxito? ¿Qué barreras existieron para quienes el programa no funcionó tan bien? No siempre es fácil lograr que los participantes describan los aspectos positivos y negativos, pero es la mejor manera de descubrirlo.

Si su programa realmente tuvo un impacto negativo en los comportamientos o en los factores de riesgo y/o de protección que se pretendía cambiar –por ejemplo, si la intervención buscaba aumentar la vacunación infantil y, en cambio, menos niños fueron vacunados– es importante analizar con mayor profundidad qué está ocurriendo.

Algunas posibles explicaciones pueden ser:

• No logró comunicar su mensaje o la importancia del mismo.
• Subestimó o ignoró influencias culturales lo suficientemente fuertes como para que sus métodos no pudieran superarlas.
• No tomó en cuenta factores culturales en la vida de los participantes que dificultaban lograr los resultados previstos. Estos factores pueden incluir la pobreza o demandas de tiempo que compiten entre sí, entre muchos otros.
• La falta de competencia cultural de la organización o de algunos miembros del personal trabajó en contra de sus objetivos.
• La estructura y/o los métodos del programa generaron consecuencias negativas que no se habían previsto.
• Los participantes percibieron el programa como algo que se les estaba imponiendo y sobre lo cual tenían poca influencia en su diseño o implementación.

Así como puede ocurrir que el proceso se haya desarrollado bien y aun así el programa no haya influido en los factores de riesgo y protección como se esperaba, también es posible que usted haya logrado exactamente los cambios que buscaba en esos factores y que, aun así, el programa no haya alcanzado los resultados finales previstos. Analizaremos esa situación cuando hablemos de los resultados.

Resultados

Los resultados de una intervención son los cambios que realmente ocurrieron como consecuencia de ella. El objetivo de una intervención generalmente no es solo cambiar un comportamiento o una circunstancia, sino lograr cambios en la salud y el desarrollo de la comunidad que se producen a partir de ese cambio inmediato. Por ejemplo, un programa de control del tabaco busca ayudar a los participantes a evitar o dejar de fumar: ese es su impacto. Sus verdaderos objetivos –los resultados esperados del programa– son reducir las tasas de enfermedades cardíacas, cáncer de pulmón y otras enfermedades relacionadas con el tabaquismo entre los participantes y sus familiares.

Los resultados finales pueden tardar años en evaluarse, pero otros –como los objetivos de presión arterial del programa de ejercicio del Centro de Salud o los resultados de un curso de capacitación laboral– pueden determinarse al finalizar la intervención o poco después.
Los resultados son la verdadera medida del éxito de la intervención, porque son la razón por la cual se llevó a cabo en primer lugar. Sin embargo, el impacto logrado –como cambios en programas o políticas comunitarias– también puede ser un resultado intermedio importante, ya que pueden pasar años antes de observar cambios en los resultados a largo plazo.

El programa produjo los resultados previstos

Si el programa produjo los resultados que usted esperaba, felicitaciones: ha logrado los objetivos de su esfuerzo. Sin embargo, este no es el momento de considerar su trabajo terminado. Ahora la pregunta es: ¿cómo puede hacer que la intervención sea aún mejor y más efectiva?

• ¿Puede ampliar o fortalecer las partes del programa que funcionaron particularmente bien?
• ¿Existen métodos basados en evidencia o mejores prácticas que puedan hacer su trabajo aún más efectivo?
• ¿Apuntar a más comportamientos o a diferentes factores de riesgo y de protección podría generar un mayor éxito?
• ¿Cómo puede llegar a las personas que abandonaron el programa temprano o que no se beneficiaron realmente de su trabajo?
• ¿Cómo puede mejorar su alcance comunitario? ¿Hay grupos marginados u otros grupos a los que no está llegando?
• ¿Puede añadir servicios –ya sea directamente relacionados con los resultados del programa o servicios complementarios como transporte– que mejoren los resultados para los participantes?
• ¿Puede mejorar la eficiencia de su proceso, ahorrando tiempo y/o dinero sin comprometer la efectividad ni sacrificar elementos importantes del programa?

Las buenas intervenciones son dinámicas: continúan cambiando y experimentando, siempre buscando algo mejor. Los programas siempre pueden mejorarse.

El programa solo produjo algunos de los resultados previstos

Si la intervención produjo solo algunos de los resultados deseados, o los produjo en un nivel menor al esperado, es posible que usted esté avanzando en la dirección correcta. También es posible que el programa tenga efectos mayores a largo plazo, a medida que los participantes integren los cambios que han realizado en su vida cotidiana.

Algunas posibles razones por las cuales el efecto del programa no fue tan grande como se planeó:

• No se abordaron suficientes factores de riesgo y/o de protección.
• El mensaje del programa no llegó a los participantes o no fue lo suficientemente impactante para ellos.
• Existieron factores intermedios –como la asistencia irregular o la falta de servicios de apoyo– que hicieron que el programa fuera menos efectivo de lo que podría haber sido.
• Algunas partes del programa no funcionaron bien.
• Algunas partes del programa no se implementaron adecuadamente.
• Se sobreestimó lo que era posible lograr en el tiempo disponible.
• El programa no se acercó a los participantes de la manera adecuada –fue demasiado formal, el lenguaje utilizado generó barreras para algunos, etc.
• El programa no estaba adaptado culturalmente a la población.
• Hubo conflictos entre participantes o entre los participantes y el personal.

Por ejemplo, supongamos que el programa de ejercicio del Centro de Salud no fue en absoluto un fracaso, pero tuvo un éxito solo moderado. ¿Cómo podría el Centro usar la información de su evaluación para mejorar los resultados de los participantes del programa?

Primero, el Centro podría examinar lo que los participantes dijeron sobre el programa. ¿Qué permitió que los miembros del grupo más exitoso lograran hacer ejercicio regularmente? ¿Por qué los miembros del grupo mucho más grande no pudieron establecer rutinas de ejercicio efectivas y constantes? Y para los miembros del tercer grupo —aquellos que no hicieron ejercicio en absoluto o abandonaron rápidamente—, ¿qué podría haberlos motivado más?

Tal vez los del primer grupo asistieron a todas las sesiones y encontraron compañeros de ejercicio que se motivaban mutuamente a esforzarse un poco más (o a comer un poco mejor). Quizá los de los otros grupos no lograron encontrar compañeros.

Basándose en la evaluación, los diseñadores del programa decidieron que deberían organizar compañeros o grupos de ejercicio para todos. Según la evaluación, tanto la situación social como el desafío que representaba ejercitarse con otros hacían que el ejercicio fuera más probable, más divertido y promoviera un entrenamiento más vigoroso. También decidieron desarrollar un componente de nutrición mucho más formal dentro del programa e incorporar un sistema de compañeros en ese componente, con la esperanza de que los participantes pudieran ayudarse mutuamente a desarrollar recetas y mantener un plan de alimentación razonable.

El programa no produjo resultados

Si el programa no produjo ningún resultado, es posible que tenga que realizar cambios importantes.

Puede ser muy difícil admitir que ha estado tomando la dirección equivocada, especialmente después de haber invertido mucho tiempo y esfuerzo en planificar e implementar un programa. Es tentador creer que, si simplemente trabaja más, recluta a otros participantes o utiliza mejores materiales, obtendrá los resultados que desea. Se necesita valor para concluir que los resultados requieren un rediseño importante del esfuerzo.

El programa puede haber producido resultados no previstos, ya sean positivos o negativos. Si son positivos, quizás desee entender cómo surgieron para poder seguir generándolos. Si son negativos, probablemente querrá investigar más para poder eliminarlos. La mayoría de las razones que provocan resultados no previstos son similares a las de la falta de resultados.

Un resultado no previsto positivo en un programa de prevención de la violencia juvenil, por ejemplo, podría ser una mejoría en el rendimiento escolar; un ejemplo negativo en el mismo programa podría ser un aumento en la deserción escolar. Los adolescentes en el programa podrían mejorar su rendimiento escolar porque admiran a un miembro del personal con educación universitaria y quieren ser como él o impresionarlo. O pueden ver la universidad y escapar del vecindario como la mejor manera de salir del ciclo de violencia.

Quienes abandonan la escuela como resultado del programa también podrían hacerlo porque ven esto como una forma de evitar la violencia: la escuela –o el trayecto hacia y desde ella– puede ser especialmente peligrosa debido a la presencia de jóvenes de otros vecindarios o pandillas rivales. Por otro lado, podrían considerar que abandonar la escuela a favor del trabajo es una vía no violenta hacia el éxito financiero, en lugar de involucrarse en la venta de drogas u otras actividades propensas a la violencia.

Dado todo esto, ¿cómo debe abordar su investigación de evaluación para decidir qué necesita refinar y cómo hacerlo? Un buen enfoque general es trabajar hacia atrás desde los resultados, preguntándose “¿pero por qué?” respecto a por qué cada fase anterior no produjo los resultados que esperaba.

Usando el método del “¿Pero por qué?” para examinar los resultados

• Examine los resultados. Si su intervención logró los resultados previstos, ha cumplido su objetivo. Ahora puede considerar cómo mantener estos efectos o refinar su programa (ver arriba). Aun así, debe examinar los resultados en términos de proceso e impacto, y realizar cambios donde pueda ganar mayor efectividad o eficiencia. Pero lo más probable es que el programa no necesite cambios importantes, a menos que quiera ampliar sus objetivos o haya encontrado un enfoque alternativo que pueda generar resultados aún más impresionantes.
• Examine el impacto. Si su investigación de evaluación muestra ningún resultado o resultados que no alcanzan lo que esperaba, el siguiente aspecto a examinar es el impacto de su programa sobre los comportamientos y factores de riesgo/protección que se pretendían influir.

Si el programa tuvo el impacto que esperaba, pero no produjo resultados, quizá haya elegido los comportamientos o factores incorrectos para abordar, y necesite replantear su análisis del problema y la intervención relacionada. Existen otras explicaciones posibles: su intervención no se mantuvo el tiempo suficiente, los efectos se retrasan, sus medidas no son lo suficientemente sensibles para detectar lo que se está logrando, etc.

• Examine el proceso. El siguiente paso es entender qué tan bien planificó, preparó e implementó su intervención. Si el razonamiento y las suposiciones detrás de su planificación fueron correctos, y si organizó e implementó su programa basándose en ellas, debería haber logrado el impacto que buscaba, y ese impacto debería conducir a los resultados que pretendía. Si su programa no se desarrolló como se planeó, eso podría explicar, en buena parte –si no totalmente–, la falta de resultados. Su evaluación del proceso puede mostrarle dónde necesita ajustar y mejorar la implementación para tener una mejor oportunidad de lograr los resultados previstos.

Si su programa se desarrolló según lo planeado –cumplió con los plazos y realizó lo que se proponía de la manera prevista– y aun así no logró alcanzar sus objetivos, hay una buena probabilidad de que el problema haya estado en la planificación. Es posible que haya apuntado a factores de riesgo y/o de protección insuficientes, como se mencionó anteriormente, o que haya elegido métodos ineficaces para influir en los correctos, o ambos. Existen otras posibilidades que también podrían detectarse mediante una evaluación del proceso, muchas de las cuales ya se han sugerido: trato a los participantes, problemas de lenguaje u otra comunicación, falta de competencia cultural, etc. Identificar y corregir estos problemas puede ayudar a que un programa alcance el éxito.

• Siga haciendo ajustes. Realice sus ajustes y refinamientos, ejecute y evalúe la intervención, y luego haga nuevos ajustes y refinamientos para mejorar su trabajo. Este debe ser un ciclo continuo durante toda la vida de su programa.

En resumen

El propósito de una evaluación y la investigación que conlleva no es solo decirle si su intervención ha sido un éxito o no. El verdadero valor de la investigación de evaluación radica en su capacidad para ayudarle a identificar y corregir problemas, así como para celebrar los avances. La evaluación puede señalar las fortalezas de su programa, y ayudarle a proteger y potenciar esas fortalezas y hacerlas aún más fuertes.

Al examinar los tres elementos de una intervención –proceso, impacto y resultados– su evaluación puede decirle si hizo lo que había planeado; si lo que hizo tuvo la influencia esperada sobre los comportamientos y factores que pretendía impactar; y si los cambios en esos factores condujeron a los resultados previstos. Ese conocimiento puede mostrarle qué podría cambiar para mejorar su programa, así como la efectividad general de la intervención. Y la información puede usarse para celebrar los logros que va obteniendo en el camino.

What do we mean by refining the intervention?

___Refining the intervention is the process of making your work more effective by using evaluation information

___Key reflection questions include:

• What are we seeing?
• What does it mean?
• What are the implications for improvement?

Why should you use your evaluation research to refine the intervention?

___Understanding and improving your work is one of the main purposes of evaluation

When should you refine the intervention?

___Throughout the life of an intervention or program

___When it’s clear that what you’re doing isn’t working

___When participants are dropping out at a high rate

___Between sessions of a time-limited or sequential program

___When funders or participants ask you to adjust some aspect(s) of your program

___When funding or other resources are reduced

___When the goal or issue changes character

Who should be involved in refining the intervention?

___Participants

___Staff members, paid or volunteer

___People who are directly or indirectly involved in implementing or supporting your work

___Those who led and participated in the evaluation

How do you refine an intervention based on research?

___Determine whether your process – the planning, set-up and implementation of the program – went as planned

___Determine whether your program had the desired impact on the behaviors and risk and protective factors you targeted

___If there was no impact, or only a partial impact (or a negative impact), that could affect the program’s outcomes

___Determine whether your program achieved its desired outcomes

___If the program achieved its desired outcomes, consider how you can expand and strengthen the areas that worked well, and make the program more efficient and effective

___If the program failed to achieve the desired outcomes, work backwards – “but why” – to find where the problems lie

___If the program failed to have the intended impact on the targeted behaviors and risk and protective factors, that could explain the fact that you didn’t meet your outcome goals

___If the program had the intended impact on the targeted behaviors and factors, but failed to achieve the desired outcomes, you may have targeted the wrong behaviors or factors

___If some or all of the process was different from what was planned, that might affect the program’s impact on the targeted factors

___If the planning process or reasoning was faulty, it could result in targeting the wrong factors, or in using ineffective methods that target the right factors

___Once you’ve determined where and how to make adjustments and done it, repeat the evaluation and refinement cycle for the life of the intervention

Esta sección se basa en el artículo: “Evaluar y Apoyar Iniciativas Comunitarias para la Salud y el Desarrollo” incluido en el Manual de Evaluación de Trabajo en Grupo de Stephen B. Fawcett, Adrienne Paine-Andrews, Vincent T. Francisco, Jerry Schultz, Kimber P. Richter, R.K. Lewis, E.L. Williams, K.J. Harris, Jannette Berkley, Jacqueline L. Fisher, y Christine M. López del Grupo de Trabajo en Promoción de la Salud y Desarrollo Comunitario, Universidad de Kansas, Lawrence, Kansas.

• ¿Porqué informar a las personas acerca de los hallazgos de la evaluación?

• ¿Cuáles son algunas audiencias clave para los datos?

• ¿Cómo comunicar los hallazgos de la comunicación?

Finalmente ha completado su evaluación, y tiene montones de datos acerca de su iniciativa, acerca de las percepciones y prácticas alrededor de temas de salud en su comunidad, acerca del riesgo y factores protectores sobre el tema en el que está trabajando.  Por supuesto que estará utilizando los resultados de la evaluación para guiar su coalición o grupo a la mejora de los esfuerzos, pero eso no significa que no hay personas afuera que puedan estar interesadas en saber qué resultados tuvo la evaluación.  Y probablemente, hay otros a los que debería considerar para compartir los hallazgos de su evaluación mientras intenta lograr su apoyo o crearles conciencia.

Cuando nos referimos a la comunicación de datos acerca de la iniciativa, estamos hablando de una manera de informar a varias audiencias (locales, estatales y nacionales) acerca de las metas y logros de la iniciativa.

¿Porqué informar a las personas acerca de los hallazgos de la evaluación?

Hay muchas razones por las cuales se debería intentar hacer que otros conozcan la iniciativa. Por un lado, se quiere que el público conozca que existe. Claro que eso suena elemental, pero es extremadamente importante. El nombre y el propósito de su coalición o iniciativa debe ser reconocido y comprendido por las personas de la comunidad, y se quiere que tengan una impresión positiva suya. Si no se trabaja para hacer su presencia conocida, el público solo oirá de ustedes por sus oponentes, o aún peor, no sabrá de ustedes del todo. Compartir los hallazgos de la evaluación no solo le hace saber a la gente que existen, sino que también les deja saber un poco acerca de lo que han estado haciendo para ayudar a la comunidad. Si los hallazgos son positivos, se muestra que han estado obteniendo resultados. Si no son muy alentadores, puede utilizar esta información como prueba de que su grupo o coalición necesita más apoyo público.

Además de simplemente hacer que la gente conozca que el grupo está en los alrededores, compartir los hallazgos de la evaluación también puede despertar el interés público. Se quiere provocar el pensamiento y la discusión de los asuntos en los que se está trabajando y llevar estos asuntos a la vanguardia de la atención pública.

Las razones principales para hacer de conocimiento público los hallazgos de la evaluación son la exposición del problema y la motivación al público para tomar acciones. El público podría estar renuente de escuchar su mensaje, sobre todo si su evaluación no es muy halagadora, pero crear  conciencia es clave para el cambio.  Por ejemplo, si trabaja con un programa de prevención de embarazos en adolescentes y la evaluación de comportamiento revela un porcentaje alarmante de adolescentes que participan en relaciones sexuales sin protección, el público debe saberlo.  Pueden no estar felices de escucharlo, pero probablemente encontrará más padres de familia anuentes a apoyar la iniciativa y a actuar como agentes de cambio después de haber escuchado las estadísticas.  Ayudar al público a entender los presentes asuntos y motivarlos a hablar al respecto de estos, hace que para ellos sea más difícil ignorarlos.

Existen tres niveles principales de público al que puede comunicar los hallazgos de la evaluación: local, regional/estatal y nacional.  Probablemente esté pensando, “¿nacional? ¿a quién le importa nuestra evaluación a nivel nacional?” Por favor no piense que hay que compartir los resultados con todos los grupos o niveles enlistados. Mientras que siempre se debe hablar de los resultados de la evaluación con la gente local, compartirlos con grupos a niveles superiores puede no ser necesario para iniciativas pequeñas o nuevas.  Piense en los grupos específicos de cada uno de los niveles a los cuales sería ventajoso mantener informados acerca del progreso de la iniciativa.  Veamos algunas de las razones para compartir los resultados de la evaluación con cada uno de los niveles.

Razones para informar al público a nivel local:

• Para ayudar a crear conciencia del problema.
• Para ayudar a atraer voluntarios, patrocinios, y recursos “en especies” de ciudadanos locales preocupados y agencias.
• Para promover el registro de esfuerzo de voluntarios y colaboradores.
• Para ayudar a ejercer presión sobre ordenanzas locales o cambios de programas que tratan temas de preocupación.
• Para proveer fiabilidad a la comunidad, fiduciarios y patrocinadores.

Razones para informar al público a nivel estatal:

• Para crear un “nombre” para la iniciativa en el estado, lo que la hace más competitiva al buscar recursos estatales.
• Para ayudar a establecer una red estatal de personas y agencias con metas similares.
• Para ayudar a ejercer presión sobre cambios legislativos que tratan temas de preocupación / importancia.
• Para ayudar a la iniciativa a ganar reconocimientos y recursos del estado y la región.

Razones para informar al público a nivel nacional:

• Para crear un “nombre” para la iniciativa a nivel nacional, lo que la hace más competitiva al buscar recursos del gobierno estatal o federal o de fundaciones privadas grandes.
• Para ayudar a intervenir en redes nacionales de personas y agencias con metas similares y amplia experiencia.
• Para ayudar a la iniciativa a ganar reconocimiento y recursos nacionales.
• Para motivar a las alianzas comunitarias a trabajar en el problema o asunto.

Tres recomendaciones para asegurarse de que sus hallazgos no sean ignorados:

• ¡De la información a la gente adecuada!
• Aborde los asuntos que esas personas piensen son importantes.
• Asegúrese de que la información se presente a tiempo para ser útil y de manera que se entienda claramente.

¿Cuáles son algunas audiencias clave para los datos?

¿Con quién compartir los datos?  Para empezar, se debe mantener al día a todos los partidarios. El personal de trabajo, voluntarios, partidarios de la comunidad y patrocinadores son todos grupos de apoyo que se deben mantener actualizados de los esfuerzos y éxitos del grupo. Conservar el problema vigente les ayuda a mantenerse en contacto con su propósito. También profundiza su comprensión y compromiso, y les permite saber acerca de cualquier necesidad organizacional específica que ellos puedan solventar.

También deben compartir los hallazgos con su población objetivo, las personas a las que están intentando ayudar.  Por ejemplo, si trabaja con un programa de prevención de enfermedad cardiaca y su evaluación muestra un incremento del riesgo en miembros de un grupo étnico en particular, se debería hacer saber a los miembros de ese grupo de manera que se provoque interés y se les haga más receptivos del trabajo que se estará haciendo en la comunidad.

Su grupo meta (objetivo) necesita saber qué van a cambiar para mejorar su salud y cómo lo van a hacer.

Finalmente, el público general debe mantenerse informado, incluyendo a aquellas personas que no caigan dentro de un grupo afectado o interesado en el foco de la coalición.  El apoyo del público general es muy importante.

Entonces, ¿cuáles son algunos de los grupos clave a nivel local, estatal/regional y nacional del público con el que se quiere compartir los hallazgos?

Local:

• Organizaciones cívicas
• Grupos de negocio
• Organizaciones de base local
• Juntas escolares
• Grupos de padres de familia y maestros
• Organizaciones eclesiásticas
• Prensa local (editores, juntas editoriales, o periodistas que normalmente cubren la iniciativa de su grupo)
• Organizaciones de salud
• Oficiales gubernamentales elegidos y nombrados
• Otorgadores de becas/subvenciones

Estatales/Regionales:

• Conferencias profesionales estatales y regionales
• Talleres regionales de entrenamiento profesional
• Organizaciones de base local y organizaciones de apoyo
• Conferencias eclesiásticas
• Otorgadores de becas/subvenciones

Nacionales:

• Conferencias profesionales
• Talleres de entrenamiento profesional
• Organizaciones de base local y organizaciones de apoyo
• Conferencias eclesiásticas
• Otorgadores de becas/subvenciones

¿Qué pasa con las audiencias difíciles?

No todo el mundo estará entusiasmado con lo que tengan que decir, especialmente si sus hallazgos son críticos de su grupo. Aún las audiencias receptivas pueden ser escépticas o lentas en comprender lo que ustedes tengan que decirles.  Aquí hay algunas sugerencias para lidiar con audiencias difíciles.

• Anticipe sus preguntas, preocupaciones y objeciones. Intente pensar a futuro lo que a la audiencia en particular no le agrada respecto a lo que tengan que decir, y busque respuestas calmadas, mesuradas, lógicas y profundas para darles.  Si es posible, siéntese con alguien que conozca a la audiencia bien para obtener retroalimentación acerca de las preguntas o consultas que puedan hacer y de cómo podrían reaccionar con las respuestas.  Esto le evitará ponerse nervioso o defensivo durante la presentación.
• Ponga a una figura primaria de la iniciativa a presentar los hallazgos. Un director o miembro superior del equipo puede dar los datos con gran cantidad de autoridad (¡aún si la autoridad está principalmente en las mentes de la audiencia!) que alguien en la parte baja del orden jerárquico de la iniciativa.
• Haga que alguien más muestre la información. Si topa con una audiencia particularmente hostil o poco informada, o una audiencia a la que normalmente no tiene acceso, podría solicitar a alguien externo al grupo o iniciativa que transmita los hallazgos de la información. -- un miembro de ese grupo, por ejemplo.
• Refuerce los datos repetidamente. Si lo que está diciendo a la audiencia parece no estar haciendo mella, ¡repítalo!  Escucharlo más de una vez puede ser lo único que hace falta para que ellos entiendan la información que se les está dando.
• Mantenga la tranquilidad. En todo momento, sin importar cuán hostil o irritable o sin idea parezca la audiencia, haga su mejor esfuerzo por mantenerse calmado, profesional y cordial.

Presentación de resultados de evaluación a la prensa:

Al hablar con la prensa de los hallazgos de la evaluación, tenga en mente que ellos tienen un trabajo por hacer, y ese trabajo es tomar la información que les da y presentarla al público de manera clara, interesante y concisa. Algunas de las guías para trabajar con audiencias difíciles aplican para la prensa, pero no cometan el error de asumir que la prensa va a ser hostil. Pueden hacer preguntas difíciles, pero ese es su trabajo.

• Sea honesto con los reporteros. Es esencial para todo vocero de su coalición o grupo tener credibilidad con la prensa. Los líderes comunitarios u organizadores que crean una reputación entre los periodistas de ser poco confiables tendrán dificultad para que sus eventos sean bien cubiertos y pueden enfrentar hostilidad por parte de los periodistas.  Responda las preguntas con sencillez y candidez, y si no puede simplemente contestar (o si, por alguna razón no está en capacidad de responder del todo), explique por qué no puede. Puede no agradarles la respuesta, pero la mayoría de reporteros apreciará su honestidad.
• Escriba su propio comunicado de prensa. Con frecuencia en la prensa ocurren errores por que el periodista no escribió una cita correctamente, tuvo que escribir la cita de memoria o porque no comprendió totalmente lo que estaba escribiendo. Una manera de aclarar malentendidos y ayudar a la prensa a prepararse para su presentación, es darle el comunicado de prensa por adelantado. Este debe de ser claro y breve, tener la información más importante al principio e incluir información del contacto (nombre, dirección, número de teléfono y fax, y correo electrónico de alguna persona con la que el periodista se pueda poner en contacto en caso de tener preguntas).
• Entrene a sus periodistas. Es probable que los resultados de su evaluación incluyan un montón de información estadística complicada. Para los periodistas esto puede dificultar obtener una buena comprensión conceptual, pero la prensa generalmente se compone de gente inteligente y curiosa, y probablemente apreciarán la ayuda para entender o interpretar este tipo de datos. Consideren hacer una sesión de entrenamiento para la prensa en sus propias instalaciones. Estos talleres deberán ser objetivos y lo suficientemente amplios como para que los periodistas utilicen la información adquirida para trabajar con otros grupos, no solo el suyo. Considere realizar un taller informativo o presentación cara a cara para explicar conceptos como:
  • ¿Qué es una calificación percentil?
  • ¿Cuáles son algunos métodos comunes para recolectar datos de evaluación?
  • ¿Qué son indicadores de nivel comunitario?

¿Cómo comunicar los hallazgos de la evaluación?

Desarrolle un formato de presentación general que pueda alargarse o acortarse según la cantidad de tiempo disponible, incluyendo descripciones convincentes y visuales de:

• El (los) asunto (s) de preocupación
• Las metas, estrategias y métodos para alcanzar esas metas
• Datos de actividades (por ejemplo, servicios provistos)
• Datos de logros (por ejemplo cambios comunitarios)
• Datos de resultados (por ejemplo, medidas de comportamiento e indicadores de nivel comunitario)

Mantenga sus apoyos visuales simples para disminuir los problemas para interpretar los datos.  Su primera y última ayuda visual debería contener el mensaje y hallazgos primarios, lo que sea que usted quiera que su audiencia recuerde después.

Identifique diferentes vías para dar a conocer los resultados de la evaluación. Algunas de estas pueden incluir:

• Boca a boca
• Presentaciones
• Periódicos y boletines
• Radio (tanto servicios de anuncio público como noticias locales o programas de llamadas)
• Cobertura televisiva
• Revistas profesionales

¿Por qué utilizar diferentes formatos para presentar la evaluación de los resultados?

Existen muchos tipos diferentes de reportes que son apropiados para diferentes tipos de audiencias. Algunos grupos pueden no tener el tiempo o interés en los detalles estadísticos, pero aún así les gustaría conocer lo esencial de su reporte. Otros pueden tener el tiempo y el interés, pero pueden no tener el conocimiento para interpretar datos complicados. Algunos grupos, aquellos en los cuales se está intentando generar interés o los que solo tienen un interés pasajero, no manejarán bien un reporte técnico pesado y aburrido. Los agentes patrocinadores, otorgadores de becas  o subvenciones, juntas de consejo, y equipo del programa probablemente desean información detallada y explícita. Siempre debe considerar el tipo de grupo al que le presenta la información y adaptar la presentación para esa audiencia.

Aquí tiene una idea de qué tipo de reportes funcionan para qué tipos de audiencias:

• Reportes técnicos: Este es un reporte detallado acerca de un solo problema, tal como un estudio pequeño o uno o dos grupos de muestra.  Puede presentarse en una junta de miembros o como parte de un reporte más grande.
  • Es mejor para: Agencias de patrocinio, administradores de programa, y comités asesores
• Resumen ejecutivo: Unas cuantas páginas, usualmente al principio o al final de un reporte más grande, el cual delinea los principales hallazgos del estudio y recomendaciones.
  • Es mejor para: Agencias de patrocinio, administradores de programa, miembros de juntas y fideicomisos, comités asesores, cuerpos políticos, proveedores de servicio del programa (técnicos, profesores, etc.)
• Documento técnico profesional: Artículo detallado que resume la información para una audiencia científica o técnica. Usualmente contiene información acerca de lo que se hace, cómo se hace, qué funcionó y qué no y por qué.
  • Es mejor para: Administradores de programa, comités asesores, organizaciones interesadas en el contenido del programa
• Artículo popular: Artículo escrito teniendo en cuenta a la audiencia meta del medio. Algunas revistas y periódicos tienen poblaciones meta específicas. Normalmente contiene más información que un comunicado de prensa, pero se enfoca en uno o dos puntos rápidos.
  • Es mejor para: Administradores de programa, miembros de juntas y fideicomisos, comités asesores, cuerpos políticos, grupos comunitarios, clientes actuales, clientes potenciales, proveedores de servicio del programa, organizaciones interesadas en el contenido del programa
• Comunicado de prensa y/o conferencia de prensa: Reunión con los medios con el propósito de publicar información específica.
  • Es mejor para: Administradores de programa, medios, distribución amplia de información simplificada
• Reunión pública: Reunión abierta al público en general donde se distribuyen los datos de los hallazgos de manera clara, simple y usualmente con tiempo para la discusión abierta.
  • Es mejor para: Grupos comunitarios, clientes actuales, medios
• Aparición en medios: Se diferencia de un comunicado de prensa en que incorpora algún tipo de evento montado, por ejemplo, un autor local haciendo una lectura pública para crear conciencia acerca de un estudio de alfabetismo en adultos.
  • Es mejor para: Clientes actuales, medios
• Taller de equipo: Una presentación de trabajo más interactiva para los miembros de su grupo o coalición y voluntarios.
  • Es mejor para: Administradores del programa, miembros del programa, proveedores de servicio del programa
• Panfletos/carteles: Materiales impresos breves de palabras sencillas que pueden ser distribuidos o enviados por correo a varios puntos en la comunidad. Deben enfocarse en un punto rápido.
  • Es mejor para: Clientes potenciales
• Memorando: Carta corta de circulación interna entre los miembros del programa.
  • Es mejor para: Administradores del programa, miembros del programa, proveedores de servicio del programa
• Discusión personal: Discusiones cara a cara sobre los hallazgos de la evaluación con un individuo o grupo pequeño.
  • Es mejor para: Agencias patrocinadoras, administradores del programa, miembros del programa, proveedores de servicio del programa

Posibles metas de su presentación:

Establecer las metas de la presentación conlleva a preguntarse por adelantado lo que se quiere del grupo al que se le va a presentar la información y cuál es la mejor manera de presentar los hallazgos de la evaluación para alcanzar esos resultados.

 Aquí hay algunas cosas que puede esperar obtener de su audiencia:

• Dinero y recursos en especie para la iniciativa
• Voluntarios para las actividades del proyecto
• Influencia para cambiar un programa, política o práctica
• Consejos para hacer que la iniciativa sea más receptiva
• Superar la resistencia a la iniciativa
• Ideas sobre cómo la iniciativa puede hacerse más efectiva

Pasos para desarollar su presentación:

• Comprender a los usuarios primarios y audiencias. ¿Qué información necesitan saber y por qué la necesitan? Intente comprender el punto de vista de la audiencia, y asegúrese de obtener el reporte a tiempo para que les sea útil.
• Revisar los resultados de la evaluación con el personal de trabajo antes de escribir el reporte de la evaluación. Puede distribuir un memorando mencionando los resultados y luego llevar a cabo una reunión de miembros para hablar al respecto. Esto le da ocasión de obtener los aportes del personal sobre el significado de los hallazgos, así como la oportunidad de hablar acerca de cualquier dato ambiguo generado.
• Informar a las figuras políticas importantes antes de entregar el reporte al público. Esto es especialmente importante si los hallazgos de su evaluación dejan claro que habrá necesidad de cambios en las políticas. Además, los políticos u oficiales pueden querer dar una respuesta pública sobre los hallazgos. Por ejemplo, si su evaluación demuestra que su programa de recreación para familias de niños con problemas de desarrollo es altamente efectivo pero poco patrocinado, las agencias de servicios humanos del área pueden querer informar a las personas que planean incrementar el patrocinio para el proyecto en el próximo presupuesto anual.
• El reporte final puede ser un documento corto que resuma los hallazgos de la evaluación con un apéndice técnico para los interesados. No se preocupe por si suena demasiado elemental, quien esté interesado en información más detallada la puede encontrar en el apéndice.
• Si decide hacer una presentación oral, debe hacer unos cuantos cuadros y tablas (de seis a diez son suficientes) que ilustren los hallazgos más importantes. Haga una versión (impresa en un afiche o una proyección) para mostrar durante la presentación así como copias que su audiencia se pueda dejar después de la presentación. También puede preparar una hoja de resumen de los resultados para que la audiencia se la lleve a casa.
• Su reporte debe empezar con las razones por las que se hizo la evaluación, cuáles preguntas se hicieron, y porqué se escogieron esas preguntas. Explique lo que su grupo o coalición quiso aprender de la evaluación y cuáles métodos se utilizaron para conducir la evaluación.
• Dependiendo de la audiencia, puede querer simplemente destacar los resultados o puede entrar en más detalle acerca de lo encontrado.  Asegúrese de explicar qué tipo de implicaciones tienen los resultados para su grupo o iniciativa.  Si los hallazgos de la evaluación lo llevaron a alguna conclusión en particular acerca de lo que su grupo debe hacer en el futuro, hable con ellos.

Comprende algunas de las razones por las cuales debe intentar dar conocer su iniciativa a otros:

___Para que el público conozca que existen

___Para que el público conozca lo que han estado haciendo para ayudar a su comunidad

___Para impulsar el interés público

___Para exponer el problema y motivar al público a tomar acciones

Comprende las siguientes razones para informar al público a nivel local:

___Para ayudar a crear conciencia acerca del problema

___Para ayudar a atraer voluntarios, patrocinadores, y recursos en especies de ciudadanos y agencias locales preocupadas

___Para promover el registro de esfuerzos de voluntarios y colaboradores

___Para ayudar a hacer presión sobre reglamentos locales o cambios de programas que tratan asuntos de preocupación o interés

___Para demostrar responsabilidad a la comunidad, fiduciarios y patrocinadores

Comprende las siguientes razones para informar al público a nivel estatal:

___Para crear un nombre para la iniciativa en el estado, lo que la hace más competitiva al buscar recursos estatales

___Para ayudar a establecer una red estatal de personas y agencias con metas similares

___Para ayudar a presionar cambios legislativos que tratan asuntos de preocupación o interés

___Para ayudar a la iniciativa a cosechar reconocimiento y recursos del estado y la región

Comprende las siguientes razones para informar al público a nivel nacional:

___Para crear un nombre para la iniciativa a nivel nacional, lo que la hace más competitiva al buscar recursos estatales o federales o de fundaciones privadas grandes

___Para ayudar a intervenir en redes nacionales de personas y agencias con metas similares y amplia experiencia

___Para ayudar a la iniciativa a cosechar reconocimiento y recursos de todo el país

___Para motivar alianzas comunitarias a trabajar en el problema o asunto

Comprende las tres recomendaciones para asegurarse de que no ignoren los hallazgos:

___Dar la información a la gente adecuada

___Abordar los asuntos que esas personas piensen son importantes

___Asegurarse de que la información se presente a tiempo para que sea útil y de manera que se entienda claramente

¿Ha compartido datos con las siguientes audiencias clave (si es apropiado)?

 ___miembros

___voluntarios

___partidarios en la comunidad

___patrocinadores

___su población meta

___el público en general

Ha compartido los datos con las siguientes audiencias locales (si es apropiado): 

___organizaciones cívicas

___grupos de negocios

___organizaciones de base local

___juntas escolares

___grupos de padres de familia y profesores

___organizaciones eclesiásticas

___prensa local (editores, juntas editoriales, o periodistas que normalmente cubren la iniciativa de su grupo)

___organizaciones de salud

___oficiales gubernamentales elegidos y nombrados

___otorgadores de becas o subvenciones

Ha compartido los datos con las siguientes audiencias estatales / regionales (si es apropiado): 

___conferencias profesionales estatales y regionales

___talleres regionales de entrenamiento profesional

___organizaciones de base local y organizaciones de apoyo

___conferencias eclesiásticas

___otorgadores de becas

Ha compartido los datos con las siguientes audiencias nacionales (si es apropiado): 

___conferencias profesionales

___talleres de entrenamiento profesional

___organizaciones de base local y organizaciones de apoyo

___conferencias eclesiásticas

___otorgadores de becas

Si está lidiando con audiencias difíciles:

___Ha anticipado sus preguntas, preocupaciones y objeciones. Trate de anticipar lo que a esta audiencia en particular no le agrada respecto a lo que tengan que decir, y busque respuestas calmadas, mesuradas, lógicas y profundas para darles.  Si es posible, siéntense con alguien que conoce a la audiencia bien para obtener retroalimentación acerca de las preguntas o consultas que puedan hacer y de cómo podrían reaccionar con las respuestas.  Esto le evitará ponerse nervioso o defensivo durante la presentación.

___Si es apropiado, solicite a una figura primaria de la iniciativa presentar los hallazgos

___Solicite a otra persona presentar la información

___Refuerce los datos repetidamente

___Mantenga la calma

Al hablar con la prensa acerca de los hallazgos de su información, ha hecho lo siguiente:

___Ser honesto con los periodistas

___Escribir sus propios comunicados de prensa

___Entrenar a sus periodistas

Al desarrollar un formato general de presentación, ha incluido lo siguiente:

___Los asuntos de preocupación o interés

___Las metas y estrategias de la iniciativa y los métodos para alcanzar esas metas

___Datos de las actividades (por ejemplo servicios provistos)

___Datos de los logros (por ejemplo cambios comunitarios)

___Datos de los resultados (por ejemplo medidas de comportamiento e indicadores de nivel comunitario)

___Ha mantenido las ayudas visuales simples para evitar los problemas de interpretación de datos

Ha identificado diferentes vías para dar a conocer los resultados de la evaluación, incluyendo:

___boca a boca

___presentaciones

___periódicos y boletines

___radio (tanto servicios públicos de anuncios como noticias locales o programas de llamadas)

___cobertura televisiva

___revistas profesionales

Comprende los diferentes formatos para presentar los resultados de evaluación y cuándo puede ser apropiado utilizarlos:

___Reportes técnicos

___Resumen ejecutivo

___Documento técnico profesional

___Artículo profesional

___Comunicado de prensa y/o conferencia de prensa

___Reunión pública

___Aparición en los medios

___Talleres para el personal de trabajo

___Boletines / afiches

___Memorando

___Discusión personal

Ha considerado las siguientes posibles metas para su presentación:

___Dinero y recursos en especie para la iniciativa

___Voluntarios para las actividades del proyecto

___Influencia para cambiar un programa, política o práctica

___Contribuciones sobre cómo hacer la iniciativa más receptiva

___Superar la resistencia a la iniciativa

___Ideas sobre como la iniciativa puede hacerse más efectiva

Ha seguido los siguientes pasos para desarrollar su presentación:

___Comprende a los usuarios primarios y a las audiencias.

___Ha revisado los resultados de la evaluación con el equipo del programa antes de escribir el reporte de la evaluación.

___Ha tomado tiempo para informar a las figuras políticas importantes antes de mostrar el reporte al público.

___Conoce que el reporte final puede ser un pequeño documento que resuma los hallazgos de la evaluación con un apéndice técnico para los interesados.

___Si ha decidido hacer una presentación oral, hizo una pequeña cantidad de cuadros y tablas que ilustran los hallazgos más importantes.

___Su reporte inicia con las razones por las que se hizo la evaluación, cuáles preguntas se hicieron y por qué se escogieron esas preguntas.

___Ha explicado lo que su grupo o coalición quiso aprender de la evaluación y cuáles métodos se utilizaron para conducir la evaluación.

___Ha explicado qué tipo de implicaciones tienen los resultados en su grupo o iniciativa.

Herramienta #1: Esquema de Reporte de Evaluación

La portada debe incluir:

• Título del programa y ubicación
• Nombre(s) del (los) evaluador (es)
• Período cubierto en el reporte
• Fecha del reporte

Diseñe la portada ordenadamente y de manera que se vea agradable, la portada es lo primero que ve la audiencia y da una impresión importante.

Sección I -- Resumen (o Resumen Ejecutivo)

Este presenta una visión general breve (dos o tres páginas) de los principales hallazgos y recomendaciones de la evaluación. Algunas personas pueden estar muy ocupadas para leer más allá del resumen, así que asegúrese que es lo más completo y claro posible.

El resumen debe incluir:

• ¿Qué fue evaluado?
• ¿Por qué se hizo la evaluación?
• ¿Cuáles son los principales hallazgos y recomendaciones?

Y, si el espacio lo permite:

• ¿A cuál audiencia está dirigido el reporte?
• ¿Cuáles decisiones, si es que las hay, se han tomado o tienen que tomarse basadas en los resultados de la evaluación?
• ¿Para quiénes más podría ser de interés o importancia el reporte?

Sección II – Información sobre los antecedentes del programa

Es de suponer que la mayoría de la gente que leerá el reporte de su evaluación tendrá al menos alguna familiaridad con el programa, pero este no necesariamente es el caso.  Y aún las personas que tienen familiaridad con el programa pueden tener algunos conceptos equivocados, así que tómese su tiempo para dejar claras sus metas, plan estratégico, estructura organizacional y otros elementos esenciales del programa.

Típicamente, esta sección debe incluir:

• Orígenes del programa
• Metas del programa
• Clientes relacionados con el programa
• Estructura administrativa / organizacional
• Actividades y servicios del programa
• Materiales utilizados y producidos por el programa
• Equipo del programa

Sección III – Descripción de la Información

Esta parte explica por qué la evaluación fue hecha y lo que se espera aprender de ella. También debe explicar cualquier cosa que la evaluación no pretendía hacer.

Aquí hay algunas preguntas que se deben responder en esta sección:

• ¿Quién solicitó la evaluación?
• ¿Pretendía la evaluación satisfacer a alguna audiencia particular, y de ser así cuál (es)?
• ¿Hubo restricciones en la evaluación en términos de dinero, tiempo o recursos?
• ¿Se utilizó algún tipo de diseño de evaluación, y de ser así, cuál?
• ¿Cuál fue el tiempo de recolección de datos?
• Para cada medida, ¿qué tipo de datos se recolectaron?
• ¿Qué tipo de métodos se utilizaron para recolectar datos, y por qué se escogieron estos métodos en particular?
• ¿Cómo aseguraron los evaluadores la exactitud?

Sección IV – Resultados de la Evaluación

Esta parte explica en detalle cuáles son los hallazgos.

Esto puede incluir:

• Todos los datos recolectados, analizados, registrados y organizados de manera entendible (cuadros, tablas, gráficos, etc.)
• Selecciones de entrevistas
• Testimonios de clientes y participantes
• Resultados de cuestionarios
• Resultados de evaluaciones
• Evidencia anecdótica

Sección V – Discusión de Resultados

Aquí tendrá oportunidad de entrar en más detalle; el porqué de los resultados de la evaluación.

Esta parte debe responder las siguientes preguntas:

• ¿Qué tan seguro está de que su programa o iniciativa causó estos resultados?
• ¿Hubo factores que pudieran haber contribuido con los resultados?
• ¿En qué manera se diferencian los resultados de lo que hubieran sido si el programa no hubiese existido?
• ¿Cuáles sienten los evaluadores que son las fortalezas y debilidades del programa?

Sección VI -- Costos y Beneficios

Esta parte del reporte es opcional; si decide incluirla, le da una oportunidad de justificar el presupuesto y las decisiones financieras del programa.

Si lo incluye, le sugerimos que incluya:

• Costos asociados con la iniciativa (no solo costos financieros, pero costos en términos de recursos, energía, resultados y horas de trabajo de equipo / voluntarios)
• Métodos utilizados para determinar el presupuesto
• Beneficios del programa (tanto financieros como no financieros)

Sección VII -- Conclusiones

Después de escribir todo esto, puede ser tentador esbozar una conclusión rápida para el reporte, pero ¡evite esta tentación!

Esta es una parte muy importante pues es aquí donde se hacen las recomendaciones:

• ¿Cuáles son las conclusiones principales a las que se puede llegar como resultado de esta evaluación?
• ¿Siente que hay algo que no deba ser juzgado en este momento, y de ser así, qué?
• Basado en la evaluación de resultados, ¿qué recomendaciones pueden hacerse para el programa?
• Si la evaluación le da una idea acerca de lo que el futuro le depara a la iniciativa, ¿cuál sería?
• ¿Qué funcionó bien en la evaluación? ¿Qué no funcionó tan bien?
• ¿Qué recomendaciones tiene para quienes hagan futuras evaluaciones con el programa?

Una presentación en PowerPoint que resume los puntos principales de la sección.