LINGÜÍSTICA I MULTIMODALITATprosodia.upf.edu/activitats/wmultimodalitat/presentac...LINGÜÍSTICA...

LINGÜÍSTICA I MULTIMODALITAT

(La frontera verbal – no verbal)

Wokshop sobre multimodalitat

Universitat Pompeu Fabra, 14/10/2011

Lluís Payrató

Universitat de Barcelona

GrEPAD (Grup d’Estudis de Pragmàtica

i Anàlisi del Discurs) –

GEV (Grup d’Estudi de la Variació)

Lluís Payrató Universitat de Barcelona

CONCEPTES BÀSICS AL VOLTANT DE

LA MULTIMODALITAT

comunicació

cultura

llengua


MULTIMODALITAT - Aspectes terminològics

• Origen del terme

• Tradició d’estudis

– Pragmàtica i anàlisi del discurs

– Semiòtica i teoria de la comunicació

– Comunicació no verbal

– Retòrica


MULTIMODALITAT - Aspectes conceptuals

• Definicions estrictes

– Multimodalitat: diversitat de modes

– Multimedialitat: diversitat de mitjans

– Altres: modalitat (gramatical) ampliada

• Definicions àmplies

– Diversitat combinada o sincronitzada de codis /

modes / mitjans / fonts / canals comunicatius


MODES (NO) VERBALS I (NO) VOCALS

VERBAL I VOCAL

VERBAL I NO VOCAL

NO VERBAL I VOCAL

NO VERBAL I NO VOCAL

Prohibit

prohibir

Pfff! llenguatge humà

(per defecte)


(MULTI)MODALITAT VERBAL ESCRITA

- Conjunts de grafies/alfabets diferents: llatí /

àrab / ciríl.lic / hebreu / japonès...

- Cos de les lletres (mida). Caixa alta/baixa

- Tipus de lletra: cursiva, negreta, subratllat…

- Interlineat i marges

- Nombre de lletres per línia i de línies per pàgina

(p. ex. 2100 caràcters per pàgina, 30 x 70)

- Signes de puntuació


LLENGUATGE VERBAL ESCRIT - Exemples

No aparqueu. Avisem la grua

Prohibida la blasfèmia i la paraula barroera

Dilluns al matí tancat

El seu pes ideal és...

Vigileu amb el gos

(…)


MODALITAT GESTUAL

• Què vols que et digui?

• I jo què hi puc fer?

• No en sé res!

• De què em parles?

• Però on s’ha ficat, el gos?

• Però on dimonis eres?

• Però què hi fot, aquest tio a l’armari, Miquel?


AMBIGÜITAT MODALITAT GESTUAL

• Primer/Victòria

• U/Un

• A dalt

• Jo

• Puc?

• Atenció

• A prendre...


AMBIGÜITAT LLENGUATGE VERBAL

• Que fill de puta que ets!

• Magnífic!

• Que fill de puta que ets! Mira que treure un nou i

mig d’Àlgebra!

• Magnífic! Vés i que et moqui la iaia!


MODALITATS COMUNICATIVES BÀSIQUES

• Llenguatge verbal (“verbalitat”)

• Prosòdia (lingüística) i paralingüística

(vocal)

• Gestualitat (cinèsica)


LLENGUATGE VERBAL VOCAL

SO

Representació fonètica

Sistema morfològic

Cadena sintàctica

Estructura textual

Intenció pragmàtica

SIGNIFICAT


PROSÒDIA (LINGÜÍSTICA) I

PARALINGÜÍSTICA (VOCAL)

• ASPECTES

PROSÒDICS O

SUPRASEGMENTALS

– To/entonació

– Quantitat

– Accent

• ASPECTES PARA-

LINGÜÍSTICS

VOCALS

– Ritme d’elocució

– Intensitat

– Vocalitzacions


GESTUALITAT

• Gesticulació manual

• Gesticulació facial:

– Expressió facial d’emocions

– Mirada / contacte ocular

– Moviments de les celles

• Moviments del cap

• Postures i maneres

• Proxèmica

• Altres mitjans/canals: - tacte - olfacte


CATEGORIES GESTUALS

• Ekman & Friesen (1969):

- Emblemes - Adaptadors - Il.lustradors

- Reguladors - Manifestacions d’estat d’ànim

• McNeill (1992, 2000):

- Signes manuals (llengües de signes) - Emblemes

- Pantomimes - Gestos semblants al llenguatge

- Gesticulació (gestos coverbals)

• Altres categories / Altres classificacions:

– Gestos emblemàtics (díctics, icònics, simbòlics…)

– Gestos coverbals (icònics o metafòrics)

– Gestos interactius (reguladors)

– Manifestacions d’estat d’ànim / emocions


EXPRESSIÓ FACIAL DE LES EMOCIONS

• Emocions fonamentals (universals?)

- Alegria - Repugnància/fàstic

- Tristesa - Interès

- Ràbia/odi - Sorpresa

- Temor/por - Neutra (?)

• “Cares parlants” (talking faces)


LÍNIES D’INVESTIGACIÓ ACTUAL

- Enfocaments / marcs teòrics

• psicolingüístic: producció - recepció

• cognitiu: capacitats mentals

• pragmàtic: interacció / ús comunicatiu

• antropològic: diferències culturals

• computacional: simulació/automatització


METODOLOGIA I TÈCNIQUES

• Bases de dades / arxius / corpus multimodals

• Tècniques de gravació

• Tècniques de transcripció

• Tècniques de notació

• Programes i sistemes d’anàlisi


ANÀLISI DE LES DADES (I)

(1) Fenòmens de confluència o reforç

vs. fenòmens de contradicció o ambigüitat

(2) Rellevància / predomini del llenguatge verbal vs.

rellevància / predomini del llenguatge gestual

(3) Rellevància i context (principis de comunicabili-tat/informativitat / pertinència contextualitzada)


ANÀLISI DE LES DADES (II)

(4) Grau de variació i interpretació contextualitzada:

– Variació històrica (/ generacional)

– Variació geogràfica (/ cultural - regional)

– Variació sociocultural (/ grau de formació)

– Variació situacional (grau de formalitat, (a)simetries

jeràrquiques, tipologia textual...)

– Variació de gènere (models masculí- femení)

– Variació individual (estil expressiu, argumentatiu,

persuasiu... / idiosincràtic)


A MODE DE RESUM - Línies de progrés

• Objectius

– Producció/interpretació

– Interacció social

– Simulació (sistemes d’informació, aplicacions pedagògiques i

terapèutiques)

• Teories - hipòtesis

• Metodologia

– Coordinació de la investigació

– Corpus comuns de fàcil accés

– Sistemes de transcripció/anotació estàndar

– Programes d’anàlisi d’ús menys complex


A TALL D’EXEMPLE - El projecte PRAGMAESTIL

• Objetius

– Corpus anteriors (COC, COR) → imatge

• Participants

– Plurilingües

• Metodologia (+ anàlisi contrastiva)

• Trets bàsics del corpus (CAP):

– Multitextual – Multilingüe – Multimodal


PRAGMAESTIL / CAP - Metodologia

• Informants

• Entrevistes

• Tipus de text

• Informacions complementàries

• Gravació

• Transcripció

• Anàlisi de les dades


PROTOCOL

Frog, where are you?narratiu

Silvestre

instructiu Mapa d’un poble inventat

argumentatiu A favor: viure al camp / ciutat

descriptiu Casa del joc SIMS

EX

PE

RIM

EN

TA

L

expositiu Immigració: com s’està vivint

argumentatiu Recomana pel·lícula o llibre

instructiu D’econòmiques a casa teva

descriptiu Com és casa teva

expositiu Què fas els caps de setmana

DIS

CU

RS D

IRIG

IT

EX

PE

RIE

NC

IAL

narratiu Situació de perill, risc, por…

CONVERSA

Passaport de llengües

L1

EN

TR

EV

IST

A

PORTAFOLI EUROPEU

DE LES LLENGÜES Biografia lingüística


Silvestre




EX

PE

RIM

EN

TA

L






DIS

CU

RS D

IRIG

IT

EX

PE

RIE

NC

IAL


L2

EN

TR

EV

IST

A

CONVERSA


Silvestre




EX

PE

RIM

EN

TA

L






DIS

CU

RS D

IRIG

IT

EX

PE

RIE

NC

IAL


CONVERSA

L3

EN

TR

EV

IST

A

IDEOLOGIES LINGÜÍSTIQUES


Pragmaestil (corpus CAP)


Bibliografia (treballs esmentats i d’introducció o consulta)

Alturo, N. (2004): ―Hipòtesis sobre la representació multimodal (verbal i gestual) dels esdeveniments‖, en Payrató et alii (ed.),

págs. 141-153.

Alturo, N.; L. Payrató (2002): ―La representación discursiva de las eventualidades. Gesticulación y habla‖. Comunicación al

Congreso de la Asociación Española de Lingüística Cognitiva, Valencia.

— (2003): ―The cognitive processing of situations: evidence from multi-modal discourse‖. Comunicación al 8th International

Cognitive Linguistics Conference, Logroño.

Arndt, H.; R.W. Janney (1987): InterGrammar. Toward an integrative model of verbal, prosodic and kinesic choices in speech.

Berlín, Mouton de Gruyter.

Beattie, G.W. (1981): «Language and nonverbal communication –the essential synthesis?», Linguistics, 19, págs. 1165-1183.

Bolinger, D. (1983): «Intonation and Gesture», American Speech, 58, págs. 156-174.

Cassell, J. et alii (ed.) (2000): Embodied conversational characters. Cambridge, MIT Press.

Cavé, C.; I. Guaïtella; S. Santi (ed.) (2001): Oralité et gestualité. Interactions et comportements multimodaux dans la

communication. París, L‘Harmattan.

Contento, S. (1998): «Forme et fonction du geste pour la cohésion discursive», en Santi et alii (ed.), págs. 589-594.

Ekman, P.; W.V. Friesen (1969): «The repertoire of non verbal behavior: categories, origins, usage and coding», Semiotica, 1,

págs. 49-97.

Ekman, P.; E.L. Rosenberg ( ed.) (1998): What the face reveals. Oxford, Oxford University Press.

Emmorey, K.; J.S. Reilly (ed.) (1995): Language, gesture, and space. Hillsdale, N.J., Erlbaum.

Haviland, J. (2000): «Pointing, gesture spaces, and mental maps», en McNeill (ed.), págs. 13-46.

Heinemann, P. (1980): Grundriss einer Pädagogik der nonverbalen Kommunikation. Henn, Kastellaun. Trad. cast.: Pedagogía

de la comunicación no verbal. Barcelona, Herder, 1980.

Jarvella, R.J.; W. Klein (ed.) (1982): Speech, Place, and Action. Studies in Deixis and Related Topics. Chichester, J. Wilet.

Kendon, A. (1972): «Some Relationships between Body Motion and Speech: An Analysis of an Example», en Siegman, A. W.;

B. Pope (ed.) (1972): Studies in Dyadic Communication. Nueva York, Pergamon, págs. 177-210.

— (1995). «Gestures as illocutionary and discourse markers in Southern Italian conversation», Journal of

Pragmatics, 23, págs. 247-279.

— (1996) «An agenda for gestures studies», The Semiotic Review of Books, 7, págs. 8-12.


<http://www.univie.ac.at/Wissenschaftstheorie/srb/srb/gesture.html>

— (1997). «Gesture», Annu. Rev. Anthropol., 26, págs. 109-128.

— (2000): «Language and gesture. Unity or duality?», en McNeill (ed.) (2000), págs. 47-63.

— (2004): Gesture: Visible action as utterance. Cambridge, Cambridge University Press.

Kress, G.; T. van Leeuwen (2001): Multimodal discourse: The modes and media of contemporary communication. Londres,

Arnold.

LeVine, P.; R. Scollon (ed.) (2004): Discourse and technology. Multimodal discourse analysis. Washington, Georgetown

University Press.

Levinson, S.C. (1992): «Primer for the field investigation of spatial description and conception», Pragmatics, 2, págs. 5-47.

Lyons, J. (1972): "Human language", en R.A. Hinde (ed.): Non-verbal communication. Cambridge, Cambridge University

Press, págs. 49-85.

Massaro, D.W. (2001): «Perceiving the many modalities of spoken language: Theories and data», en Cavé et alii (ed.), págs.

34-37.

McClave, E.Z. (2000): «Linguistic functions of head movements in the context of speech», Journal of Pragmatics, 32, págs.

855-878.

McCormack, W.C.; S.A. Wurm (ed.) (1976): Language and Man: Anthropological Issues. La Haya, Mouton.

McNeill, D. (1985): «So You Think Gestures Are Nonverbal?», Psychological Review, 92, págs. 350-371.

— (1992). Hand and Mind. What Gestures Reveal about Thought. Chicago, The University of Chicago Press.

— (ed.) (2000): Language and gesture. Cambridge, Cambridge University Press.

McNeill, D.; E.T. Levy (1993): «Cohesion and gesture», Discourse Processes, 16, págs. 363-386.

Mora, J.P. (2004): ―De gestos, signos y palabras‖, en Payrató et alii (ed.), págs. 47-55.

Payà, M. (2004): ―Interacció del grup tonal i el gest en el discurs: una aproximació d‘anàlisi multimodal‖, en Payrató et alii

(ed.), págs. 155-172.

Payrató, L. (1993): «A pragmatic view on autonomous gestures: A first repertoire of Catalan emblems», Journal of

Pragmatics, 20, págs. 193-216.

— (2001): «Methodological remarks on the study of emblems: The need for common elicitation procedures», en

Cavé et alii (ed.), págs. 262-265.

— (2002): «Variation, multimodal communication and multilingualism: The VARCOM project».

<http://www.utexas.edu/coc/cms/International_House_of_Gestures>

— (2003a): «What does ‗the same gesture‘ mean? Emblematic gestures from some cognitive-linguistic theories»,

en Rector, M., I. Poggi & N. Trigo (ed.): Gestures: Meaning and Use. Porto, Ediçoes Universidade Fernando Pessoa, págs.

73-81.


— (2003b): «Nonverbal communication», en Verschueren, J., J.-O. Östman, J. Blommaert & C. Bulcaen (ed.):

Handbook of pragmatics. Amsterdam, John Benjamins.

<http://www.benjamins.com>

— (2004): «Notes on pragmatic and social aspects of everyday gestures», en Posner, R. & C. Müller (ed.):

Semantics and Pragmatics of Everyday Gestures. Berlín, Weidler, págs. 103-113.

Payrató, Ll.; N. Alturo (2003): ―Poliphony as a multimodal phenomenon‖. Comunicación al 8th International Pragmatics

Association Conference, Toronto.

Payrató, Ll.; N. Alturo; M. Payà ( ed.) (2004): Les fronteres del llenguatge. Lingüística i comunicació no verbal. Barcelona,

Universitat de Barcelona – PPU.

Poggi, I. (2002): «Gesture, gaze and touch: Literal or indirect meaning». <http://semioticon.com/virtuals/talks>

— (2004): ―Lexicon and phonology of nonverbal communication systems‖, en Payrató et alii (ed.), págs. 247-285.

Poyatos, F. (1983): New Perspectives in Nonverbal Communication. Studies in Cultural Anthropology, Social Psychology,

Linguistics, Literature and Semiotics. Oxford, Pergamon.

— (1994): La comunicación no verbal. Madrid, Istmo.

— (2002): Nonverbal communication across disciplines. Amsterdam, John Benjamins.

— (2004): ―Nuevas perspectivas lingüísticas en comunicación no verbal‖, en Payrató et alii (ed.), págs. 57-91.

Riley, P. (1976): «Discourse and communicative functions of non-verbal communication». Mélanges Pédagogiques. Université

de Nancy II, CRAPEL, págs. 1-18.

Santi, S.; I. Guaïtella; C. Cavé; G. Konopczynski (ed.) (1998): Oralité et gestualité. París, L‘Harmattan.

Schegloff, E. (1984): «On some gestures‘ relation to talk», en Atkinson, J.M. & J. Heritage (ed.): Structures of Social Action.

Studies in Conversation Analysis. Cambridge, Cambridge University Press, págs. 266-298.

Scherer, K.R.; P. Ekman (ed.) (1982): Handbook of Methods in Nonverbal Behavior Research. Cambridge, Cambridge

University Press.

Slama-Cazacu, T. (1976): «Nonverbal components in message sequence: ‗Mixed syntax‘», en McCormack & Wurm (ed.),

págs. 217-227.

Torrego, E. (1971): «Lingüística y cinésica», Revista de Filología Española, LIV, págs. 145-159.

Trager, G.L. (1958): «Paralanguage: a first approximation». Studies in Linguistics, 13, págs. 1-12.

Ventola, E.; C. Charles; M. Kaltenbacher (ed.) (2004): Perspectives on multimodality. Amsterdam, John Benjamins.

LINGÜÍSTICA I MULTIMODALITATprosodia.upf.edu/activitats/wmultimodalitat/presentac...LINGÜÍSTICA...

Documents

Transcript of LINGÜÍSTICA I MULTIMODALITATprosodia.upf.edu/activitats/wmultimodalitat/presentac...LINGÜÍSTICA...