📚빅테크가 키우는 아이들 | 수전 린 외 | 상상스퀘어(2024)

지금으로부터 3년 전 즈음 세상을 떠들썩하게 했던 AI, 지금은 AI나 챗 GPT를 모르는 사람이 없을 정도로 상식이 되어 가고 있다. 심지어 교육현장에서 마저도 교사들은 AI를 어떻게 교육에 활용할지 가장 많은 관심사를 갖고 있는 현실이다.

과학 기술이 이처럼 발달하고 문명이 발달해 참 살기 편해진 요즘, 필자는 교육 현장에서 심리적, 정서적으로 아픈 아이들을 많이 만나며 늘 의문점을 갖게 된다. 도대체 기술의 속도와는 정 반대로 우리 아이들은 왜 점점 도태될까!!! 우리가 잃어가고 있는 것은 없는 것일까!! 그래서 이 책을 읽게 되었다.

 

내가 아이들과 일한 대부분의 경험은 신체적, 심리사회적 어려움에 대처할 수 있는 일반적인 신경발달을 보이는 아이들과 관련되어 있기 때문에 이어지는 내용에서 언급하는 어린이는 주로 장애가 없는 아이들이라는 점을 밝힌다. 당연히 기술과 상업주의가 신경발달 장애가 있는 아이들에게 미치는 영향 역시 다뤄져야 한다고 생각하나 그것은 이 책의 범위 밖에 있는 분야다. p. 28

 

1. 아이들에게 필요한 것은 무엇인가

"아기는 엄청난 수의 뉴런으로 구성된 뇌로 삶을 시작한다. 뉴런 중 일부는 서로 연결되어 있지만 많은 뉴런은 연결되어 있지 않다. 아이가 성장하고 발달하면서 경험하는 모든 일은 어떤 뉴런이 어떤 뉴런과 연결되는지에 영향을 미친다. 경험이 되풀이되면 뉴런 간의 연결은 강화되며, 그렇게 아이의 행동, 습관, 가치관, 앞으로 겪을 경험에 대한 반응이 형성된다. p. 34

 

어른들은 종종 좋은 의도로 아이가 태어났을 때 부터 아이의 삶에 상업주의를 노출하고, 심지어 상업주의에 몰입하도록 열심히 번 돈을 아낌없이 내놓기까지 한다. p. 35

 

방치되어 안전하지 않거나 끊임없이 자극받고 요구가 많은 환경에서 자라는 아이는 지지를 받는 '안아주기 환경에서 키울 수 있는 '참' 자아 또는 창의적인 자아 대신 '거짓'자아 또는 수동적인 자아를 키울 수 있다. p. 39

 

전자제품이 가진 마법은 광고에 큰 도움이 된다. 이런 장난감은 재미있어 보인다. 하지만 일부러 빨리 싫증이 나도록 고안된 제품이다. 보통 몇 년도 아니고 몇 주도 가질 않는다. 아이들의 관심을 끄는 게 목적이 아니라 판매를 목적으로 만들어졌기 때문이다. 장난감 제조 기업으로서는 관심이 떨어질수록 반긴다. 다른 버전 제품이 곧 시장에 나올 테니 말이다. 이런 장난감은 수익 창출에 매우 이롭다. 하지만 아이들에게도 그럴까? 그렇지 않다. p. 43

 

카슨은 아이들과 함께 자연 속에 있을 때, 가르치려 하거나 아이들의 경험에 영향을 주거나 개입하려 하지 말고 대신 조용히 스스로 경험할 수 있도록 내버려두라고 말한다. p. 51

 

2. 게임테크 시합에서는 누가 이기는가

언어 습득은 본래 사회적 관계로 이루어진다. 유아기부터 아이의 어휘력과 언어 유창성은 아이가 평소 언어에 얼마나 노출되는지와 관련이 있다. 하지만 아기가 언어를 배우려면 기계가 아니라 사람을 통해야 한다. p. 75

 

어린이들의 과도한 스크린 사용은 모든 연령대에서 해롭다는 연구 결과가 있기 때문에 특히 우려된다. 모든 연령대에 걸쳐 스크린 사용 시간은 소아 비만, 수면 장애, 우울증, 학습 능력 저하 등을 포함한 많은 문제와 연결된다. p. 77

 

미국소아과학회 The American Academy of Pediatrics에서는 연구 결과를 바탕으로 0~18개월은 영상 통화를 제외하고는 사용하지 않는 것이 좋으며, 18개월~2세는 어른이 옆에 있을 때만 최소로 사용하고 유치원생은 스크린으로 오락 영상물을 볼 경우 하루에 한 시간을 넘지 않도록 권장한다. p. 78

 

디지털 미디어에서 벗어나는 첫 번째 단계는 메타, 구글, 마이크로소프트 같은 기업이 막대한 이익을 창출하는 데 우리와 우리의 아이들이 어떤 역할을 하는지 이해하는 것이다.p. 79

 

기술 기업 제품을 사용할 때 우리 정보를 지속적으로 수집하는 과정을 '데이터 마이닝Data Mining'이라고 한다. 이 과정으로 기업은 우리가 어떻게 사는지를 실시간으로 감시하는데, 모든 정보가 그들에게 수집된다는 사실은 조지 오웰 George Orwell의 공상과학 소설을 연상시켜 오싹한 기분마저 든다. p. 81

 

알고리즘은 '우리를 아는 것'을 기반으로 진화한다. 우리가 더 오래 인터넷에 접속해 있을수록 우리의 더 많은 정보를 알고리즘에 제공하게 된다. 정보를 더 많이 제공할수록 알고리즘은 우리를 더 잘 알게 되며 더 효과적으로 사로 잡을 수 있게 된다. 어른도 온라인에서 빠져나오는게 힘든데, 스스로 절제하고 자제하는 게 더 어렵고 판단력도 미성숙한 아이는 어떨지 상상해 보라. p. 86

 

3. 기업은 브랜드를 어떻게 지속시키는가

영국 마케팅 기업인 비비드 브랜드vivid Brand에 따르면, 브랜드 부족은 "비슷한 소비가치와 사용을 통해 정서적으로 연결된 사람들의 모임으로, 제품과 서비스의 사회적 '연결 가치 Linking value'를 활용해 공동체를 형성하고 개성을 드러낸다.” 브랜드를 지향하는 부족 구성원들은 하나의 제품이나 제품군을 위해 공동으로 헌신하고, 이런 활동을 통해 자신들의 정체성을 이끌어내며, 정서적으로 서로 연결된다. p. 107

 

브랜드 충성도가 높은 고객은 여러 상품을 비교하며 구매를 결정하지 않는다. 이들은 쓰던 브랜드에서 품질이 나은 브랜드로 바꾸는 일이 없으며, 선호하는 브랜드에 가격 변동 같은 변화가 생겨도 잘 알아차리지 못한다.p. 112

 

브랜드 충성도가 높아질수록 고객은 제품 가격 변화에도 덜 민감해 진다. 또한 다른 기업이 후원하는 경쟁 판촉에 덜 주목하거나 영향을 덜 받는다. 브랜드 충성도는 기업이 큰 불평을 듣지 않고도 제품가 격을 올릴 수 있게 해 주고, 마케팅 비용도 절감할 수 있게 해 준다. 브랜드 충성도는 본래의 브랜드 구매 이유가 더 이상 유효하지 않아도, 다른 기업에서 생산하는 같은 종류의 제품을 사는 것이 더 이득이라고 해도, 기존 고객이 계속해서 해당 브랜드를 구매하는 것을 의미한 다. 브랜드 충성도는 기업에는 이익이 되지만 고객에게는 반드시 좋은 것은 아니다. p. 112

 

메타 연구원들이 발표한 다른 내용에는 심지어 "자살 생각을 한 적이 있다고 보고한 십대 중에서 영국인의 13퍼센트와 미국인의 6퍼센트는 인스타그램 때문에 자살하고 싶다고 했다."라고 적혀 있었다. p. 123

 

4. 검색!! 클릭! 결제! 반복!

아이들은 모든 기업 마케팅에 내재된 유혹적이고 파괴적인 물질주의적 메시지에 반복해서 노출되는데, 가장 두드러진 것은 우리가 구매하는 것들이 우리를 행복하게 해준다는 메시지다. 하지만 그렇지 않다. 적어도 계속해서 행복하게 해주지는 않는다. 행복은 늘 다음번 구매에 있다는 믿음과 실제로는 그렇지 않다는 사실은 제조자와 마케터에게 유용하게 작용한다. p. 130

 

적어도 광고가 아이들의 물질주의를 악화시킨다는 점을 시사하는 증거는 늘고 있다. 광고에 더 많이 노출된 아이들은 또래보다 더 물질 주의적이며, 과도한 물질주의가 초래하는 대량 소비는 여러 면에서 해롭다는 것을 보여주는 몇몇 연구가 있다. p. 136

 

5. 보상은 모두 좋은 것인가

20년 넘게 물질주의의 심리적 원인과 영향을 연구해온 심리학자 팀 카서 Tim Kasser는 부유한 국가 20개국에 만연한 가치를 조사했다. 그 결과, 한 국가의 시민이 재산, 부, 권력, 지위를 우선시할수록 어린이들은 텔레비전 광고의 표적이 되는 경우가 더 많으며, 해당 국가의 유니세프 아동 복지 수준은 더 낮은 것으로 나타났다. 반면에 사회 정의, 협력, 평등을 우선시하는 국가는 유니세프 평가에서 더 높은 점수를 받았다. 그런 국가에서 자라는 아이들은 텔레비전 광고에 훨씬 적게 노출되었다. p. 147

 

부와 소유를 축적하는 물질주의 목표에서 동기를 얻는 사람들은 권력, 지위, 명성, 성취, 인기 같은 가치에서도 동기를 얻을 가능성이 있다. 이들의 행동과 태도는 그들이 무엇을 하든 거기에서 얻는 본질적인 만족보다는 외부적인 보상에 더 많이 좌우될 수 있다. 한편 덜 물질주의적인 사람들은 평등주의, 창의성, 타인의 안녕과 같은 가치를 우선시하는 경향이 있다. 이러한 가치는 물질적인 보상을 가져다주지는 않지만, 그 자체로 만족스러운 행동과 태도를 보이도록 동기를 유발하는 편이다. p. 157

 

보상이 단기적으로는 행동에 동기를 부여할 수 있지만, 결국에는 어른이 되어서도 물질주의적 가치를 좇게 된다. 부모가 물질적 보상에 의존해서 키운 아이는 자의식을 자기가 소유한 물질과 연결하는 어른이 될 가능성이 더 크다.p. 159

 

어른들이 장기적, 지속적으로 아이들의 행동을 관리하거나 변화시키는 데 물질적 보상이나 처벌에 의존할 때는 문제가 생긴다. 물질적 보상은 어떤 행동을 영구적으로 바꾸거나 형성하는 데에는 특별히 효과적이지 않다. 꾸준히 물질로 보상하는 것은 궁극적으로 아이들의 건강한 발달을 저해할 수 있다고 많은 연구가 보여준다. p. 159

 

자기만의 방식으로 세상을 탐험할 기회가 있는 양육 환경에서 어린아이들은 자기 안에서 배우고, 능력을 얻고, 자율성을 키우려고 노력하고, 호기심을 충족하는 동기를 얻는다. p. 172

 

소매의 순환은 이렇게 이루어진다. 아이가 제품을 요구한다. 부모는 아이에게서 제품을 알게 된다. 가정은 이제 이 제품을 사용하기 시작한다. 아이는 자라서 자기가 꾸린 가정에서도 같은 제품을 사용하도록 제안한다. 자기 자식이 새로운 요구를 해오기 전까지 말이다. p. 173

 

6. 조르기 전략은 누구에게 유용한가

전 세계적으로 마케팅과 관련된 조르기는 아이와 가족에게 해롭다는 증거가 늘고 있다. 조르기는 가족 갈등, 과소비, 부채의 요인이 된다. 호주에서 실시한 시장조사에 따르면, 아이와 부모가 마트에서 장을 볼 때 7분에 한 번꼴로 갈등이 생긴다. 2018년 스코틀랜드에서 부모 1000명을 대상으로 한 설문조사에서는 조르는 아이들을 만족시켜 주기 위해 부모 중 3분의 1 이상이 실제로 빚을 진다는 결과가 나왔다. p. 186

 

밀레니얼 가족은 25년 만에 젊은 세대 중 가장 높은 빈곤율을 기록했다. 즉 밀레니얼 가족 다섯 중 하나 이상이 가난하게 살고 있다는 뜻이다. 이들은 2008년 경기 침체의 영향을 가장 많이 받은 세대다. p. 192

 

밀레니얼 세대 부모(1980~1997년에 태어난 세대)가 가장 원하는 것은 시간, 특히 자녀와 함께하는 시간이라고 한다. 이는 이들이 일과 삶의 균형을 중시하지만, 이 균형을 이루는 것이 그 어느 때보다 어려워졌다는 사회과학 연구 결과와 일치한다. 밀레니얼 가족 중 약 400만호가 한부모 가정이다. 두 명의 부모를 둔 밀레니얼 가족 중 78퍼센트는 부모가 적어도 풀타임으로 맞벌이를 하고 있으며, 이는 다른 세대보다 높은 수치다. 코 로나 팬데믹 이전에도 밀레니얼 세대는 공식 근무 시간이 끝난 후에도 일해야 한다는 의무감을 다른 세대보다 더 많이 느꼈다. p. 192

 

7. 사회에 분열을 일으키는 디지털 기기

최근에 실시된 연구는 부모의 디지털 기기 사용과 어린아이들의 문제 행동 사이의 연관성을 시사한다. 결국 악순환이 이루어진다고 볼 수 있다. 어린아이의 행동 때문에 스트레스를 받는 부모는 디지털 기기를 이용하는 것으로 스트레스를 해소하는데, 부모의 관심을 끌지 못하는 아이는 감정을 행동으로 옮겨 실망을 더 강하게 표현한다.p. 200

 

우리가 디지털 기기와 더 오랜 시간을 보낼수록 기술기업과 그들의 주주는 더 많은 수익을 챙긴다.p. 203

 

스티브잡스가 자기 아이들에게 아이패드를 멀리하게 했다고 시인한 말에 담긴 두 가지 메시지와 관련이 있다. 하나는 "내가 아이들을 디지털 기기에서 보호할 수 있다면 다른 모든 사람도 그렇게 할 수 있다."이다. 다른 메시지는 아이를 보호하는 책임은 기업이 아니라 부모가 져야 한다."라는 것이다. p. 204

 

"이런 기기는 의도적으로 중독성이 생기도록 설계되었다는 것을 기억해둬야 합니다. 이것은 기기를 만드는 기업의 임원들이 인정한 진실입니다. 아이나 부모의 잘못이라고 생각하기보다는 보편적인 인간의 약점을 괴롭히는 잔인한 제도의 결과물이라고 인식해야 합니다."p. 205

 

스마트폰은 우리를 위해 자신을 바치는 것처럼 보이지만, 스마트폰의 진정한 사명은 우리를 광고주에게 바쳐 기업 이익을 창출하는 것이다. 다시 말해, 기업은 가족의 삶에 침투해 수익을 창출 하는 방법을 알아내고, 우리는 그렇게 하도록 기업에 돈을 지불한다. p. 207

 

8. 제한 없이 시장에 판매되는 편견들

어른과 아이는 세상의 궁금증을 해소하기 위해 도서관과 학교 같은 곳으로 가는 대신 이제는 영리가 목적인 사기업의 알고리즘에 의존한다. 즉, 우리가 검색하는 정보는 오늘날 단 하나의 기업이 지배하고 있다는 것을 의미한다. 바로 구글이다. p. 228

 

네트워크와 다른 인기 있는 기술 플랫폼이 부추기는 인종차별이 어떻게 상업주의와 연결되는지 이해하려면, 알고리즘은 자신만의 편견이 있다는 것과 더불어 이익 창출이 최우선인 대기업에서 일하는사람들이 만든다는 것을 기억할 필요가 있다. p. 235

 

결국 광고로 운영되는 사이트를 우리가 더 많이, 더 오래 사용할수록 사이트에 삽입된 광고에 더 많이 노출되고, 그 사이트는 더 많은 수익을 얻는다.p. 236

 

아이들을 미래의 소비자로 여기는 곳이 아니라 아이들의 필요를 가장 중요하게 받아들이는 곳이 한 군데는 있어야 한다. 오늘날 미국 사회에서 그런 곳은 학교가 유일하다. p. 251

 

9. 학교에 무료로 제공되는 브랜드 학습 자료

교육을 상업화하면 "단순히 제품과 서비스를 광고하는 것으로 기업에 이익이 될 뿐만 아니라 기업 아이디어를 전파할 수 있는 무대를 제공받음으로 써 기업에 이익이 된다."라고 나르는 주장 한다. 포로로 잡힌 학생을 고객 삼아 홍보하면, 기업은 "안녕과 행복의 주요 원천으로 소비를 장려하는 더 폭넓은 이념적인 메시지를 전달할 수 있다. 교내 광고는 이러한 메시지를 전달하는 효과적인 수단처럼 보인다. p. 258

 

학생들이 교실에서 겉으로 무엇을 배우든지 간에 학교라는 환경에 광고를 들여오는 것만으로도 영리와 비영리, 시민과 상업, 사실과 과대 광고 사이의 경계가 은밀하게 흐릿해진다. 이렇게 상업화된 학교는 의도했든 의도하지 않았든 학생들이 의심 없이 광고를 보고, 무분별한 소비를 일상생활의 일부로 받아들이도록 길들인다. p. 260

 

구글은 개인정보 보호 문제를 개인 책임이라는 제한된 틀 안에서만 다룬다. 무슨 뜻일까? 온라인에서 개인정보가 침해된다면 어떤 경우든 모두 사용자의 잘못이라는 소리다. 온라인에 무엇을 올리는지, 누구와 공유하는지에 주의를 기울인다면 개인정보는 안전할 것이라는 얘기다. p. 272

 

역사학자이자 교육자인 하워드 진Howard Zinn은 "예나 지금이나 정의가 왜곡된 세상에는 '중립적인' 또는 '객관적인' 사실이란 존재하지 않는다."라고 말했다. 즉 우리가 학생들에게 가르치려고 선택하는 내용은 중립적이지 않으며 아이들에게 무엇을 가르치는지가 중요하다는 뜻이다. p. 274

 

10. 빅테크, 에듀테크 이름으로 학교에 가다

경제협력개발기구가 전 세계 수백만 명의 고등학생을 대상으로 조사한 결과, 학교에서 컴퓨터를 많이 사용하는 학생들은 "사회적 배경과 학생 인구 통계를 고려하더라도 대부분의 학습에서 성과가 훨씬 떨어진다."라고 나타났다." 최근 실시한 전 세계 설문조사에 따르면, 독해·수학·과학을 배울 때 교사만 기술을 보조 도구로 사용하는 수업에서 학생들이 가장 좋은 결과를 내는 것으로 나타났다. p. 281

 

문제는 부모가 부담할 수 없을지도 모르는 업그레이드 상품 팝업 광고에 아이들이 지속적으로 노출될 때다. 이때 아이들이 느끼는 상처 나 당혹감은 어른들의 상상을 훨씬 뛰어넘는다. 프로디지는 아이들이 부모를 설득해 멤버십을 구매하도록 부러움과 수치심도 부추긴다. p. 289

 

'개인 맞춤형 학습'의 의미는 "아이들은 타고난 학습 욕구가 있으며 아이마다 가장 잘 배우는 방법이 다르다.", "아이들은 정보로 채워 지기를 조용히 기다리는 빈 그릇이 아니라 능동적이며 타고난 호기 심을 가진 탐구자다."라는 연구의 결론과 실천에 뿌리를 둔다. p. 292

 

자전거 타는 것을 배우려다가 넘어지는 것이 재미있다고 표현할 수는 없겠지만, 아이들에게 자전거 타기는 중요하기 때문에 넘어져도 다시 자전거에 올라타 배우기를 시도한다. 배움이 즐길 거리나 오락 거리일 때만 할 만한 가치가 있는 것이 아니라 의미가 있을 때도 할 만한 가치가 있다. p. 296

 

11. 어떻게 아이들을 지킬 것인가

흡연과 심장병, 각종 암 사이의 연관성이 입증되었지만 거대 담배 기업은 계속해서 어린 세대를 표적으로 삼는다. 거대 식품 기업도 마찬가지다. 2006년, 소아 비만에 대한 경각심과 어린이를 대상으로 한 식음료 마케팅을 규제해야 한다는 목소리가 높아지자 식음료업계는 함께 모여 어린이 대상 정크푸드 마케팅을 중단하겠다고 서약했다. 이후 15년이 지났지만 바뀐 것은 많지 않다. 지금도 정크푸드 광고는 어린이를 집중적으로 공략한다. 빅테크도 다르지 않다. p. 301

 

특정 사회적 문제의 근원은 종종 더 깊은 시스템적 문제에서 비롯 된다. 오늘날 어린이를 향한 상업적 공격은 기업 권력의 확대와 정부 규제의 약화, 공립학교·공원·놀이 공간지원 감소, 디지털 기술의 빠른 발전, 미디어 소유권의 통합에 협조하는 정부 정책과 연관되어 있다. 그렇기 때문에 우리는 빅테크와 어린이 대상 마케팅으로 돈을 버는 기타 산업의 착취에 어린이들이 더 취약해지는 광범위한 사회정치적 문제를 다루어야 한다. p. 301

 

12. 저항 육아: 빅테크와 대기업을 저지하기 위한 제안

빅테크와 대기업이 아이들에게 해를 끼치는 가장 일관되고 교활한 방법은 태어날 때부터 디지털 기기로 유인해 계속 사용하게 하고, 생각 없는 무비판적인 소비자가 되도록 훈련시키는 것이다. 휴대전화와 태블릿, 기타 디지털 기기는 (그 자체로 좋든 나쁘든) 인간의 행동에 영향을 미치는 강력한 도구다. p. 312

 

아이에게 다양한 소리를 퍼붓는 장난감은 영아가 옹알이를 하거나 말을 하거나 노래를 부르거나 어떤 식으로든 소리를 내는 필수적인 기회를 빼앗는다. 저절로 움직이는 장난감은 영아가 작은 자동차를 밀거나 봉제 동물 인형을 움직이면서 소근육을단련할 기회를 빼앗는다. 버튼을 누르기만 하면 작동하는 장난감은 아이가 세상을 보는 주체성과 능력을 키울 기회를 박탈한다. p. 318

 

구글 플레이나 애플 앱스토어에서 '교육'이라고 표시한 앱은 의심하라. 앱 개발자가 직접 앱이 속하는 카테고리를 선택할 수 있으며 이는 심의 대상이 아니다. 실제로 교육용이라고 표시된 어린아이용 앱 대부분은 교육용이 아니다. p. 322

 

자유롭게 그리기나 작곡하기 등 실제 창작 활동을 장려하는 앱 을 선택하라. p. 323

 

양육에서 스마트폰은 모든 디지털 기기 중에서 가장 해롭다. 우리는 스마트폰을 어디든 가지고 다니며 과도하게 사용한다. 그 과정에서 우리는 빅테크에게 우리가 누구인지, 어디로 가는지 친구가 누구인지 등 수많은 정보를 제공한다. 그 대가로 우리의 가장 취약한 부분을 노리는 맞춤형 광고에 끊임없이 노출된다. p. 324

 

아이가 디지털 기술을 자발적으로 사용할 수 있는 시기가 되면, 우리 어른은 의식적으로 자신의 디지털 기기 사용 시간을 제한해야 한다. 아이들과 함께 있을 때는 특히 그렇다. 물론 업무 때문에 스크린 앞에 붙잡혀 있는 시간을 말하는 것은 아니다.p. 327

 

스마트폰이 뛰어나고 매혹적이면서도 번거로운 것은 수많은 기능이 하나의 기기에 결합되어 있기 때문이다. 이 때 시계(시간만 알려주는 바보시계)를 착용하는 것은 휴대전화 확인 횟수를 줄이는 가장 간단한 방법이다. p. 328

 

스크린 사용 시간 문제로 어려움을 겪는 가족을 상담하는 에밀리 체르킨Emily Cherkin은 '소리 내며 생활하라"라고 조언한다. 휴대전화를 확인하는 이유를 큰 소리로 말하면 이 행동을 억제하는 데 도움이 된다. p. 329

 

디지털 기술과 광고가 없는 가족 시간을 꾸준히 확보하라. 디지털 기기 없이 가족이 식사하는 것을 우선순위로 삼아라. 기기 없이 식사를 하면 가족 간에 하루에 일어난 크고 작은 사건을 대화하기가 더 수월해진다. 식사 시간 동안 디지털 기기를 사용하지 않는 것은 아이들이 식사할 때 기기에서 떨어지는 습관을 기르는 데 도움 이 되기도 하지만, 가족과의 시간이 디지털 기기에 한눈을 파는 것보다 더 중요하다는 메시지를 아이들에게 전해주기도 한다. p. 332