Anonym
10,000+ Views

토익스피킹 성적을 결정하는 채점관은 어떤 사람일까?

토익스피킹의 채점관(Rater)는 미국과 캐나다에 거주하는 대졸 이상의 학력자로써 ETS에서 제시하는 언어능력자격증을 보유하는 등 일정 가격을 갖추어야 합니다. 추가로 영어 교육 경력이 있으면 유리합니다.
영어가 모국어인지, 그리고 인종 등은 따지지 않습니다. 영어가 모국어인 사람만을 뽑는 것은 ETS의 이념과 맞지 않습니다. 자격만 갖춘다면 누구나 Rater(채점관)에 지원할 수 있습니다.
또한, 채점의 신뢰성과 공정성을 보장하기 위해 Rater(채점관)는 채점 당일 아침과 오후, 하루 두번 의무적으로 Calibration을 거칩니다.
Calibration은 시험 개발자들이 미리 채점해 놓은 답변들을 다시 채점하는 시험을 말합니다. 

이때 개발자와 똑같이 채점해야 통과할 수 있으며, 시험에 탈락하면 채점에 참여할 수 없습니다.
채점의 객관성을 보장하기 위한 다른 수단으로 개발자, CSL(선임 채점관), Rater(채점관)로 이어지는 핫라인을 구축하고 있습니다.
CSL(Contents Scoring Leader)는 1년간 정확한 채점 실력을 보여준 선임 채점관입니다. CSL(선임 채점관)은 다른 Rater(채점관)가 채점하기 어려운 답변들을 채점하고, 본인도 채점하기 애매할 경우 개발자에게 직접 채점을 의뢰합니다.
이어 개발자들은 실시간으로 채점 상황을 모니터링합니다. 

채점 속도가 너무 빠르지는 않은지, 채점 속도가 느리다면 무엇이 원인인지 파악하기 위함입니다.

지금까지 토익스피킹 성적을 결정하는 채점관은 어떤 사람들인지 살펴보았습니다.

나의 소중한 토익스피킹 성적이 신뢰성과 공정성을 위해 철저한 프로세스로 채점된다는 사실! 꼭 기억해주세요!

[※본 콘텐츠는 월간조선 2013년 5월호에 게재된 당시 ETS TOEIC Speaking 수석 개발자 수잔 하인스 인터뷰를 재구성했습니다.] 
Comment
Suggested
Recent
Cards you may also be interested in
[NDC 2021] 게임 망치는 '악성 유저' 어떻게 잡아야 할까요?
게임 내에는 다양한 '악성 행위'가 있다. 게임 봇, 작업장, 소위 '골드 파밍 그룹'이라고 불리는 집단은 게임 안에서 가장 큰 위협 요소다. 이들은 모바일 및 PC 게임에서 자동으로 아이템을 파밍하며, 최종적으로는 현금 거래를 통해 부당한 금전적인 이익을 얻는다. 악성 유저는 과도한 게임 콘텐츠 소모를 통한 게임 수명 단축, 정상적인 유저 이탈 등 게임에 악영향을 미친다. 이런 게임 내 악성 유저들은 어떻게 잡아야 할까? 이를 데이터분석 기반으로 해결할 방안을 설명하기 위해 고려대학교 정보보호대학원 김휘강 교수가 강연했다. 김휘강 박사에 따르면 그간 많은 게임들이 머신러닝과 딥러닝을 통해 봇과 작업장을 탐지했다. 대부분 게임봇의 패턴이 정상 유저의 패턴과 다르다는 점에 착안해 이를 골라내는 연구가 주류를 이루고 있기도 하다. 덕분에 고도화된 알고리즘을 통해 악성 유저와 일반 유저를 식별 가능한 수준에 이르렀다. 문제는 딥러닝 기술을 통한 탐지가 게임봇 및 유저 밴 업무 적용에는 한계를 보인다는 것. 머신러닝과 딥러닝은 결과에 대한 정확도는 보증하지만, 어떤 이유로 밴이 된 유저가 봇으로 탐지됐는지에 대한 설명력은 부족하다. 이에 현업에서는 높은 정확도에도 불구, 설명 가능한 알고리즘을 따로 적용해 이를 해명에 사용하거나, 수동으로 재분석을 하는 경우가 있었다. 아니면 악성 유저를 밴하고도 다시 풀어줘야 하는 사태가 발생했다. 이를 보완하기 위해 'XAI'(Explainable AI)라는 개념이 제시됐다. 이름을 풀어 보면 '설명 가능한 AI'다. 이를 응용하면 왜 유저의 행위가 게임봇으로 식별되었는지 설명할 수 있어, 악의적인 봇 유저가 이의 제기를 하더라도 주요 원인을 설명할 수 있다. 그 외에도 '컨테이전'이라는 현상이 있다. 나의 행위가 다른 사람에게도 전파되는 현상을 말하는데, 여기서는 악성 유저가 악성 행위를 다른 유저에게도 전파하는 것이다. 물론 선한 행위가 전파될 수도 있다. 이런 악성 행위에 대한 해결책은 정확히 무엇일까? 선한 행위는 전파시킬 수 없을까? 자세한 내용은 아래 동영상을 통해 직접 들어보자. 강연 마무리 단계에서 김휘강 교수는 "게임봇, 사설서버와 같이 게임 내 다양한 악성행위가 있고 이를 탐지하고 막을 수 있는 기술도 점차 고도화되고 있다. 물론 기술적인 방법이 실용적이고 가장 현실적인 솔루션이다."라고 언급했다. "하지만 지금이야말로 유저들이 장기적으로 게임 내 규범을 올바르게 형성하고 지켜갈 수 있도록 동료, 친구, 커뮤니티 활동에 다시 방점을 두어야 하는 시점이 아닌가 생각된다"고 덧붙였다. 
[옛배움책에서 캐낸 토박이말]끼니 버릇 나쁜
[옛배움책에서 캐낸 토박이말]끼니 버릇 나쁜 오늘은 4285해(1952년) 펴낸 ‘과학공부 5-2’의 53쪽부터 54쪽에서 캐낸 토박이말을 보여드립니다. [우리한글박물관 김상석 관장 도움/토박이말바라기 이창수] 53쪽 첫째 줄에 52쪽부터 이어져서 ‘여러 가지로 섞어서 먹도록 하자,’가 나옵니다. 이 말은 요즘에는 ‘골고루’라는 말을 많이 쓰다 보니까 쓰는 사람이 없지만 얼마든지 쓸 수 있는 말이라고 생각합니다. 그리고 ‘혼식(混食)’이라고 쓰지 않은 것이 더 반갑고 좋았습니다. 둘째 줄에 ‘하루 세 끼’와 ‘끼니마다’라는 말이 나옵니다. 요즘도 ‘1일 1식’, ‘1일 2식’, ‘1일 3식’과 같은 말을 쓰는 사람들이 있는데 ‘하루 한 끼’, ‘하루 두 끼’, ‘하루 세 끼’라고 하면 참 쉽고 좋을 것입니다. 그리고 ‘매 끼니마다’라는 말을 쓰는 사람도 있던데 ‘매(每)’에 ‘마다’의 뜻이 있기 때문에 뜻이 겹치는 말이니까 안 쓰는 게 좋겠습니다. 넷째 줄부터 다섯째 줄에 걸쳐서 ‘영양소를 얻을 수 있도록 차려 보아라.’가 나옵니다. 이 말도 요즘에 쓰는 말로 바꾸면 ‘영양소를 섭취할 수 있도록 차려 보아라.’가 될 것입니다. 이것을 보면 우리가 ‘섭취하다’를 쓰지 않고 ‘얻다’로 갈음해 쓸 수 있음을 잘 알 수 있습니다. 여섯째 줄부터 여덟째 줄에 걸쳐서 나온 “건강을 지니려면 우리는 어떠한 버릇을 붙여야 하는가?”는 ‘건강’을 빼면 모두 토박이말로 되어 있어 좋았습니다. 그런데 열셋째 줄과 열넷째 줄에 “몸을 튼튼히 하기에 좋은 여러 가지 버릇을 이야기해 보아라.”는 토박이말이 아닌 말이 하나도 없어 더 좋았습니다. 이것을 보고 위의 월을 “몸을 튼튼히 하려면 우리는 어떠한 버릇을 붙여야 하는가?”로 바꿨으면 더 좋았지 싶었습니다. 또 ‘습관’이 아닌 ‘버릇’이라는 토박이말과 열째 줄에 ‘잘 씹어 먹고 몸에 알맞은’이라는 말도 쉬운 말이라서 반가웠습니다. 열여섯째 줄에 있는 ‘나쁜 박떼리아’에서 ‘박떼리아’를 요즘에는 ‘박테리아’라고 한다는 것과 요즘 많이 쓰는 ‘유해(有害)’도 ‘나쁜’으로 갈음해 써도 된다는 것을 잘 알 수 있었습니다. 54쪽 첫째 줄부터 둘째 줄까지 ‘때로는 돌림병에 걸리는 수도 있다.’가 나오는데 ‘전염병’이 아닌 ‘돌림병’이라는 말이 반가웠지만 ‘돌림앓이’라고 했으면 더 좋았을 것 같다는 생각도 들었습니다. 셋째 줄에 있는 ‘사람 몸에 박떼리아가 들어가서’에서 ‘들어가서’도 ‘침입하여’가 아니라서 좋았습니다. 다섯째 줄부터 일곱째 줄에 걸쳐 있는 “박떼리아는 공기 속, 흙 속, 물 속, 사람의 몸이나 똥 속, 들 없는 곳이 거의 없다.”는 월도 ‘박떼리아’와 ‘공기’ 말고는 모두 토박이말로 되어 있으며 ‘흙’, ‘물’, ‘몸’, ‘똥’과 함께 '등'을 뜻하는 ‘들’이 나와서 더 좋았습니다. 아홉째 줄부터 열째 줄에 걸쳐 나오는 ‘여러분 집에서는 음식물이 상하지 않도록 하는 데에’에서 ‘않도록 하는 데에’는 요즘 많이 쓰는 ‘않도록 하기 위해’를 갈음해 쓸 수 있는 말임을 알 수 있었습니다. 이처럼 한자말이나 다른 나라말을 토박이말로 바꿀 수 있는 것이 있다는 것을 아는 것도 좋지만 말을 풀어서 다르게 쓸 수 있다는 것을 알게 해 주는 것도 옛날 배움책이 우리에게 주는 손씻이(선물)가 아닐까 하는 생각도 듭니다. 4354해 온여름달 열닷새 두날(2021년 6월 15일) 바람 바람 #우리한글박물관 #김상석 #토박이말바라기 #이창수 #토박이말 #살리기 #쉬운배움책 #교과서 #터박이말 #참우리말 #숫우리말 #순우리말 #고유어 *이 글은 경남일보에도 보냈습니다.
깨진 찻잔의 비밀
우즈베키스탄에 내려오는 이야기가 있습니다. 코칸트 지방에 난폭한 왕이 있었는데 그는 찻잔 하나를 유독 아꼈습니다. ​ 그러던 어느 날 왕은 잔치를 벌이던 중 찻잔을 떨어뜨려 산산조각이 나고 말았습니다. 크게 상심한 왕은 각 지역에 있는 도자기 공들을 불러 깨진 잔을 원래대로 만들어 놓으라면서 호통을 쳤습니다. ​ 왕의 명령에 당황한 도자기 공들은 100세가 넘은 장인 ‘우스만’을 찾아갔습니다. 우스만은 왕을 찾아가 일 년의 시간을 요청했고 그 뒤로 복원작업에 몰두했습니다. ​ 드디어 약속한 1년이 되는 날, 우스만은 손자 자파르와 함께 보자기를 들고 왕 앞에 나타났습니다. ​ 보자기 안에는 완벽하게 복원된 찻잔이 빛을 내고 있었고 왕은 너무도 흡족해했습니다. ​ 사람들은 찻잔을 어떻게 복원했는지 궁금해했고 우스만의 손자 자파르도 비술이 궁금해 작업실에 들어갔습니다. ​ 그런데 그곳엔 깨진 찻잔이 그대로 있었습니다. 사실 우스만은 일 년 동안 작업실에서 깨진 찻잔과 똑같은 찻잔을 만들기 위해서 시간을 달라고 했던 것입니다. ​ 이를 보고 놀란 손자에게 우스만은 말했습니다. “인생을 살다 보면 깨어진 조각을 붙이는 것보다 새로 시작하는 것이 더 이로울 때도 있단다.” 깨진 찻잔을 버리지 못한다면 때론 날카로운 조각에 상처가 날 수 있습니다. 그리고 조각을 완벽하게 이어 붙인다 해도 전처럼 사용할 수도 없습니다. ​ 인생에서도 깨진 찻잔과 같은 상황이 발생하는데 이미 내 손을 떠나간 것들에 대해서 미련을 갖기보다는 새롭게 시작하는 것이 더 나을 수 있습니다. ​ 때로는 다시 시작하는 것이 막힌 길을 열어주고 더 단단하게 만들어 줄 것입니다. ​ ​ # 오늘의 명언 누구도 과거로 돌아가서 새롭게 시작할 수는 없지만, 지금부터 시작해서 새로운 결실을 볼 수는 있다. – 카를 바르트 – ​ =Naver "따뜻한 하루"에서 이식해옴.... #새로운시작#다시시작#시작#인생#삶#명언#영감을주는이야기#교훈#따뜻한하루
[토박이말 살리기]온봄달(6월) 토박이말
[토박이말 살리기]온봄달(6월)에 알고 쓰면 좋을 토박이말 아이들 입에서 찬바람을 틀어 달라는 말이 자주 나오는 것을 보면 여름이 우리 곁으로 성큼 다가와 있음을 알 수 있습니다. 이제 우리 곁에 온 여름이 온 누리를 가득 채울 6월은 온여름달입니다. 낮이 가장 길다는 ‘하지’가 바로 여름이 온 누리를 채우는 ‘온여름’이라 할 만합니다. 쨍쨍 내리쬐는 뜨거운 햇볕을 듬뿍 받은 푸나무들은 그 빛깔을 푸르름을 넘어 갈맷빛으로 바꾸게 될 것입니다. 해마다 온여름달 끝자락이면 옛날에 ‘오란비’라고도 했던 장마가 어김없이 찾아오곤 하는데 올해는 아직 기별이 없습니다. 나무를 때서 밥을 해 먹어야 했던 옛날에는 비가 여러 날 이어지면 밥을 할 때 쓸 마른 나무가 없어 애를 먹곤 했답니다. 어려움은 나무뿐만이 아니었습니다. 비가 여러 날 오면 빨래를 해도 잘 마르지 않아 참 힘들었다고 합니다. 그래서 장마 때 짧게라도 날이 드는 것을 엄청 반기지 않을 수 없었습니다. 그렇게 찾아온 빨래말미, 나무말미는 옛날 사람들에게는 참 고마운 말미였을 것입니다. 장마와 함께 이어지는 무더위는 짜장 견디기 어려운 것 가운데 하나였습니다. 요즘이야 물기를 빨아들이는 찬바람틀이 있어서 그걸 돌리면 그만이지만 옛날에는 군불을 땔 수밖에 없었습니다. 불을 때면 물기는 가시지만 더위는 더해져 힘이 들던 때가 있었답니다. 부채를 갈음해 더위를 식혀줄 바람틀만 있어도 그렇게 시원하고 좋았는데 찬바람틀 없이는 살 수가 없게 된 요즘 사람들에게는 참 옛날이야기처럼 들리지 싶습니다. 1)온여름달: ‘6월’을 다듬은 말 2)온여름: ‘하지’를 다듬은 말 3)푸나무: 풀과 나무를 아울러 이르는 말 4)갈맷빛: 검은 빛이 돌 만큼 짙은 풀빛(초록색) 5)오란비: ‘장마’의 옛말 6)빨래말미: 장마 때 빨래를 말릴 만큼 잠깐 날이 드는 겨를 7)나무말미: 장마 때 풋나무를 말릴 만큼 잠깐 날이 드는 겨를 8)무더위: 물기를 머금어 찌는 듯 견디기 어려운 더위⇔불볕더위 9)찬바람틀: ‘에어컨’을 다듬은 말 10)군불: 먹거리를 하려고가 아니라 오로지 방을 덥히려고 아궁이에 때는 불 11)갈음하다: 다른 것으로 바꾸어 대신하다 12)바람틀: ‘선풍기’를 다듬은 말 4354해 온여름달 열흘 낫날(2021년 6월 10일 목요일) 바람 바람 #토박이말바라기 #이창수 #토박이말 #살리기 #온봄달 #6월 #터박이말 #참우리말 #숫우리말 #순우리말 #고유어 *이 글은 경남일보에도 보냈습니다.
[아들, 딸에게 들려 주는 좋은 말씀]22-
[아들, 딸에게 들려 주는 좋은 말씀]22-스스로가 할 수 없다고... 오늘 들려 줄 좋은 말씀은 "스스로가 할 수 없다고 생각하고 있는 동안은 그것을 하기 싫다고 다짐하고 있는 것이다. 그러니까 그것은 해지지 않는 것이다."야. 이 말씀은 네덜란드의 슬기맑힘이(철학자)인 스피노자 님이 남기신 말씀이야. 앞서 들려 준 적이 있는 다른 말들과 이어져서 비슷한 느낌이 들지도 모르겠구나. 이 말을 보면서 사람은 옛날이나 오늘날이나 크게 다르지 않다는 생각이 들었단다. 무슨 일이든지 해 보지도 않고 안 된다고 하거나 할 수 없다는 말이나 생각을 한다는 것은 그것을 하기 싫다는 말이거나 하지 않겠다는 속마음을 드러내는 것임을 깨닫도록 하는 이 말씀이 오늘날까지 먹히고 있으니 말이지. 이 말을 보고 '뜨끔했다'고 느낌을 말하는 사람을 본 적도 있을 뿐만 아니라 내 마음이나 머리에서도 여러 셈 자리잡았었던 것 같기도 한데 너희들은 어떤지 궁금하구나. 다르게 말해 이길 수 있다고 생각하면 이길 수 있고 할 수 있다고 믿으면 무엇이든 이루어질 수 있다로 바꿔도 되지 싶다. 다른 사람들은 이 말을 이어줄 때 "자신은 할 수 없다고 ..."와 같이 '자신'이라는 말을 썼던데 비슷한 뜻을 가진 '스스로'를 써 봤어. 그리고 뒤에 있는 말은 "그러므로 그것은 실행되지 않는 것이다."고 했던데 '실행'이 어떤 일을 몸소 하는 것이니까 '실행되지'는 '해지지'로 바꿔 봤는데 많이 거슬리지 않았으면 좋겠구나. 오늘도 우리에게 주어진 새로운 하루를 고마워 하면서 알차고 멋진 날로 만들어 가기를 바란다. 4354해 온여름달 열엿새 삿날(2021년 6월 16일 수요일) 바람 바람 #토박이말바라기 #이창수 #토박이말 #살리기 #좋은말씀 #명언 #터박이말 #참우리말 #숫우리말 #순우리말 #고유어 #스피노자