User Tools

Site Tools


internet_development

아래 문서는 계속 업데이트 중입니다.

Development Trend

Search Engine, Portals, and what

Yang and Pilo Fig. 1: Yang and Pilo 1993-4년 쯤이 되면서부터, 그리고 본격적으로 Mosaic을 지나 Netscape가 PC를 사용하는 사람들로부터 인스톨 되면서부터, 이 기술이 상업적으로 대단한 가치를 낼 것이라는 기대를 하기 시작하였다. 모든 것이 그렇듯이 시대의 흐름에 반대하는 소리가 있기는 하였지만 (reference 필요), 이와 같은 흐름은 막을 수 없는 것이었다. 대표적으로 yahoo.com이 탄생하였다. Stanford 대학에서 박사과정을 하고 있던 Jerry Yang과 David Filo는 “Jerry's Guide to the World Wide Web” 라는 사이트를 세워 사람들이 사용하도록 하였다. 이 사이트는 다른 사이트들에 대한 간략한 정보와 사이트들을 목적에 따라서 분류해 놓은 웹페이지였는데, 이들은 USENET의 newsgroup 등을 통해 싸이트 정보의 집적소가 필요함을 들어 자신들에게 이메일로 URL과 사이트의 내용을 알려주면 분류작업을 하겠다고 하였다. yahoo로 이름을 바꾼 이 사이트는 곧 불길과 같은 반향으로 일년이 지나지 않아 백만 히트를 기록하게 된다. 이 사이트의 상업적인 잠재력을 알게 된 두 사람은 곧 벤처 기업의 투자로 회사를 설립하고, 약 일년 후 (1996) 주식회사로 상장하게 된다. Yahoo는 90년대 말로 가면서 Portal 서비스를 하게 된다.

이와 같은 성공은 뛰어난 머리와 가슴을 가진 젊은이들과 Internet이라는 기술에 놀라면서 그 상업적인 잠재력을 믿게 된 벤처기업 투자가들로 하여금 잇따른 회사의 설립을 시도하도록 한다. 이 과정에서 대표적으로 관심을 끈 분야는 search engine 기술이었는데, Yahoo의 수작업 분류에 비해서 특별하게 고안한 프로그램 (흔히 이를 bot이라고 한다)을 통해, 세상의 웹사이트들을 검색하여 분류를 하고, 이를 사용자들의 검색어와 연관지어 소개해 줌으로써 Yahoo가 불렀던 백만 사용자의 힛트를 노린것이다. 테크놀로지를 구현하는데 있어서 약간의 차이는 있을 수 있지만, 이런 과정에서 생긴 Search engine들로는 Aliweb; WebCrawler; Lycos, Excite, Infoseek, inktomi, AltaVista 등등이 있다1). 이 회사들은 곧 서치엔지과 함께, 이메일, 뉴스 등의 서비스를 포괄적으로 모아서 서비스하는 것이 사용자들을 모으는데 도움이 되겠다고 판단하여, portal 서비스로 변화하거나 포털서비스를 병행한다.

이렇게 우후죽순으로 search engine회사들이 생기기 시작하기는 하였지만, 정작에 문제점은 이와 같은 상황에서 어떻게 이윤을 내는가였다. 역사가 말해준다는 생각에서 자연스럽게 나온 아이디어가 광고였다2). 광고수익 모델은 방문자 숫자에 대한 광고비 지급이 이루어지다가 점차 정교화 되면서, 사용자 클릭에 의한 광고비 지급계산, 사용자 액션에 의한 광고비 지급 계산 (실제 구매시에 광고비 지급), 관련된 사이트들끼리의 협약(affiliation) 프로그램을 통한 광고비 지급 방법 등등의 다양한 것들로 발전되었다. 그러나, 문제는 사용자들이 광고를 꺼려한다는 점이었다. 80년대부터 이미 어느 정도의 인구가 인터넷을 사용하고 있었으므로, 상당한 인구는 The Internet이라는 매체가 옛날에는 어땠고, 지금 어떻게 변화하고 있는지에 민감한 편이었다. 이전에 정보를 자연스럽게, 자유스럽게, 그리고 이타적으로(무료로) 공유하고 나누는 행위에서 사이트 이용의 댓가로 움직이는 광고 등이 난무하게 되면, 일부 사용자들은 비판적이 되기 마련이었다. 이에 따라서, 서치엔지 회사들과 (후의 포털 회사들이) 좀 더 나은 비지니스 모델에 고심하던 시기가 바로 이 무렵이었다.

더우기 서치엔지 회사들은 상업적 목적만을 추구하려고 하는 영리한 (사악한,) 비지니스 맨들에게 이용을 당하는 경우가 생기면서 search engine이 정교한 결과를 내주지 않는 경우가 생기기 시작하였다. Search engine이 검색 기록하는 html 페이지의 meta 정보 기록에 페이지의 내용과 관계가 없는 주제어로 페이지를 묘사를 한다든지 (사실은 포르노 사이트인데도 불구하고), 본문 중의 내용에 바탕색과 같은 색깔의 폰트로 진정 본문과 상관없는 단어를 끊임 없이 나열한다든지의 방법들은 수학적인 알고리듬으로 움직이는 search engine을 혼란스럽게 하기 마련이었다.

Google의 등장

 Fig. 2: Sergei Brin and Larry Page 이 무렵 후발주자로 뛰어든 Google은 이에 대한 대안을 마련한 듯이 보일 정도로 신선하였다. Stanford대학의 박사과정생이었던 Brin과 Page (전산과)는 기존의 search engine 알고리듬과 다른 방법으로 서치엔진을 고안하고 이를 시험적으로 (stanford 대학 내의 서치엔진으로) 교내의 친구들에게 사용해 보도록 권하였다. 이들의 알고리듬은 하이퍼텍스트 링크의 연결을 주고 받는 관계를 계산하는 것을 포함하였는데, 이것이 웹페이지의 분류를 좀 더 정확하게 하도록 도와 주었다3). 반응이 좋았기에 이들은 이 기술을 다른 서치엔지사에 판매하려는 시도를 하게된다. Yahoo나 그 외의 search engine회사들로 부터 거절을 당하던 그들은 벤처기업 투자를 기꺼이 해주었던 Andy Bechtolsheim과 지도교수의 아파트에서 만나면서 10만달러를 받아 회사를 시작하게 된다. 친구의 duplex아파트먼트의 차고와 방을 빌려서 시작된 회사는 곧 2차 fund를 구할 수 있게 되고, 이 후 주식회사로 상장이 되어 크게 성공하였다. Search-this의 Search engine decoder는 Google이 얼마나 큰 회사인가를 단적으로 보여주는 예로서, 미국 내의 많은 서치엔진 회사들 또한 사실은 Google의 Seearch 결과를 사용하고 있다는 것을 보여준다.

Fig. 3: Search This Site 구글이 성공하게 된 요인으로 먼저 꼽히는 것은 간단한 인터페이스와 사용방법, 그리고 광고의 자제에 있었다. 현재 알려져 있는 회사의 모토 중의 하나인, “You can make money without doing evil”, “You can be serious without a suit,” 그리고 “Work should be challenging and the challenge should be fun.”의 구절은 바로 이 정신을 말하는 것으로, 회사수익을 위해서 도전적으로 일을 하되, 그것이 궁극적으로 돈만을 위한 일이어서는 안된다는 것을 표방하는 듯 하다. 사실, 구글이 그렇게까지 성공하기 전에는 마지막 순간에는 “광고를 해야하나”라는 생각을 하고 있었다고 한다4). 이와 같은 정신은 아마도 ARPANET으로 시작되고 나서부터 전해져 온 사용자를 존중해 주는 분위기를 반영한 것으로, 이것이 많은 사람들을 어필한 것으로 생각된다.



Fig. 4: Google Search Advertisement: Adwords 구글은 이 후 광고를 하기 시작했는데, 광고는 검색단어 혹은 어구의 문맥과 함께 나타나는 광고로 검색결과의 오른 쪽에 텍스트 형태로 배열되는 모양을 띄었다. 이를 AdWords라고 하는데, 2006년의 순수익이 (revenue) 약 $10,604,917000 (over one billion) 에 달한다고 한다5). Google의 이 광고 기법은 사용자의 검색어와 문맥이 맞는 광고내용이 광고로 나온다는 것; 둘째로 이 광고가 다른 사이트와 다르게 그래픽이 포함되어 있지 않다는 것 (특히 움직이는 동영상 등); 오른 쪽 구석에 최소한의 형태로 나열된다는 것 등이 사용자에게 어필되어서 크게 반감을 사지 않게 되었다. Google은 이후 blogger나 개인적인 혹은 사업을 하는 웹사이트에 구글이 추천하는 광고를 (그 사이트의 내용과 성격이 맞는 광고) 싣도록 하고, 그 수익을 나누는 방법으로 광고사업을 하고 있기도 하다 (AdSense6) ).

Fig. 5: Adsense Example Google이 2000년대 초에 무너지지 않고 살아남았다는 사실은 많을 것을 유추할 수 있도록 해준다. 2000년대 초는 dot.com 의 bubble이 붕괴되는 시점으로 우후죽순으로 생겨나던 Search engine회사와 그 외의 business회사가 무너지게 되었다. 아래의 회사들은 포털 서비스를 제공하기 위해서 만들어지거나 투자가 된 회사들인데, 이 투자자들은 Old Media의 주역급이라고 할 수 있는 American Online, Walt Disney, AT,T 등이었으며, 이 투자자들은 2000년을 넘기면서 손을 떼거나, 다시 파는 경로를 통해서 수익 사업의 실패를 인정하였다.

  • Netscape.com (America Online)
  • Go.com (Walt Disney)
  • Excite.com
  • @Home (AT&T)
  • Lycos (CBS)

위의 예가 보여주는 것은 “자본(captital)“이 테크놀로지의 성공을 가져 오지는 않는다는 것과, 비지니스의 성공은 테크놀로지 자체에 대한 이해나 경영에 대한 이해 등 어느 한쪽 면만이 아닌, 테크놀로지(T), 경영(B), 그리고 사용자(U)에 대한 이해 등이 복합적으로 어우러져야 함이다.

한국의 서비스

Fig. 6: Empas Logo
Fig. 7: Naver Logo
한국의 서치엔진은 1996년 무렵부터 개인이 개발품을 발표하면서부터 시작되었다. 까치네, 와카노, 모찬니 등등의 검색엔진 등은 이 시기에 등장했던 서치엔진들이었다. 이 직후, 외국의 서치엔진 회사들이 한국에 들어오기 시작하면서, Yahoo, Korea; Lycos, Korea; Altavista, Korea 등이 등장하면서 점차 검색엔진 회사들이 본격적으로 생겨나기 시작하였다. Empas.com은 이 시기에 생겨난 검색엔진으로 빠른 검색속도로 주목을 받았지만 곧 naver.com이 선두에 서게 된다.

포털 서비스: 인터넷의 Open architecture에 대해서

The success of the World Wide Web, itself built on the open Internet, has depended on three critical factors: 1) unlimited links from any part of the Web to any other; 2) open technical standards as the basis for continued growth of innovation applications; and 3) separation of network layers, enabling independent innovation for network transport, routing and information applications. Today these characteristics of the Web are easily overlooked as obvious, selfmaintaining, or just unimportant. All who use the Web to publish or access information take it for granted that any Web page on the planet will be accessible to anyone who has an Internet connection, regardless whether it is over a dialup modem or a high speed multi-megabit per second digital access line.

– Berners-Lee, in http://dig.csail.mit.edu/2007/03/01-ushouse-future-of-the-web

  1. unlimited links from any part of the Web to any other
  2. open technical standards as the basis for continued growth of innovation applications; and
  3. separation of network layers, enabling independent innovation for network transport, routing and information applications

open architecture에 대해서

왜 서치엔진이 발전하였는가,에 대한 질문에는 사용자가 가장 많이 몰리기 때문이라는 답이 적당할 듯 하다. 사용자가 많이 몰리게 되면 위에서 언급한 광고수익을 내기 좋은 환경이 되고, 이 사용자를 잃지만 않도록 하면, 지속적인 경영이익을 낼 수 있는 수익모델을 가진 사이트를 운영할 수 있다. 따라서 서치엔진 기술의 개발은 90년대 말에 굉장히 중요한 사업분야가 되었고, 현재에도 그러하다. 그러나, 이 대답은 서치엔진 사업에 뛰어드는 사람에게는 정답이 될 수 있어도 사용자에게는 좀 다른 답을 필요로 한다.

사용자에게 있어서 서치엔진이 중요한 이유는, 인터넷이라는 바다에서 필요한 (자신의 상황에 맞는) 문서를 적시에 찾을 수 있도록 해 주기 때문이다. “바다”라는 표현이, 따라서 “서프”라는 표현이 인터넷 사용을 묘사하는데 적합한 이유는 수없이 많은 문서의 생성과 소멸이 인터넷에서 이루어지는데 있다. 인터넷은 개방성이 보장되도록 발전하였기 때문에, 누구나 좋은 콘텐츠를 가지고 있는한 인터넷 페이지를 만들어 퍼블리쉬할 수 있었고, 이것이 사람들의 이목을 끌게되면 크든 작든 간에 성공의 짜릿함을 맛볼 수 있었다. 토발즈가 자신이 관여한 Linux 개발 newsgroup의 (Usenet의) 트래픽이 alt.xxx.erotica newsgroup을 앞질렀다는데 크게 만족하였듯이, 일개 대학생이 자신들만의 서치엔진 알고리듬으로 세상의 주목과 경제적인 부를 이루었듯이 인터넷은 누구나 참여할 수 있는 장소였으며, 주목을 끌기 위해서는 서치엔진이 사용자의 상황에 맞는 웹페이지들을 찾아 추천해주는 것이 중요해진것이다. 즉, 특정 회사가 제공하는 한정된 콘텐츠에서의 서치가 아닌, 세상에 뭍혀있을 수 있는 주옥같은 페이지를 찾아줄 가능성을 서치엔진은 던져 주는 것이다. 이를 통해서 성공할 수 있는 사람은 성공을 하고, 사용자는 다양한 콘텐츠에 노출될 기회를 갖게 된다.

위에서 언급한 개방성은 매우 중요한 의미를 갖기 때문에 조금 더 언급하려고 한다.

인터넷 역사 편에서 살펴 보았지만, 인터넷이 현재와 같이 거대하게 커지게 된 결정적인 요인 중의 하나는 초기 ARPANET 디자인을 맡은 사람들의 '“open architecture”' 정책이다. 이 정책에 기반을 두고 만들어진 테크놀로지가 바로 TCP/IP (초기에는 TCP라고만 불리웠지만, TCP 안에 IP 기술내용이 있었다) 이다. TCP/IP는 컴퓨터 간의 네트워크가 만들어진다는 것을 가정할 때, 기존의 네트워크나 혹은 앞으로의 네트워크가 어떤 테크놀로지에 기반을 두더라도 상관이 없도록 하는 것을 염두에 두었다. 이를 조금만 더 설명하자면, Internet 네트워크 연결방법 외에도 컴퓨터 간의 연결을 추구하는 테크놀로지가 있다. 가령, Mac을 사용하는 사용자들의 컴퓨터를 연결한다고 할 때, !AppleTalk와 같은 protocol을 사용하면 된다. !MicroSoft사의 윈도우즈 OS 경우에는 !NetBEUI 라는 protocol을 사용하면 된다. 또한, 네트워크에 특화된 Noevell 회사는 네트워크 장비와 기술을 이용해서 컴퓨터 간의 연결을 돕는 사업을 하기도 한다 (현재는 Cisco가 더 유명해졌지만. . .). 이 외에도 네트워크의 종류는 수 많을 수 있는데, 이렇게 완성된 각각 규모의 네트워크들이 인터넷에 합류하려면 각각의 네트워크의 기술을 인터넷과 호환 가능하도록 기술을 고치거나 새로 만들어야 할 것이다. 초기에 인터넷 디자이너들은 이와 같은 수고를 막기 위해서 지역적으로 산재된 컴퓨터 네트워크가 어떤 기술을 사용하든지 간에 상관없이 외부와 연결될 수 있도록 하는 '공용의 언어'를 개발하였는데 이것이 TCP/IP (Transfer Control Protocol / Internet Protocol) 이다 (1974). 그리고 이 TCP/IP protocol에 의해서 전송된 데이터를 지역네트워크의 컴퓨터에 전달해 주는 gateway 라는 개념 (조금 더 큰 규모의 컴퓨터라고 보면 되겠다)이 개발되어 작은 네트워크들도 큰 어려움이 없이 다른 네트워크들과 통신이 가능하도록 하였다. 이로써 네트워크들의 네트워크 (network of the networks)가 완성될 수 있는 기반을 마련한 것이다7).

이 때 사용된 원칙은:

  • 각각의 지역 네트워크는 인터넷에 합류하기 위해서 부가적인 작업을 하는데신 지역 네트워크 고유의 어플리케이션을 개발하도록 디자인한다.
  • 각 네트워크는 gateway를 세워(설치하여) 네트워크 외부와 연결될 수 있도록 한다. gateway는 TCP/IP 규격에 의해서 보내지는 패킷들을 전송할 수 있는 소프트웨어가 설치된 큰 규모의 컴퓨터이다.
  • gateway의 소프트웨어는 패킷의 흐름만을 전송/수신할 뿐 그 내용에 대해서는 중립적이도록 한다. 이 정책은 많은 량의 정보를 주고 받을 수 있도록 하기 위한 것이었지만, 다른 한편으로는 규제, 검열 등이 gateway의 기능이 되지 않도록 하였다.
  • gateway 사이를 (망) 다니는 패킷들은 특정 회선을 사용하는 것이 아닌, 가장 빠른 회선이 사용되어 전송될 수 있도록 한다. 따라서, 물리적으로 가까운 컴퓨터 간의 통신도 최단의 회선에 부하가 걸리면, 보다 빠른 회선을 대체하여 사용되도록 하고, 이 정보들이 궁극적으로 목적지인 컴퓨터에 도달하도록 한다. 정보가 패킷이라고 불리는 이유는 이렇게 다중화된 회선으로 정보를 보내기 위해서 원래의 정보를 작게 쪼개기 때문이다. 쪼개진 정보가 가장 효과적인 회선을 통해서 목표의 컴퓨터에 도달하면, 패킷들이 다시 결합되어 보내기 전의 정보가 된다.
  • gateway로 지정된 컴퓨터들 간의 통신은 언제나 열려 있게 되며, 어떤 종류의 정보라도 차별없이 유통되도록 한다.

Internet은 우리가 알고 있듯이 네트워크들로 이루어진 거대한 네트워크의 집합이다. 이렇게 거대한 네트워크가 완성된 것은 바로 이와 같은 차별하지 않고 받아들이는 'open architecture' 정신이 있었기에 가능한 것이었다.

ARPANET이 컴퓨터 대 컴퓨터 통신으로 시작하여 TCP/IP 기술을 채택하고, gateway를 이용한 개방된 네트워크 방식을 취한 후 십년이 두 번 정도 흐른 후에 유럽의 원자핵연구소에서 임시직 네트워크기술 컨설턴트로 일을 하게된 Tim Berners-Lee는 세상에 World Wide Web이라는 기술을 세상에 던졌다. Berners-Lee가 구현한 이 기술은 HTTP (Hyper Text Transfer Protocol)라는 규격 – protocol – 을 포함하는데, 이는 HTTP 규격을 준수하는 Daemon 프로그램을 컴퓨터에 심어 두고, 이 컴퓨터의 특정 디렉토리에 문서를 만들어 두면 (특정한 방법으로 기록된 – html (sgml에서 파생된)), HTTP 규격을 준수하여 문서를 읽기로 만들어진 프로그램이 (이를 브라우저라고 부른다) 문서의 주소를 방문하여 그 내용을 읽는 것이었다.

Berners-Lee는 이 기술을 구현할 때 또한 “open architecture”의 정신을 암묵적으로 받아들였다8). 그는 어떤 사람이든지 자신의 컴퓨터에 http 데몬 프로그램을 세운 후 문서를 만들어 두는데 제약을 두는 방법을 강구하지 않았으며 (콘텐츠 생산자로서의 개방성), 누구나 그 내용에 접근하여 읽을 수 있도록 하는 것을 (사용자로서의 개방성) 염두에 두었다. 이렇게 월드와이드웹은 누구나가 생산자가 될 수 있으며 누구나가 소비자가 될 수 있는 환경에서 만들어진 것이다. 월드와이드 웹이 '방송,' '신문,' '잡지,' ' 라디오' 등의 기존 매스미디어와 근본적인 차이점이 있다면 바로 이와 같은 개방성을 가진다는 점이다. 이글을 읽는 사람의 99.99%는 아마도 방송에 자기가 하고 싶은 이야기를 지속적으로 하기 위해서 구입하기 위한 방송라이센스를 감당할 재력이 없을 것이다. 자신의 콘텐츠가 세상에 진정한 도움이 되는 것일지라도 이를 세상에 알리기 위해서는 어머어마한 재원이 (혹은 권력이) 필요하며, 이는 방송 뿐만이 아니라 라디오, 신문, 출판, 잡지 등등이 모두 마찬가지이다. 인터넷은 바로 이와 같이 매스 미디어의 “중재 기능성 (mediary function)“을 투명하게 만들어서 대중과 대중 사이의 장벽을 없애 버리는 역할을 한 것이다. 따라서, 이를 World Wide Web의 open architecture라고 부를 수 있을 것이다.

자신의 집에서 파트타임 근무를 하던 프로그래머, Pierre Omidyar는 세상의 모든 사람들이 참여할 수 있는 옥션 사이트 (http://ebay.com)를 세울 수 있었던 것도 바로 인터넷의 이런 개방성 덕분이었으며, 탐구적이기만 하고 실용적이지 못한 인상을 주는 대학교라는 테두리에서 두 학생이 기존 서치엔진들이 단점을 보완하여 현재는 미국인의 60% 이상이 사용하는 google을 시작할 수 있었던 것도 인터넷의 개방적인 성격에 기인한 바가 많다.

이와 같은 개방성이 훼손된다면 어떻게 될까? 아래는 그 부분적인 예이다.

Net Neutrality에 대해서

Net neutrality (망중립성)에 관한 이슈와 설명은 http://kidbs.itfind.or.kr/WZIN/jugidong/1266/126602.htm 사이트 참조.

http://www.democraticmedia.org/current_projects/net_neutrality/bellsouth_undo_openness BellSouth to Undo Internet Openness이라는 아티클을 읽어 보면, Bell South라는 telecommunication 회사가 2004년에 콘텐츠를 선별하여 인턴넷 서비스에 차등을 둘 수 있도록 허락해 달라는 탄원을 했다는 내용이다. 이는 인터넷 서비스 제공자가 서비스에 대한 접근을 통제할 수 있는 권한을 주는 것이라고 하여, 이 생각에 반대하는 법안이 미의회에 상정되었으나 부결 되었다. 망의 물리적인 용량이 증가하면서 비디오와 같은 대용량의 서비스가 특정 사이트에 치중되어 사용되니, 이에 대한 부담을 지울 수 있도록 해달라는 것인데, 미국에서 한동안 논란이 되었던 주제이다 (2006년 무렵부터).

반대하는 사람들의 동영상을 보면:
http://youtube.com/watch?v=cWt0XUocViE
Vint Cerf 인터뷰:
http://youtube.com/watch?v=-QMEf3FfuoI

찬성하는 입장의 동영상은:
http://youtube.com/watch?v=oPIYxtjLFeI

Vint Cerf의 인터뷰를 보면, 혁신적인 아이디어와 꿈을 가진 신생 회사들이 ISP가 부가하는 비용에 막혀 성공할 수 없게 될 가능성이 많아지므로 이에 반대한다는 것이다. 반면에 찬성하는 쪽의 비디오 내용은 새롭게 태어나는 회사 (혹은 포르노와 같은 비사회적인 회사)의 콘텐츠들이 대부분의 밴드위드를 사용하고 있으며 이를 제어하는 것이 컨슈머를 위하는 것이라는 입장이다. 또한 포르노와 같은 콘텐츠 회사가 무단으로 고객의 컴퓨터로 보내지는 것을 효과적으로 제어할 수 있다는 의미도 포함하고 있다.

Tim Berners-Lee는 어느 한 인터뷰에서9) 인터넷은 어떤 경우라도 개방성을 유지해야하며 그것이 곧 인간의 지식을 총합하여 역사 발전에 이바지 하는 길이라고 하였다:

“That's not what we call Internet at all,” says Sir Tim. “That's what we call cable TV.” – Cohen, A. New York Times

Search Engine Business와 Portal에 대해서

곰TV나 네입와 같은 사이트들이 대역폭을 상대적으로 많이 사용하고 있으니, 망 제공자인 KT가 이에 대한 부담을 져야한다고 하면, 어떤 판단을 해야 할까? Hanaro가 “사업자 종량제”라는 이름을 내걸고 트래픽을 많이 유발하는 회사에게 비용을 부담시키겠다고 했을 때, 포털사들은 대개 이와 같은 안에 대해서 반대를 하였다. 많은 트래픽을 사용하는 포털은 사업자의 망유지, 보수 및 신설에 대한 투자를 유발하고, 그 이익은 순전히 정보제공사업자가 갖는 것을 지적한 것이었다. 하나로와 같은 ISP업자의 입장도 이해가 가지만, 포털의 입장 또한 이해가 간다.

그렇다면, 현재 우리나라의 포털사업자들은 network neutrality을 혹은 인터넷의 개방성을 적극 옹호하는 입장을 취하는가? 결론은 그렇지 않을 수 있다는 것이다. 다시 말하면, 일부 포털 사이트들은 인터넷의 open architecture 정신과 network neutrality정신에 찬성한다는 입장을 ISP에게는 취하지만 사용자에게는 그렇지 않다는 것이다.

현재 가장 많이 사용되고 있는 한국의 포털 서비스는 Naver일 것이다. “검색하세요”라는 문구로 사람들에게 어필하고 있는 이 서비스는 포털이자 서치엔진으로서의 역할을 하는 것처럼 사람들에게 생각된다. 그러나, 내면을 들여다 보고 좀 극단적으로 말하자면, 사용자들의 콘텐츠들을 어느 한 장소에 집적해 놓고 그 숫자를 토대로 비지니스를 하는 것일 뿐이다. 따라서 서치엔진으로서나 포털로서의 역할이 좀 떨어지는 측면이 있다.

portal 서비스의 이면

  • 앞서 말한 것처럼 Search engine은 인터넷의 개방성을 토대로 만들어지는 수 많은 웹페이지들을 사용자의 요구와 상황에 맞게 골라서 적절하게 찾아주는 역할을 하는 것이다. 네이버를 이용해서 “망중립성” 서치를 해보면 블로그, 카페, 전문자료, 지식인, 책, 이미지, 뉴스, 웹문서 분야의 순서로 서치결과가 나타난다. 이 중에서 블로그, 카페, 전문자료, 지식인의 정보 내용은 모두 Naver라는 회사 내의 서버에 위치한 정보들일 뿐이다. 따라서, 사용자가 서치한 내용은 인터넷이 아닌 – 어느 한 회사에 귀속된 정보일 뿐인것이다. 물론 그 정보가 유용하다면 그 가치가 있겠으나 인터넷이 개방성에 기초해서 누구나 참여하여 만들어지는 보이지 않는 공동체라고 한다면, naver의 사용자는 그 공동체에서 지식, 정보를 추구하는 것이 아닌 어느 한 회사가 집적한 (사용자가 집적한 . . .) 정보만을 사용하고 있는 셈이 된다. 이렇게 생각하면, 사용자는 어느새 광고의 단가 측정에 단위로서의 역할 밖에 기여하는 바가 없는 “손님(customer)“이 되어 버린다.
  • naver.com은 또한 언론으로 취급되어 (hkim blog 참조) 종종 국회나 뉴미디어 비판자들의 “포털들이 언론으로서의 역할을 다 해야 한다”는 성토를 받는다. 그런데, 이와 같은 상황을 바라보는 시각에 문제점이 있다.
  • 이 블로그의 글은 바로 이와 같은 현상을 단적으로 나타내 준다. 이 글의 내용은 블로그 주인이 다움의 블로그에서 사용불가 판정을 받은 것, 심지어 댓글 또한 불가해진 것에 관한 것이다. 그 이유는 다움의 블로그 사용에 대한 비판이 심했다는 것 (블로그 주인에 의하면) 이다. 이는 하나의 에피소드이므로 다움에 국한되는 현상이라고 말하기 어렵다. 즉, 다움이건 네이버이건 블로그의 글은 바로 블로그 주인 자신의 것이 아니라 타자화되어 버리고 만다. 즉, Your work = Their properties 라는 셈이다. 애초에 블로그 주인은 자신의 글이 상품화 되는 가치보다는 아마도 생활에서의 활력소, 취미생활의 연장 등에 가치를 두고 블로그를 기록하였다고 본다면, 자본이 인터넷을 대치하여 생겨난 이 에피소드 또한 스톨만의 경우와 다르지 않다고 하겠다. 그렇다면 다시 한번 이야기 해 볼 것은 다움이나 네이버 등 한국의 포털이 인터넷의 발전에 기여하는가이다. 인터넷이 무엇인가에 따라서 의미가 달라지겠지만, 적어도 필자가 보기에는 인터넷 = 말할 자유의 공간, 통제 무의 공간, 상호협조하여 지식을 쌓아가는 공간 등등을 무색하게 만드는 상황들인 것이다. 따라서, 인터넷 본연의 “open architecture” 혹은 “openness”는 우리나라 포털에서는 통용되지 않는 개념이다. 이와 같은 개념이 오직 사용되는 예는 바로 포털을 사용하라는 광고에서의 “니가 주인이다”라는 문구에서나 나타나지만, 이는 허위에 가까운 내용이라고 해도 문제 없다.
  • 또 다른 하나의 예: google이나 그 외의 서치엔진을 사용하면 naver.com의 생활에 도움이 되는 정보는 검색이 안된다. 따라서, google의 서비스는 한국에서는 잘 먹히질 않는다. 구글 등과 같은 서치엔진은 “정보의 바다”에서 검색을 한다는 것을 가정하고 돌아가도록 디자인되어 있다. 서치엔진이라고 할 수 있는 소위 “bot”들이 하는 것은 바로 이 “정보의 바다”를 돌아다니며 자동으로 정보를 수집, 인덱스하는 것이다. 수집, 인덱스의 알고리듬이 서로 다를 지라도 모든 bot들은 기본적으로 이를 행한다. 이와 같은 작업은 bot들이 방문하는 웹페이지의 트래픽을 유발시키게 된다. “원치 않는 웹 페이지에 대한 색인”을 막기 위해서 인터넷 커뮤니티는 “robots.txt”라는 테크놀로지를 사용한다. 가령, 내가 public_html 디렉토리 내의 personal 디렉토리에 수록되어 있는 문서들을 보호하고 싶다면, robot.txt를 이용하여
User-agent: *
Disallow: /personal/
  • 와 같이 기록하여 두면 된다. bot들은 이제 personal 페이지에 대한 privacy선언을 존중하여 (아무런 강제가 없다), 검색, 인덱스에서 생략하게 된다. 구글의 서치 결과에서 네이버의 지식인 내용이 나타나지 않는 것은 바로 네이버가 지식인 서버에 disallow를 걸어 두었기 때문이다. 네이버의 주장은 “These are my properties. Don't touch it”이다. 어떻게 생각하면 당연한 것일 수도 있다. 그러나, 필자가 위해서 언급한 “openness”의 관점에서 보면, 이와 같은 행위는 부당한 것이다. 네이버는 인터넷을 자사의 property로 만들고 있는 것이고, 이렇게 된 상황은 사용자에 의해서 만들어진 정보가 결국은 타자화되고 인터넷이라는 매체를 통해서 원활하게 공급되지 않는 것을 의미한다.
  • Naver의 주장은 이렇게 보면, “leave me alone, I don't want to be any part of the internet. I am the internet!”이라고 주장하는 측면이 있다. 그리고 이런 측면에서 보면, naver는 naver서비스를 이용해서 publish를 하지 않고 있는 콘텐츠들에 대한 차별을 함으로써 인터넷의 neutrality 혹은 개방성에 동참하지 않는다고 할 수 있다. 따라서, 아주 좋은 내용이라도 naver blog가 아닌 다른 블로그를 사용하면 naver의 검색에 나타나고 '사용될' 확율이 떨어지게 된다. 더 큰 문제로는 혹자가 naver의 서비스를 이용해서 좋은 콘텐츠를 만든다고 하더라도 naver 내의 사용자들끼리만 검색되고 사용되는 서비스가 되어버리고 만다 (google.com과 같은 서치엔진으로 “웹2.0”을 검색해 보면, blog.naver.com의 글은 전혀 나타나지 않는 것을 알게 된다).
  • 따라서 위와 같은 입장의 포탈서비스 제공회사가 망중립을 ISP에게 요구하는 것은 약간은 이중적인 것이다.

to be updated:

  • 열린검색? Where did it go?
  • robots.txt 기술과 (다시) 인터넷의 개방성 . . .
  • 포털 서비스의 변화와 web2.0 트렌드 . . .
  • web2.0 포털 서비스 이용하기 . . .
  • thick-tail marketing?

The Openweb vs. 대한민국 정부 case

그렇다면, 이와 같은 현상이 포털서비스 분야에서만 일어나는가?

이 문제는 우리나라 소프트웨어 산업의 장래가 걸려 있는 것입니다. 윈도즈를 사용 안하는 이용자의 씨를 말려 놓으면, 소프트웨어 개발의 수요가 오로지 윈도즈 용으로만 쏠리게 되고, 이 상황에서는 우리 업계가 아무리 발버둥 쳐본들 MS의 “하청업체” 수준 을 넘어설 수 없습니다. 지금 크게 부상하고 있는 모바일 디바이스, TV 와 인터넷을 연계하려는 통합융방(BCN) 산업, iptv, T-commerce, triple play 등 정보통신의 거의 모든 첨단 산업에서 그 열쇠를 쥐고 있는 것이 “웹 브라우저”입니다. 지금 같은 인터넷 환경이 계속되면 이 모든 분야가 MS 잔치판으로 되는 것입니다.
http://openweb.or.kr/?page_id=1167

to be updated. . . .

References

Vise, D. A., , Malseed, M. (2005). The Google Story: Delacorte Press.

Battelle, J. (2005). The Search: How Google and Its Rivals Rewrote the Rules of Business and Transformed Our Culture: Portfolio.

Brin'e lecture at Berkley

Brin, S., , Page, L. (1998). The anatomy of a large-scale hypertextual Web search engine. Computer Networks and ISDN Systems, 30(1-7), 107-117.

1)
서치엔진 자체를 놓고 볼 때에는 FTP서버들의 파일 list들을 검색해 주는 Archie, Gopher의 콘텐츠를 검색해 주는 Veronica 등이 먼저 있었으나, 이들은 WWW의 검색엔진은 아니었다. 현재 서치엔진의 리스트는 WikiPedia:List_of_search_engines 를 참조.
2)
텔레비전에 광고를 내서 수익을 얻는 모델은 어디서 시작되었는가, 라디오에서였다. 라디오 방송국이 생긴 이유는 바로 이와 같은 비지니스 플랜이 있었기 때문이다. 그렇지 않았다면, 대규모 자금을 들여서 방송국을 세우지는 않았을테고, 지금과 같은 방송의 번영도 조금은 늦춰졌을지 모른다. 따라서 초기의 TV 방송국은 대개 라디오 방송국이 건립을 하였고, 라디오 방송의 비지니스 모델을 차용하였다.
3)
bibliometrics라는 학문분야에서 시도하는 network 분석법이 적용되었다고 알려져 있다. 관련논문은 다음의 URL에서 볼 수 있다. The Anatomy of a Large-Scale Hypertextual Web Search Engine
4)
Vise, D. A., , Malseed, M. (2005). The Google Story: Delacorte Press.
6)
그림은 AdSense를 이용하여 사용자가 Google로 부터 받은 수표이다.
7)
위에서 언급한 애플이나 마이크로소프트 등의 네트워크는 이해를 돕기 위해서 사용된 예일 뿐 현실은 그렇지 않았다. 당시는 아직도 슈퍼컴퓨터로 알려진 컴퓨터들이 소수 주변의 컴퓨터와 연결 (대개는 해커, 프로그래머들이 개발한 소프트웨어로) 되어 있었고, 이 슈퍼컴퓨터들이 서로 통신을 한다는 것이 쉽지는 않았다. 따라서 당시의 ARPNET 연구자들은 이를 해결하기 위해서 open architecture 방식의 기술을 도입하게 된것이다.
8)
혹은 그가 자주 명시하지 않았을 수 있다. 참고자료: Tim Berners-Lee Testimonial 혹은 http://dig.csail.mit.edu/2007/03/01-ushouse-future-of-the-web 참조.
internet_development.txt · Last modified: 2017/09/26 09:33 by hkimscil