手机浏览器扫描二维码访问
办公室的白板上写满了字。
李明的粉笔停在半空,眉头皱成一个疙瘩。
他转身看向另外四个同伴,又看看坐在会议桌旁的贾瀞雯。
“贾总,这个‘网页爬虫’的概念……我们研究了三天,还是有点不明白。”他放下粉笔,拍了拍手上的粉灰,“文档上说,要让程序像蜘蛛一样在网上爬,自动发现和收集网页。
但具体怎么实现?”
张涛推了推眼镜,翻开陈浩写的技术框架文档:“这里写了一些思路--从几个种子网站开始,提取页面上的链接,然后访问这些链接,再提取新链接。
理论上可行,但实际做起来问题很多。”
“什么问题?”贾瀞雯问。
“比如,有些网站不允许被访问。”说话的是王磊,团队里最年轻的一个,北大研究生在读,“还有,网页格式千奇百怪,怎么准确提取链接?再比如,如果程序陷入死循环怎么办?”
贾瀞雯点点头。
这些她也不懂,但她知道该问谁。
“今天先到这里。”她看看表,“晚上我打电话问问陈总。
大家继续研究其他部分,分词算法那边有进展吗?”
张涛摇摇头:“更难。
英文有空格分隔单词,中文是连在一起的。
‘中华人民共和国’怎么分?是‘中华’‘人民’‘共和国’,还是‘中华人民’‘共和国’?不同的分法,意思差别很大。”
会议室里一阵沉默。
五个年轻人你看看我,我看看你,都从对方眼里看到同样的困惑--这个项目,比他们想象的要难得多。
晚上八点,贾瀞雯在办公室拨通了陈浩的电话。
“喂?”陈浩的声音有点喘,背景里有嘈杂的人声。
“在忙?”
“刚下戏,换衣服呢。”陈浩走到安静的地方,“说吧,今天遇到什么问题了?”
贾瀞雯把白天的讨论复述了一遍。
陈浩听完,笑了:“正常,这些确实是难点。
你记一下,我一个个说。”
贾瀞雯拿起笔。
“第一,爬虫的伦理问题。
我们要遵守robots协议,就是网站根目录下的一个文本文件,告诉爬虫哪些页面可以访问,哪些不行。
这个必须遵守,不然我们会惹麻烦。”
“第二,网页格式问题。
现在网页主要是html,虽然各家写法不一样,但基本结构是固定的。
链接都在<a
href=>标签里,用正则表达式可以提取。”
贾瀞雯打断:“正则表达式是什么?”
飞花轻似梦后续 重生1989:缔造华夏科技帝国 这个替身我来当 这片海我承包了[直播] 独慕她 和阴冷太监结为对食后[穿书] 仙帝归来 穿成女儿奴大佬的前妻 重生之将军总把自己当替身 重生四合院,傻柱不做吸血包 听说我是祸水[快穿] 他真的很绿茶 七零年代怼王 麒麟香 冬宜两两 自从我掉出了流星街 美少年今天也在努力扮演恶役 仙人状 饲养红衣 仙神轶闻录
新世纪134年,赛博时代,AI义体仿生人斗兽场。一小部分人发生变异,觉醒异能。达文公司全面追杀变异者,并为此成立秩序部。Ghost作为A级异能拥有者,是被忒弥斯系统通缉的一等逃犯。在某次任务中,撞上了传说中的变异者猎人秩序官A。两人在古京街厮杀,从未失手的秩序官A却险些被Ghost杀死。Ghost下次你不会这么走运。当晚,Ghost在小布鲁克林区的地下酒馆遇到一个年轻人。他自称Alvin(阿尔文),眼神湿漉,言语诚挚,执意陪他雪中漫步,还送了他一朵金属玫瑰。并在Ghost被秩序部追杀时,毫不犹豫地成为他的同盟。于是后来,Ghost发现秩序官A总是对他手下留情放虎归山秩序官A总是为他暗中开路藏匿线索秩序官A主动给他打来电话,却只想听他的呼吸声Ghost你这个秩序官A,不会是Alvin的A吧。秩序官A。Ghost?魔蝎小说...
上天选择我来这走一世,我便要只争朝夕!在这个百家争鸣的乱世,在这个也是百家争霸的乱世!!命格破军,便要领千军万众,横刀立马命格紫微,便要泽被苍生,主大地浮沉命格辅弼,便要治理天下,万人之上,一人之下!而我命格妖星,便要混淆天机,乱九州,寇天下!圣人不死,大盗不止!!!!我是谁,谁是我??有一...
关于大唐超时空之晋阳小公主可可爱爱,软软糯糯的小兕子来了。小公主日常生活为主,顺便帮大唐发展下。虽然这种题材的小说现在挺多的,但是作者还是动手了。欢迎各位读者大大云养娃。...
关于超神学院里的构装巫师他,一个巫师世界的逃亡者。在巫术与科技的双重加持下,用智慧与勇气在超神宇宙中,铸就了独属于他的不朽传奇...
关于山野尤物寡妇乡村青年遭恶毒女友陷害,两年时间习得一身本领,会武功懂医术。隔壁漂亮姐姐需要帮助,必须助人为乐!藩莹苏尘,今天你总得有空来帮忙了吧?...