使用 Python 和 Scrapy 半小时爬了10 个在线商店的网页
Scrapy 是 Python 开发的一个快速，高层次的屏幕抓取和 web 抓取框架，用于抓取 web 站点并从页面中提取结构化的数据。Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试。本文作者 Erdem İşbilen 为我们演示了如何使用 Python 和 Scrapy 怎样在半个小时内对 10 个在线商店抓取信息。有了 Python 和...
View ArticleClik here to view.
V神：区块链最关注的3大问题解决了吗？
区块链已经成为国家战略技术，各级政府和传统互联网企业纷纷布局区块链。区块链源自国外，几大加密社区一直在探索区块链新的可能性。近日，以太坊创始人 Vitalik Buterin...
View ArticleClik here to view.
区块链里的性别偏见
图片来源：Pixabay加密货币和区块链注定将成为这个世界最具颠覆性的技术之一。正如预期那样，这个领域已经涌现出了大量增长迅猛的初创企业，投资者的兴趣也非常浓厚。虽然我们在区块链技术领域看到越来越多成功的募资、代币发行募资（ICOs：Initial Coin...
View ArticleClik here to view.
大搜车沈淦：行业浮沉 20 年，我眼中的数字化转型与千人级团队管理
曾在 Sungard（金仕达）、新致软件、阿里巴巴、大泰技术等公司任团队负责人、技术总监、首席技术官等职务；在阿里期间作为余额宝技术架构负责人和招财宝团队负责人见证了电子金融产品在我国的涌现和发展；现任大搜车高级副总裁，3 年时间将研发团队从 100 人发展到 1100 人；这是 TGO...
View ArticleClik here to view.
从零开始入门 K8s：Kubernetes 中的服务发现与负载均衡
一、需求来源为什么需要服务发现在 K8s 集群里面会通过 pod 去部署应用，与传统的应用部署不同，传统应用部署在给定的机器上面去部署，我们知道怎么去调用别的机器的 IP 地址。但是在 K8s 集群里面应用是通过 pod 去部署的， 而 pod 生命周期是短暂的。在 pod 的生命周期过程中，比如它创建或销毁，它的 IP 地址都会发生变化，这样就不能使用传统的部署方式，不能指定 IP...
View ArticleClik here to view.
Q资讯：雷军又发钱，奖励员工1.63亿平均每人43万；网易被裁员工发声：已和解，重新感受到网易的温暖；字节跳动旗下两家公司发生工商变更
华为回应旗下推特账号飙脏话骂苹果：账号被盗；网易：与被裁员工达成和解，已处分五名涉事员工；字节跳动旗下两家公司发生工商变更；华为再次寻求15亿美元贷款，7月已完成一轮；雷军又发钱，奖励员工1.63亿平均每人43万；ofo创始人戴威已收到34条限制消费令。科技公司华为回应旗下推特账号飙脏话骂苹果：账号被盗...
View Article爱奇艺网络控制和抓包测试技术实践
导语移动互联网时代，网络形态呈现三大特点:（1）多样的接入网络：2G/3G/4G/Wi-Fi，不同的协议，不同的制式，不同的速率。（2）复杂的现实场景：空旷的大街，拥挤的体育场，飞驰的汽车，地下穿梭的地铁。（3）动态的随机变化：强网、弱网、无网，下一刻的网络不确定会怎样。爱奇艺测试团队结合视频播放异常场景的网络模拟需求，在开源方案ATC（Augmented Traffic...
View ArticleClik here to view.
基于知识图谱的问答在美团智能交互场景中的应用和演进
导读：目前为止 IT 产业经历了六次浪潮，分别为：大型机时代，小型机时代，个人电脑时代，桌面互联网时代，移动互联网时代和 AIOT...
View ArticleClik here to view.
Jupyter在美团民宿的应用实践
前言做算法的同学对于Kaggle应该都不陌生，除了举办算法挑战赛以外，它还提供了一个学习、练习数据分析和算法开发的平台。Kaggle提供了Kaggle Kernels，方便用户进行数据分析以及经验分享。在Kaggle Kernels中，你可以Fork别人分享的结果进行复现或者进一步分析，也可以新建一个Kernel进行数据分析和算法开发。Kaggle...
View Article区分敏捷开发中未解决的问题：过早出现的和可预见的
本文要点：敏捷的力量在于应对未解决的问题，但同样的力量也会导致技术债务和减少产品价值。根据本质的不同，未解决的问题应该分为两种：过早出现的、可预见的。过早出现的问题和可预见的问题，二者之间的区别在于强调重要性还是可能性。重要的小改变，可以让敏捷开发走得更远。背后的原则，可以弥合团队心理层面的距离，调和架构师与开发人员的差异。如今的敏捷出了什么问题？敏捷开发让人感觉良好，开发人员很喜欢它，但有时候它会...
View ArticleClik here to view.
我用GPT-2开发了一个AI写作应用，并总结了这些经验教训
writeup.ai 是一款用于自动写作的开源文本机器人，主要基于OpenAI的GPT-2，同时搭配以下一系列经过调优的模型：法律法规文案与声明歌词哈利·波特权力的游戏学术研究摘要这一次，我们的主要目标是构建一套能够快速交付OpenAI GPT-2...
View ArticleClik here to view.
谷歌开源下一代移动端计算机视觉模型：基于AutoML的MobileNetV3和MobileNetEdgeTPU
端上机器学习对于隐私保护、无网环境可用性和智能响应的实现是至关重要的。这需要在设备端使用机器学习算法进行计算，但设备的计算能力有限，这就刺激了算法效率高的神经网络模型和硬件的发展，这些硬件每秒能够执行数十亿次的数学运算，而只会消耗几毫瓦的电量。最近谷歌发布的Pixel 4就例证了这个趋势，它附带了Pixel神经核心这个硬件单元，并采用了Edge TPU架构。这个Edge...
View ArticleClik here to view.
开发者——百万年薪不是梦
本文最初发表于 Medium 博客，经原作者 Ravi Shankar Rajan 授权，InfoQ 中文站翻译并分享。努力工作就能得到回报，这真是一件好事儿。那么，作为一名开发人员，有没有可能拿到 120 万美元的薪水呢？这情况当然很罕有，但也并非闻所未闻。以 Sergey Aleynikov为例。Sergey 曾是高盛公司（Goldman Sachs）的一名开发人员，早在 2007...
View ArticleClik here to view.
当小内存遇上大量数据，你该怎么解决这个问题？
当你写了一个处理数据的软件，它可能在小样本文件上运行地很好，但一旦加载大量真实数据后，这个软件就会崩溃。问题在于你没有足够的内存——如果你有16GB的RAM，你就无法一次载入100GB大小的文件。载入这么大的文件时，操作系统在某个时刻就会耗尽内存，不能分配存储单元，你的程序也就会崩溃。所以，你该怎样防止这类情况发生？你可以启动一个大数据集群——你所需要做的是：搞到一个计算机集群。花一周时间搭建这个集...
View Article阿里人才建设的“三板斧” | 极客视点
本文发布于极客时间 | 极客视点专栏，由InfoQ整理分享。众所周知，阿里巴巴良将如潮，阿里在培养将才甚至帅才这件事情上，做得很好。这其中的秘诀就在于阿里的三板斧：招聘、考核...
View Article为什么需要在JavaScript中使用严格模式？
严格模式是什么意思？有什么用途？为什么我们应该使用它？本文将主要从这几个问题入手，讲述在JavaScript中使用严格模式的必要性。严格模式是现代JavaScript的重要组成部分。通过这种模式，我们可以选择使用更为严格的JavaScript语法。严格模式的语义不同于以前的JavaScript“稀松模式”（sloppy...
View Article大前端时代下的热修复平台建设
随着移动需求的增加、移动项目的拓展，如果移动端应用出现Bug不能及时得到修复，影响的不仅仅是用户体验，还会造成业务上的损失，因此，建立一套完整的热修复平台迫在眉睫。基于此，本文作者所在的搜狗商业应用研发团队构建了一套移动热修复服务中间件平台，本文从系统架构到主要流程对解决方案进行了详细的呈现，无论是iOS、Android、RN、Flutter都可以借助这一思想来开发自己的热修复平台。写在前面移动应用...
View ArticleClik here to view.
摩根大通技术负责人揭秘：摩根区块链布局全过程
摩根大通集团董事长和首席执行官Jamie Dimon曾毫不隐讳地对加密货币表示过怀疑态度。但面对区块链技术的发展，集团最终还是坐不住了，也要研究区块链。于是2015年，摩根公司设立了一个部门，专门研发包括区块链在内新兴技术。作为前员工，我们两个（本文作者Stuart Popejoy 和 Will...
View Article