
课程咨询: 400-996-5531 / 投诉建议: 400-111-8989
认真做教育 专心促就业
随着互联网的不断发展,越来越多的人都在学习计算机编程开发技术,而今天我们就通过案例分析来了解一下,python编程开发优化方法分享。
写入到关系型数据库
当以ETL的方式进行数据处理时,我们终需要将这些数据加载到某个集中的地方。虽然我们可以利用Python中的多线程来更快地(通过使用更多的线程)将数据写入到某些关系型数据库中,但是并行写入数的增加可能会使该数据库的CPU容量达到大值。
实际上,当我使用多线程来加快对AWS上RDSAurora数据库的写入时,这种情况就发生过一次。随后我注意到writer节点的CPU利用率上升得非常高,以至于我不得不通过使用更少的线程来故意降低代码的速度,以确保不会破坏数据库实例。
这意味着Python具有并行化和加速许多操作的机制,但是关系型数据库(受CPU内核数量的限制)有其局限性,仅通过使用更快的编程语言是不可能解决这个问题的。
调用外部API
另一个语言本身不是瓶颈的例子是使用外部RESTAPI(你可能希望从中提取数据以满足数据分析的需求)。虽然我们可以利用并行来加快数据提取的速度,但这可能是徒劳的,因为许多外部API限制了我们在特定时间段内可以发出的请求数。因此,你可能经常会发现自己需要故意降低脚本的运行速度,以确保不超过API的请求限制
【免责声明】:本内容转载于网络,转载目的在于传递信息。文章内容为作者个人意见,本平台对文中陈述、观点保持中立,不对所包含内容的准确性、可靠性与完整性提供形式地保证。请读者仅作参考。更多内容请加danei0707学习了解。欢迎关注“达内在线”参与分销,赚更多好礼。