everything scraping

2024-11-17 17:33:54 +01:00 · 2024-11-17 17:33:54 +01:00 · 646b94e1e4
parent ab06747069
commit 646b94e1e4
6 changed files with 466 additions and 49 deletions
--- a/1
+++ b/1
@ -0,0 +1 @@
+MySQL
--- a/scraping_output.txt
+++ b/scraping_output.txt
@ -0,0 +1,444 @@
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
+
+
+URL: http://localhost:8081/thread04/
+
+
+
+Inicio
+
+
+Ir a página 1
+
+
--- a/threads04/1.html
+++ b/threads04/1.html
@ -1,11 +0,0 @@
-<html>
-    <head>
-        <title>Página 1</title>
-    </head>
-    <BODY>
-        <a href="2.html">Ir a página 2</a>
-        <br>
-        <a href="index.html">Volver</a>
-
-    </BODY>
-</html>
--- a/threads04/2.html
+++ b/threads04/2.html
@ -1,10 +0,0 @@
-<html>
-    <head>
-        <title>Página 2</title>
-    </head>
-    <BODY>
-        <a href="1.html">Ir a página 1</a>
-        <br>
-        <a href="index.html">Volver</a>
-    </BODY>
-</html>
--- a/threads04/index.html
+++ b/threads04/index.html
@ -1,8 +0,0 @@
-<html>
-    <head>
-        <title>Inicio</title>
-    </head>
-    <BODY>
-        <a href="1.html">Ir a página 1</a>
-    </BODY>
-</html>
--- a/threads04/scraping.py
+++ b/threads04/scraping.py
@ -71,32 +71,33 @@ def save_to_file_thread():
 # Hilo D: Guarda los enlaces en la base de datos MySQL y los vuelve a pasar al hilo A
 def save_to_database_thread():
    try:
-        db_conn = mysql.connector.connect(
+        # Conexión a la base de datos
+        conexion = mysql.connector.connect(
            host="localhost",
-            user="thread04",
+            user="thread4",
            password="1234",
-            database="thread04",
-            port=3307
+            database="thread4"
        )
-        while True:
+        
+        cursor = conexion.cursor()
        link = link_database_queue.get()
-            print(link)
-            if link is None:
-                break
-            print(f"[Hilo D] Guardando enlace en base de datos: {link}")
-            cursor = db_conn.cursor()
        
+        # Consulta para insertar la cadena
+        consulta = "INSERT IGNORE INTO enlaces (enlace) VALUES (%s)"
+        cursor.execute(consulta, (link,))
        
-            cursor.execute("INSERT INTO enlaces (url) VALUES (%s)", (link,))
-            db_conn.commit()
+        # Confirmar la transacción
+        conexion.commit()
+        
+        print("Cadena guardada exitosamente.")
+        
+    except mysql.connector.Error as err:
+        print(f"Error: {err}")
        
-            # Añadir el enlace a la cola de scraping para ser procesado por el hilo A
-            scraping_queue.put(link)
-    except Exception as err:
-        print(f"[Hilo D] Error de base de datos: {err}")
    finally:
+        if conexion.is_connected():
            cursor.close()
-        link_database_queue.task_done()
+            conexion.close()

 # Inicializar colas para comunicación
 scraping_data_queue = queue.Queue()